具体来说，模型以自回归的方式处理这些块，同时在每个块内部使用扩散模型进行生成，其似然函数可以分解为B个长度为L'的部分。 研究人员采用一种简单的离散扩散参数化方法来建模每个块的似然，最终模型的目标函数变成了加权交叉熵项的总和。

AMD OLMo 模型使用从零开始训练的 10 亿参数语言模型系列（LMs），在 AMD Instinct™ MI250 GPU 集群上训练，使用了超过 1.3 万亿个 tokens 进行预训练 ...