对DiLoCo来说，这依然能保持不错的性能，还能一次性用更多资源，缩短总训练时间。而Data-Parallel似乎更依赖串行训练。这种训练时间的减少还因为通信量降低而加倍明显。 可以看到，DiLoCo对较大批大小的容忍度使其能够显著更快地实现与Data-Parallel相当的性能损失，而且在低带宽设置中这种效果更为明显。

机器之心发布机器之心编辑部近日，阶跃星辰研究团队通过大规模实证探索，耗费了近 100 万 NVIDIA H800 GPU 小时（约百万美元），从头训练了 3,700 个不同规模，共计训了 100 万亿个 token，揭示了 LLM 超参数优化的全新的普适性缩放规律，为更好地提升 LLM ...

引言 推理LLMs背后什么原理，跟通用LLMs有什么区别？2024年，Scaling Law逐步见顶，业界普遍认为通用LLM走到“高原区”，进化乏力，除了多模态LLM还在日新月异。行业灯塔OpenAI也迟迟不发布GPT-5, ...

近期谷歌团队发布了一项重磅研究，提出了全新的Scaling Law，命名为DiLoCo，这项新方法在大型语言模型（LLM）训练领域表现出了显著的性能提升。此次研究不仅由谷歌Research、谷歌Search、谷歌DeepMind三大团队共同合作，更引发了业内对未来AI模型训练方式的深度反思。随着AI领域的快速发展，如何有效训练更大规模的模型成为了业界亟待解决的问题。

我想这次Kimi这次突破也涉及到前段时间Open AI整出的大新闻：即我们可以使用RL方法在LLM的训练和推理过程中达到新的Scaling Law。相比于ChatGPT横空出世 ...