牛津大学的FLAIR实验室等机构提出了EGGROLLeshyperscale

蚁工厂 2025-11-27 13:20:54

牛津大学的 FLAIR实验室等机构提出了 EGGROLLeshyperscale.github.io/“我们介绍了EGGROLL,这是一种新型的通用机器学习算法,提供了比传统进化策略高出百倍的训练速度。EGGROLL几乎消除了推理和训练之间的障碍,使我们能够轻松地为推理微调大型语言模型(LLM),或从零开始训练新的架构。”用这种方法,在大规模语言模型的推理微调场景, 相同的硬件和时间预算下,效果超越了 GRPO 。同时这种方法可以完全基于整数运算来从零开始语言模型预训练。科技先锋官

0 阅读:0
蚁工厂

蚁工厂

感谢大家的关注