登录社区云，与社区用户共同成长
邀请您加入社区
在大型语言模型（LLM）训练中，计算资源分配策略直接影响模型性能与训练效率。传统方法将大部分资源投入模型训练阶段，而忽视数据质量提升。研究表明，通过优化数据计算（包括选择计算、转换计算和生成计算），可以显著提升token效率，减少训练计算量。例如，FineWeb-Edu通过质量过滤实现约8倍token效率提升，BeyondWeb通过系统性网页改写提高7.7倍训练速度。这些数据投资不仅带来计算效率的
