Meta AI 发布 Compute Optimal Tokenization，尝试提升大模型分词效率与训练收益

Meta AI 最新论文提出 Compute Optimal Tokenization，探索在固定算力预算下优化 token 划分方式，以提升模型训练效率与推理表现，目标是在长上下文与多语言场景中减少冗余 token 开销。