据报道，字节跳动正在开发一种新的大型语言模型，其参数量可能达到10万亿，有望成为中国乃至全球最大的语言模型。目前该模型正处于早期训练阶段，预计需要长达六个月的时间。 《金融时报》报道了这一消息。
目前，全球最大的模型属于Anthropic公司。虽然该公司并未公开参数数量，但业内专家认为Mythos拥有约8万亿个参数，而Fable 5拥有约5万亿个参数。国内最大模型是月之暗面公司的Kimi K3，拥有约3万亿个参数。
字节跳动计划通过一款新的LLM模型超越这一目标。该模型目前 处于预训练阶段，之后还需要一些时间进行微调并发布。然而，参数数量本身并不能保证模型性能优于竞争对手；这还取决于训练数据的质量和训练方法本身。
字节跳动计划如此大规模地发布 AI 模型，恰恰反映了近期的趋势：中国 AI 实验室正积极追赶西方竞争对手，例如Anthropic、OpenAI和谷歌。其他中国公司也在研发新的大型模型，其中一些已经发布的模型，例如前文提到的Kimi K3，其性能已可与Mythos和Fable相媲美。
有趣的是，字节跳动并没有采用模型蒸馏法，即使用预训练的大型内部模型或竞争对手的模型进行训练——美国公司正积极打击这种做法。这家中国公司的管理层认为，只有独立研发才能创造出超越竞争对手的模型。
