据The Information报道，OpenAI的GPT系列模型改进速度近期明显放缓，公司正积极调整策略以应对这一严峻挑战。
据内部员工透露，下一代旗舰模型Orion虽已完成约20%的训练，但在语言任务以外的领域，如编码等，并未超越GPT-4的表现，且运行成本高昂，整体提升幅度远低于预期。更令人瞩目的是，Orion在明年年初发布时，或将摒弃传统的“GPT”命名，采用全新的命名方式。
Orion的开发过程中，高质量文本数据的短缺问题尤为突出。根据Scaling Law理论，模型性能应随着数据量和算力的增加而不断提升。然而，在高质量数据有限的背景下，Orion的训练效果已受到明显限制，使得Scaling Law的适用性备受质疑。即便未来投入更多的数据和算力，模型的提升速度也可能无法再现前几代的辉煌。
为应对数据短缺的挑战，OpenAI已专门成立了一个研究团队，致力于探索克服数据瓶颈的方法，并评估Scaling Law在未来的应用前景。Orion模型的部分训练数据甚至来源于AI生成的合成数据，这种做法虽然在一定程度上缓解了数据短缺的问题，但也可能导致Orion在某些方面呈现出与旧模型相似的特征。
为优化大型语言模型（LLM）处理任务的能力，OpenAI正采取多种策略进行改进。例如，要求模型从大量数学或编程问题样本中学习，并通过强化学习提升解题效率。同时，人工评估员还会对模型的编码和问题解决表现进行评分，为模型优化提供重要支持。
今年9月，OpenAI推出了推理模型o1。与传统模型不同，o1在回答前会进行更长时间的“思考”，通过增加计算资源来提升响应质量，展现了“测试时计算”（Test-Time Compute）的显著效果。尽管o1的运行成本是普通模型的六倍，且客户群相对有限，但OpenAI创始人阿尔特曼认为，它将为科学研究和复杂代码生成等领域带来突破性进展。
