OpenAI 原联合创始人：大模型扩展策略已达极限，需更智能训练技术

在人工智能飞速发展的今天，OpenAI的前联合创始人IlyaSutskever提出，预训练阶段即将接近尾声。这一观点，无疑给行业带来了重磅的讯息。它就像在高速行驶的列车前方突然亮起了减速的标志，让所有人都开始重新思考前行的方向。

了解ScalingLaw瓶颈

ScalingLaw曾被视为提升AI模型性能的关键因素，它通过增加数据和算力使模型不断壮大。比如，早期的AI模型，只要持续增加数据和计算资源，就能观察到显著的性能提升。然而，现状已有所不同。IlyaSutskever指出，其已遭遇发展瓶颈。即便某些大型模型企业持续增加数据和算力，性能的提升也极为有限，甚至可能投入大量资源却收获甚微。这迫使企业必须从根本上重新审视并调整其技术策略。

另一方面，若大型模型企业未能及时察觉这一瓶颈，若仍旧盲目遵循扩展定律，不仅会在不必要的数据收集和计算力扩展上浪费巨额资金，而且会在技术竞赛中逐渐掉队。

重视更智能训练技术

大模型企业转向更加智能的训练技术，这是必然的趋势。例如，他们可以更细致地筛选和标注训练数据，而不仅仅是追求数据量。一些企业已经开始尝试针对特定任务来优化训练算法。一方面，他们通过小而精的数据子集来培养模型的特定技能；另一方面，研究人员正在探索新的结构或激活函数，以提升模型的效率。

在发展过程中，企业必须组建一支精通算法研究的专业团队。一些高校的人工智能实验室里，这类团队通过探索新型优化算法，有效提升了模型的信息处理效率。这一点，对于大型模型企业来说，是值得学习的。

模型训练方式与内容

关注训练方法，就需摒弃单一方向输入未分类数据的旧模式。需依据模型的具体任务需求，采纳多种来源的数据输入。比如，为了提升模型在对话任务上的表现，可以结合不同场景下的对话资料。至于训练内容，不仅要涵盖语言和结构，还需融入语义和情感等多维信息。

以一个大模型开发为例，他们在训练过程中加入了情感标签。结果，模型在处理情感分析相关任务时的准确率显著提升。若不进行训练方法和内容上的调整，模型在多种应用场景中难以展现出优异的表现。

大模型保持上下文能力

在当前，大模型在长对话中维持上下文连续性，既是挑战也是关键所在。要实现这一点，模型必须具备高效存储和利用先前对话内容的能力。为此，一些企业正尝试运用记忆增强网络结构来优化这一过程。举例来说，在处理长篇文档问答任务时，若模型无法有效保持上下文，便可能给出矛盾或无关的答案。

提升模型在保持上下文方面的能力，有助于应对复杂的任务挑战。以智能客服为例，在较长的交流过程中，若能准确把握用户意图，提供连续一致的服务，就能避免用户的不满情绪。

企业扩展方向抉择

选择合适的扩展路径对于大型模型企业至关重要。我们不能仅仅着眼于规模的扩大。一些新兴企业面对高算力需求时，往往不加思考地涌入市场，扩大算力规模，却忽略了模型本身的优化。此外，还需全面考虑市场需求以及社会效应。

经验丰富的企业在考虑拓展方向时，会深入进行市场调研，对模型的应用前景进行详尽分析，并最终选定那些既顺应技术发展潮流又满足市场需求的领域作为发展的重点。

探索新研究领域与安全

SSI发现的新研究领域蕴藏着巨大的潜力。这仿佛是打开了一扇通往未知宝藏的大门，或许会带来令人惊喜的突破。研究人员应当积极深入探索，从中获取力量，以推动人工智能的发展。与此同时，Ilya所在的团队不止一次地强调了对安全性的重视，这一点对于整个行业来说，同样不容忽视。

众多社会案例显示，若AI缺少安全防护，可能对广大民众造成负面影响。企业在技术研究中必须重视安全，这是实现长期稳定发展的必然趋势。在此，我想请教大家，在你们看来，理想中的既安全又智能的AI模型应具备哪些特点？期待大家的热情讨论、点赞和转发。

内容来自网络，如有侵权，联系删除。