近日，AI领域迎来一项令人振奋的技术突破。由AI新锐团队Thinking Machine提出的“在线策略蒸馏”（On-Policy Distillation）训练方法，在特定任务上将小模型的训练效率提升了惊人的50到100倍。这项成果已获得前OpenAI首席技术官Mira Murati的关注和转发，在学术界和产业界激起了广泛的讨论。
“AI教练”模式：小模型训练的新范式
长期以来，AI模型的训练面临着一个经典的“两难”困境：一方面，强化学习（Reinforcement Learning）允许模型通过自主探索和试错来学习，这种方式灵活但也效率低下；另一方面，监督学习（Supervised Learning）则通过直接提供标准答案来训练模型，效率虽高，但容易导致模型僵化，缺乏灵活性。
“在线策略蒸馏”巧妙地解决了这一难题，它为小模型配备了一位“实时AI教练”。在这个过程中，小模型（我们称之为“学生模型”）在进行自主学习和生成内容的同时，一个更强大的“教师模型”会实时对其每一步的输出进行评估和指导。通过最小化学生模型和教师模型策略之间的KL散度（一种衡量概率分布差异的度量），这种方法能够实现精准且稳定的知识迁移。
这种“教练式”的训练模式，不仅克服了传统模型蒸馏中“只学结果、不学过程”的弊端，还能有效防止学生模型“走捷径”或过度拟合，从而显著提升其泛化能力。
实测效果惊人：性能与成本的双重飞跃
这项新技术的实际效果可以用“惊艳”来形容。在数学推理等任务的测试中，研究团队发现，使用“在线策略蒸馏”训练的80亿参数（8B）的小模型，仅用了原始强化学习方法⅐到⅒的训练步数，就达到了接近320亿参数（32B）大模型的性能水平。这意味着，整体的计算成本降低了两个数量级，大大降低了AI开发的门槛。
对于资源有限的中小企业或研究团队而言，这意味着他们也能以更低的成本，高效地训练出性能媲美行业巨头的专业化模型。
更重要的是，“在线策略蒸馏”成功破解了企业在AI落地过程中普遍面临的“灾难性遗忘”（Catastrophic Forgetting）难题。在一项针对企业助理的实验中，模型在学习新的业务知识时，能够完整地保留其原有的对话能力和工具调用能力。这为那些需要持续迭代和更新知识的行业AI系统提供了切实可行的解决方案，为AI在实际业务场景中的长期应用铺平了道路。
源自OpenAI实践经验，预示AI新时代
这项突破性研究的主导者Kevin Lu，曾是OpenAI的关键项目负责人。如今，他作为Thinking Machine的核心成员，将他在大规模模型训练方面的宝贵经验，反哺到了高效小模型的生态建设中。
Thinking Machine团队认为，随着AI技术越来越走向垂直化和场景化应用，那些“小而专”的模型将成为商业落地的中坚力量。“在线策略蒸馏”正是推动这一转变的关键技术引擎。
当前，算力瓶颈日益凸显，整个AI行业正逐渐从“唯大模型论”转向追求“高效智能”的新范式。Thinking Machine的这项技术创新，不仅大幅降低了AI开发的门槛，更预示着一个属于高性价比、专业化AI模型的时代正在加速到来。
