2025 年 1 月 20 日 Kimi k1.5 谨防发布，伴跟着时代敷陈的公布，有网友暗示："这应该是群众边界内，除 OpenAI 以外的公司初度杀青 o1 郑再版的多模态推感性能了吧！"

一时候，Kimi k1.5 成了话题王者。

但在一个月后的 2 月 24 日，X 上出现了一篇对于 Kimi k1.5 的时代爆料帖，博主直言 k1.5 所用到的强化学习算法，其实是鉴戒了我方在 24 年 5 月建议的一种名为 SPPO 的时代。

音问一出，斯须蛊惑了数万东谈主善良。

Kimi k1.5 背后的 SPPO 时代

在这则爆料中，博主 Yue Wu 先是对 SPPO 进行了爽气解释，况且附上了有关论文（https://arxiv.org/abs/2405.00675），爽气来说，SPPO 是一种自博弈算法，当先的动机开始于描述浅显意旨上的东谈主类偏好，况且使用了如下图所示的平方逝世函数：

值得一提的是，点开论文鸠集，你会发现蓝本 Yue Wu   和 Zhiqing Sun 同为这篇著作的第一作家。

紧接着，他运行对 SPPO 时代进行明白：

通过迭代求解上式中的 theta_t，咱们不错获得一个与东谈主类偏好对都细密的说话模子。SPPO 使用胜率（红色部分）动作奖励，并用常数类似基线（蓝色部分）。

让咱们感风趣的是，咱们发现它与 RLHF 主义的计谋梯度有着深层的联系：若是咱们径直用普通的计谋梯度优化 RLHF （东谈主类反映强化学习）主义会怎样？字据计谋梯度定理，计谋梯度现实上也具有平方逝世样式（蓝色项是计谋梯度中的基线）：

从数学上，咱们解说了 SPPO 的平方逝世等价于普通计谋梯度的一种半在线变体：

SPPO 中的胜率充任奖励函数（红色部分）。

分区函数项当然地成为（软）值函数（蓝色部分）。

那么这到底意味着什么呢？

程序计谋梯度（PPO、GRPO、REINFORCE）在每一步都网罗战胜面前计谋的样本。

SPPO 在每次迭代运行时只采样一次，然后通过平方逝世进行优化。

这使得 SPPO 成为一种轻量级的 RLHF 要领——无需即时生成！

上述分析揭示了大型说话模子（LLM）后调查阶段一个风趣的发展趋势：

离线 DPO（IPO、KTO 等）取代 RLHF（奖励模子 + 强化学习）

迭代 DPO、SPPO 等要领将离线要领转变为在线对都要领

愈加缜密的迭代 → 追想到在线强化学习

鉴于 GRPO（Deepseek-R1）和平方逝世（Kimi k1.5）的成效，端到端强化学习的普遍作用愈发突显，大概在大型说话模子（LLM）后调查阶段无需特等手段——价值函数、广义上风臆测（GAE），以至梯度剪辑都无需使用。

另一个爽气但风趣的发现是，他们发现 SPPO 阴晦在词汇级别优化最优最大熵计谋。其平方逝世隐含地最小化了学习到的计谋与最优词汇级别计谋之间的 KL 散度。

在咱们后续的研究 GPO 中，咱们径直最小化相对奖励与对数比率之间的平方逝世。这两项职责中的平方逝世等价于计谋梯度，但它所以迭代的阵势进行的。

SPPO 时代背后的科研大牛

除了建议助力 Kimi k1.5 大获成效的 SPPO 时代外，Wu Yue 亦然一个学术布景很强的科研大牛。他本科期间师从北京大学的王立威讲授，博士期间师从加利福尼亚大学洛杉矶分校的顾全全讲授，当今以博士后研究员的身份在普林斯顿大学东谈主工智能实验室链接着我方的科研之路。

除此以外，2023 年于今他一共参与发布了 9 篇 Paper，其中 3 篇均为第一作家。

普遍的学术布景以外，Wu Yue 的实习阅历也十分加分。2022 年至 2024 年，他离别在 NEC 好意思研院、字节好意思国 AI lab 和 Meta 职责实习。在 NEC 好意思研院期间，Wu Yue 从事个性化联邦学习研究，并建造了一种基于搀和模子的要领，该要领被 ICML 2023 经受发表；在字节好意思国 AI lab 时，他专注于药物发现限制的多构象生成，将分子能源学的物理先验纳入基于扩散的生成模子，有关后果被 ICML 2024 经受；来到 Meta 后，Wu Yue 又艰苦于词汇级别奖励建模和新架构筹算，用于一般东谈主类偏好和一般偏好优化，为生成式东谈主工智能的发展作念出了孝顺。

雷峰网还了解到，与他同为第一作家的 Zhiqing Sun ，当今也曾从 CMU 毕业，并在本年 2 月加入 OpenAI。

亚bo体育网