4月23日，快手Kwaipilot團(tuán)隊(duì)發(fā)布全新大模型訓(xùn)練方法SRPO并宣布開(kāi)源。該方法僅用 GRPO 1/10的訓(xùn)練成本，在數(shù)學(xué)與代碼雙領(lǐng)域基準(zhǔn)測(cè)試中實(shí)現(xiàn)性能突破：AIME2024 得分50，LiveCodeBench 得分41.6，成為業(yè)界首個(gè)在兩大專(zhuān)業(yè)領(lǐng)域同時(shí)復(fù)現(xiàn)DeepSeek-R1-Zero 的方法。
快手 Kwaipilot 團(tuán)隊(duì)在最新研究成果《SRPO: A Cross-Domain Implementation of Large-Scale Reinforcement Learning on LLM》中提出了一種創(chuàng)新的強(qiáng)化學(xué)習(xí)框架 —— 兩階段歷史重采樣策略?xún)?yōu)化（two-Staged history-Resampling Policy Optimization ，SRPO），這是業(yè)界首個(gè)同時(shí)在數(shù)學(xué)和代碼兩個(gè)領(lǐng)域復(fù)現(xiàn) DeepSeek-R1-Zero 性能的方法。通過(guò)使用與 DeepSeek 相同的基礎(chǔ)模型 (Qwen2.5-32B) 和純粹的強(qiáng)化學(xué)習(xí)訓(xùn)練，SRPO 成功在 AIME24 和 LiveCodeBench 基準(zhǔn)測(cè)試中取得了優(yōu)異成績(jī)（AIME24 = 50、LiveCodeBench = 41.6），超越了 DeepSeek-R1-Zero-32B 的表現(xiàn)。更值得注意的是，SRPO 僅需 R1-Zero 十分之一的訓(xùn)練步數(shù)就達(dá)到了這一水平。
論文地址：https://arxiv.org/abs/2504.14286
模型開(kāi)源地址：https://huggingface.co/Kwaipilot/SRPO-Qwen-32B
圖：SRPO AIME24 和 LiveCodeBench 表現(xiàn)，每項(xiàng)為 pass@1 的32 次平均得分
技術(shù)報(bào)告中，快手Kwaipilot團(tuán)隊(duì)實(shí)現(xiàn)了一種兩階段訓(xùn)練范式，有效解決數(shù)學(xué)和代碼之間內(nèi)在的響應(yīng)長(zhǎng)度沖突問(wèn)題。實(shí)驗(yàn)表明，兩階段訓(xùn)練在數(shù)學(xué)和編程領(lǐng)域均表現(xiàn)出優(yōu)異的結(jié)果。該模型在解決數(shù)學(xué)問(wèn)題時(shí)始終如一地生成詳細(xì)的逐步推理模式，并在處理編程任務(wù)時(shí)生成結(jié)構(gòu)化的推理模式。
圖：不同訓(xùn)練數(shù)據(jù)策略對(duì)響應(yīng)長(zhǎng)度的影響
在訓(xùn)練的中后期階段，快手 Kwaipilot 團(tuán)隊(duì)創(chuàng)新性地引入了歷史重采樣（History Resampling）實(shí)現(xiàn)動(dòng)態(tài)采樣，確保了在每個(gè)訓(xùn)練步驟中梯度更新始終有效，從而直接提高了信息梯度的比例。與DAPO中提出的Dynamic Sampling方法相比，History Resampling顯著提高了計(jì)算效率，響應(yīng)長(zhǎng)度增長(zhǎng)也更加穩(wěn)定。
圖：Training statistics of History Resampling
更令人驚喜的是，在訓(xùn)練過(guò)程中模型的自我反思、糾正和回溯頻率逐漸增加，在訓(xùn)練后期，模型已經(jīng)會(huì)借助程序性思維進(jìn)行自我糾錯(cuò)和多次嘗試，掌握了廣泛思考和綜合運(yùn)用多種代碼思維進(jìn)行問(wèn)題求解的能力。
目前，快手Kwaipilot團(tuán)隊(duì)已將SRPO-Qwen-32B模型開(kāi)源，希望這一成果能夠?yàn)?span id="7jugo1u" class="wpcom_keyword_link">社區(qū)在構(gòu)建更強(qiáng)大的推理模型方面提供有力支持。未來(lái)，他們將持續(xù)探索數(shù)據(jù)與模型的擴(kuò)展、更高效的強(qiáng)化學(xué)習(xí)算法以及SRPO在更廣泛的推理場(chǎng)景中的應(yīng)用。
