2026年10月23日、研究者のYijing Ke、Tianle Cai、Ruosong WangはarXivに論文を発表し、大規模言語モデルの強化学習訓練が崩壊する根本原因が一つのエンジニアリング上の細部に潜んでいることを指摘した。それは、推論スタックと学習スタックが3か所の数学的演算において丸め処理のタイミングが一致していないという問題である。この3か所を修正するだけで、BF16精度での強化学習の訓練プロセスを安定させることができ、グローバルな精度フォーマットの置き換えも学習アルゴリズムの変更も不要であり、推論エンジン・行列積カーネル・アテンション計算カーネルはすべてそのまま維持される。
問題の本質：2つのシステム、1セットの重み、2種類の丸め処理
大規模言語モデルの強化学習（RLHFであれGRPOなどの派生手法であれ）は、推論と学習を通常異なるシステムで実行する。表面上は両者が同一の重みとBF16テンソルを使用しているように見えるが、実装上の微細な差異により、本来「オンポリシー（on-policy）」であるべき勾配更新が知らぬ間に「オフポリシー（off-policy）」へと変質してしまう。
BF16は十分な動的範囲を持つが、仮数部（mantissa）はわずか7ビットであり、FP32の23ビットを大きく下回る。2つのシステムが同一の数値に対して異なるタイミングで丸め処理を行うと、わずかな数値の差異が勾配の逆伝播で増幅され、学習と推論の間の数値的一貫性が損なわれ、最終的にポリシーの崩壊を引き起こす。
既存の対策とそのコスト
業界がこれまでこの問題に対処するための主なアプローチは3つあった。第一に推論と学習の完全な実行スタックを揃える方法、第二にグローバルに精度を切り替える方法、第三に学習アルゴリズムを修正して追加の補正項を導入する方法である。
2025年10月、別の研究チームがarXiv（arXiv:2510.26788）に発表した論文では、BF16をFP16に直接変更するという手法を提案しており、数行のコードの修正で済む。この手法はBF16の大きすぎる丸め誤差が根本原因と見なし、FP16を均一に使用することで安定した最適化プロセスと高速な収束が得られると主張している。ただしFP16はBF16に比べ動態範囲が狭く、一部の学習シナリオではオーバーフローのリスクがある。
外科手術的な修正：3つのノード
Keらの新論文は「どの計算箇所の丸め誤差が学習の安定性に最も大きな影響を与えるか」を特定し、その箇所のみで対齊を行うアプローチをとる。
研究チームは3つの領域を特定した：
- RoPE（ロータリー位置エンコーディング）：位置情報の計算ノードであり、BF16精度の損失が推論と学習の間の位置認識の一致に直接影響する；
- SwiGLU：現代の大規模言語モデルで広く採用されているゲート付き活性化関数であり、その乗算ゲート機構は数値精度に敏感である；
- 残差RMSNorm：正規化層であり、層をまたいだ数値誤差の蓄積が起こりやすい典型的な箇所である。
修正方法は、上記3つの領域の計算過程において、一部の中間変数を一時的にFP32フォーマットで保持し、BF16への最終出力時にのみ丸め処理を行うものである。推論エンジン・行列積カーネル・アテンション計算カーネル・学習目的関数はすべてそのまま維持される。
検証結果と予想外の発見
この論文では4つのQwenファミリーモデルを用いて検証が行われた。3つの領域を同時に揃えることで、デフォルトのBF16ベースラインで発生していた学習崩壊を完全に防止できることが示された。RoPEパスのみを揃えた場合も、SwiGLUおよびRMSNorm領域に数値差異が残存するにもかかわらず、すべてのテスト実行で十分な効果が得られた。これは具体的なエンジニアリング上の結論を示している：RoPEが推論と学習の数値ドリフトの主要な発生源であるということだ。
2024年11月、上海人工知能実験室などの機関の研究により、長いコンテキスト学習においてBF16の精度制限がRoPEの相対位置エンコーディングを破壊するという問題が明らかになり、それを踏まえてAnchorAttentionなどの補償手法が開発され、一部のシナリオでは学習時間が50%以上短縮された。
エンジニアリング上の価値：診断フレームワーク
LLM強化学習の学習パイプラインを展開しているチームにとって、この論文は具体的な障害特定の手順を提供している。これまでRL学習が不安定になった際、エンジニアは「精度を変更する・ハイパーパラメータを調整する・アルゴリズムを修正する」という3つの手段を手探りで試すしかなかった。今後は「推論スタックと学習スタックの丸め処理箇所が一致しているか確認する」という精確な診断の入口が得られたことになる。
3つの局所領域でFP32の中間変数を保持する追加のVRAM消費はごく限定的であり、グローバルな精度切り替えによるVRAMの負担をはるかに下回る。FP16手法と比較すると、本手法はBF16の広い動的範囲という優位性を維持しており、勾配値の幅が大きい学習シナリオにおいて実用的な意義を持つ。
独立した評価
グローバルにFP16へ切り替えることも実行可能であり、エンジニアリング上の実装もより単純である。チームの学習スタックが統一精度を許容するなら、FP16は合理的な選択肢だ。本手法の独自の貢献は一つの思考様式にある：数値不安定性の根本原因はアルゴリズムのロジックではなく、演算順序と丸め処理のタイミングというエンジニアリング上の細部に潜んでいることが多い。
4つのQwenモデルによる検証は確かな出発点ではあるが、同一のモデルファミリーに限定されている。この結論がLlama、Mistral、あるいは他の活性化関数の組み合わせに適用できるかどうかについては、現時点で直接的な証拠はない。
より広い視野から見ると、BF16学習安定化の修正手法は現在複数のアプローチが並行して存在している状況にある——グローバルな精度変更・局所的な丸め処理の統一・アルゴリズム修正が同時に存在しており、統一されたコンセンサスは形成されていない。これはLLM強化学習の基盤エンジニアリングがいまだ標準化されていないことを示している。
© 2026 Winzheng.com 赢政天下 | 转载请注明来源并附原文链接