BF16大規模言語モデルの強化学習崩壊、3か所の丸め処理を揃えるだけで解決
研究者らがarXivで発表した論文によると、大規模言語モデルの強化学習が崩壊する根本原因は、推論スタックと学習スタック間の3か所における数値丸め処理のタイミングのずれにあることが判明した。この3か所を修正するだけで、グローバルな精度フォーマ
研究者らがarXivで発表した論文によると、大規模言語モデルの強化学習が崩壊する根本原因は、推論スタックと学習スタック間の3か所における数値丸め処理のタイミングのずれにあることが判明した。この3か所を修正するだけで、グローバルな精度フォーマ
アマゾンは、2005年から21年間運営してきたクラウドソーシングプラットフォーム「Mechanical Turk」を2026年9月30日に終了すると発表した。AIが人間の代替を可能にするほど高度化した今、同プラットフォームが育てたAIが皮肉