GPT-o3の知識作業スコアが12点急落：論理推論能力の退化が疑われる
今週GPT-o3の知識作業スコアが82.4点から70.3点へと14.7%急落し、特に論理推論とタスクで顕著な性能低下が見られた。
GPT-o3の性能が急落：知識作業能力が12.1ポイント暴落した背景にある技術的リスク
GPT-o3の知識作業能力が82.4点から70.3点に急落し、特に論理推論と言語理解能力に深刻な劣化が見られ、モデルの安定性に対する懸念が高まっている。
グローバル基準、ローカルな現実：アジア太平洋多言語マルチモーダルAI安全性ベンチマーク試験運用
文化的な文脈を考慮したAI安全性評価の必要性から、アジア太平洋地域の多様な文化に対応したマルチモーダルベンチマークを開発中。2026年夏に初期ベンチマークを研究コミュニティに公開予定。
MLPerf Inference v6.0 EdgeスイートがYOLO11にアップグレード
MLPerf Inference Edgeスイートが従来のRetinaNetベンチマークから最新のUltralytics YOLO11へアップグレードされ、より現代的で高性能な物体検出モデルによる評価が可能になりました。
MLPerf Inference v6.0にText-to-Videoを導入
MLCommonsは、急速に発展する動画生成AIの性能評価のため、MLPerf Inference v6.0にText-to-Videoベンチマークを初めて導入し、アリババのWan2.2モデルを採用した。
MedPerfがApache Airflowを統合、連合臨床研究のデータ準備体験を向上
MLCommonsの医療ワーキンググループが、MedPerfにApache Airflowを統合し、連合臨床研究におけるデータ準備パイプラインの配布、オーケストレーション、監視を大幅に簡素化しました。
SGLang が NVIDIA Nemotron 3 Super に Day-0 対応、効率的なマルチエージェントシステムを実現
SGLangがNVIDIA Nemotron 3 Superに即日対応し、1M tokenのコンテキスト長と高効率なMoEアーキテクチャを活用したマルチエージェントシステムの構築を可能にしました。
SGLang、NVIDIA GB300 NVL72で25倍の推論性能向上を実現
SGLangチームとNVIDIAの協力により、GB300 NVL72上でDeepSeek R1の推論性能がH200比で最大25倍向上し、大規模MoEモデルの展開コストを大幅に削減しました。
GB300 NVL72のDeepSeek展開：長いコンテキスト推論の大幅な向上
GB300 NVL72は、長いコンテキストでのLLM推論における最強のプラットフォームです。新たな技術的進展により、DeepSeek R1-NVFP4の128K/8K ISL/OSL長いコンテキストサービスが最適化され、GB200と比較して最大1.53倍の性能向上を実現しています。
AI風险の新基準：AILuminate全球保障計画が信頼性を再定義
MLCommonsがAILuminate全球保障計画を発表し、AI システムの信頼性を検証するための構造化されたデータ駆動型評価メカニズムを確立。
SGLang-Diffusion：プロダクショングレードのビデオ生成のための高度な最適化
SGLang-Diffusionがプロダクショングレードのビデオ生成フレームワークとして、トークンレベルのシーケンス分割、分散VAE、融合カーネルなどの深層最適化を実装し、大規模な拡散モデルのデプロイメントを実現。
MLCommonsが防御可能な脱獄ベンチマークテストの基礎を構築
MLCommonsは、大規模言語モデルの単一ターン脱獄攻撃に対する防御可能で再現可能な評価手法として、分類法に基づく新しいベンチマーク設計アプローチを発表した。
徹底解析：DeepSeekからGeminiまで、「モデル蒸留」に対する鉄壁の防御をいかに構築するか？
DeepSeek事件を契機に、AIモデルの知識を盗む「モデル蒸留攻撃」が深刻な脅威となっており、API層からモデル内核まで多層的な防御体系の構築が急務となっている。
計算能力の解放：AMD MI300X上でのQwen3とQwen3-VLの究極レイテンシ最適化
Qwen C端インフラエンジニアリングチームとAMD AIフレームワークチームが協力し、AMD Instinct™ MI300X GPUプラットフォーム上でQwen3-235BとQwen3-VL-235Bの極限レイテンシ最適化を実施し、TTFTとTPOTで大幅な性能向上を達成しました。
技術標準：AI大規模採用への架け橋
AI技術が企業サービスの汎用技術へと移行する中、信頼性の確保が重要な課題となっており、業界標準の策定と標準化された評価システムの構築が不可欠である。
Croissant 1.1 新機能：拡張可能でエージェント対応のML データセット標準
MLCommonsが機械学習データセット用メタデータフォーマットCroissant 1.1をリリース。AIエージェント時代に向け、機械操作可能な来歴追跡、語彙の相互運用性、自動ライセンス執行などの新機能を追加。
DLRMv3：MLPerf Inference生成的推薦ベンチマーク
DLRMv3は、MLPerf DLRM系列初のシーケンス推薦推論ベンチマークであり、HSTU アーキテクチャに基づく1TBモデルで、現代の推薦システムの計算パターンを反映している。
CKAN Croissant：MLCommons AIモデルベンチマークの新時代
MLCommonsとLMSYS OrgがAIモデル評価の新たなベンチマーク「CKAN Croissant」を発表し、Croissant v1.0フォーマットによるモデルメタデータの標準化と共有を実現した。
MLCommons、Ailuminate法語データセットを公開
MLCommonsがAiluminate French Datasetsを公開し、フランス語LLM評価の標準化ツールを提供。GPT-4oが翻訳精度92%でトップ、Llama 3.1 405Bが推論タスクで勝率78%を達成。
MLPerf Client v0.6ベンチマークテスト結果発表
MLCommonsがクライアント推論性能に特化した初の標準化ベンチマークスイート「MLPerf Client v0.6」の結果を発表し、スマートフォン、ノートPC、エッジデバイスなどのシナリオに対応。