NVIDIA Nemotronデュアルタワー拡散モデル発表、推論速度2.42倍向上しながら高忠実度を維持
NVIDIAはNemotron-Labs-TwoTower拡散言語モデルを正式発表し、30Bパラメータのモデルをデュアルタワーアーキテクチャに分割することで推論速度を2.42倍に向上させつつ、品質保持率98.7%を実現した。
推理优化 に関するニュース
OpenAIが初のカスタムAI推論チップ「Jalapeño」を発表：Broadcomと協力しNVIDIAに挑む
OpenAIはBroadcom設計・TSMC 3nmプロセス採用の初のカスタムAI推論チップ「Jalapeño」を正式発表した。このチップは大規模モデルの推論シナリオに最適化されており、TCOを40〜50%削減できる見込みで、AI算力の自律
OpenAIとBroadcomがJalapeñoチップを発表――推論コスト50%削減を目標とするも、トレーニングはNVIDIAに依存継続
OpenAIとBroadcomが、大規模言語モデルの推論に特化したカスタムASICチップ「Jalapeño」を共同発表した。1回の応答コストを約50%削減することを目標とし、2026年末の展開を計画しているが、トレーニングは引き続きNVID
GB200 NVL72でのDeepSeek最適化（二）：プリフィル3.8倍、デコード4.8倍のスループット
SGLangチームがGB200 NVL72上でDeepSeek V3/R1の推論性能を大幅に最適化し、FP8 attentionとNVFP4 MoEなどの技術により、H100と比較してプリフィル3.8倍、デコード4.8倍のスループット向上を
SGLang推論加速：NVIDIA Model Optimizerのネイティブ統合により、シームレスな量子化デプロイを実現
SGLangがNVIDIA Model Optimizerをネイティブ統合し、フルプレシジョンモデルから高性能量子化エンドポイントへの直接変換を可能にした。この統合により、単一GPU上で最大2倍のスループット向上を実現している。
SGLang即座にMiMo-V2-Flashモデルをサポート
SGLangがMiMo-V2-Flashモデルの高効率サポートを実現。スライディングウィンドウアテンションと多層MTPにより、推論効率を大幅に向上させた。
SGLang が拡散大規模モデルを強化：LLaDA 2.0 を即日サポート
SGLang に Diffusion Large Language Model (dLLM) フレームワークを統合し、既存の ChunkedPrefill メカニズムを活用してシームレスな統合、高性能、最大限の柔軟性を実現しました。