SGLangとMilesがKimi K3にDay-0サポートを提供
SGLangチームとMilesは、初のオープンソース3兆パラメータ級モデルであるKimi K3に対してDay-0サポートを正式に発表した。SGLangが推論を、MilesがRL学習を担当し、リリース日のあらゆるシナリオをカバーする。
大模型推理 に関するニュース
MLPerf v6.1、エッジ向けAgentic推論ベンチマークの結果を募集
MLCommonsのEdge LLM Taskforceは、MLPerf Inference v6.1においてEdge Agentic Inferenceベンチマークを新たに導入すると発表した。提出締め切りは2026年7月31日で、ハードウ
OpenAIと博通が大規模モデル推論チップを共同開発
OpenAIとBroadcomが大規模言語モデルの推論タスク専用カスタムチップの開発完了を発表した。同チップはNVIDIAのH200 GPUと比較して同コストで3倍の処理速度、60%の消費電力削減を実現するとされ、AI推論市場に大きな影響を