アップルがMinions論文を発表：アイドル状態のMac GPUを分散推論クラスターに集約、待ち時間を10時間から数分に短縮
アップルの機械学習研究チームが、社内で実際に稼働している分散GPU推論システム「Minions」に関する論文を発表した。従業員のMacに搭載されたアイドル状態のGPUを集約することで、推論タスクの待ち時間を10時間超から数分へと大幅に短縮す
アップルの機械学習研究チームが、社内で実際に稼働している分散GPU推論システム「Minions」に関する論文を発表した。従業員のMacに搭載されたアイドル状態のGPUを集約することで、推論タスクの待ち時間を10時間超から数分へと大幅に短縮す
SGLangが超長コンテキスト推論のために高度に最適化されたPipeline Parallelism（PP）を実装し、DeepSeek-V3.1で3.31倍のPrefillスループット向上、TTFTを最大67.9%削減、強スケーリング効率8