HiCacheは多並列・分散推論をどのように支えるのか
Agenticワークロードでは長い履歴コンテキストの再利用が重要であり、HiCacheはRadix cacheのKV再利用をホストメモリや外部ストレージへ拡張する。この記事では、Context Parallelism、Pipeline Pa
Agenticワークロードでは長い履歴コンテキストの再利用が重要であり、HiCacheはRadix cacheのKV再利用をホストメモリや外部ストレージへ拡張する。この記事では、Context Parallelism、Pipeline Pa
SGLangとAMDチームの緊密な協力により、AMD Instinct™ MI355X GPU上でDeepSeek-R1の大規模分離推論において競争力のある総所有コスト（TCO）を達成。主要な運用ポイントでNVIDIA B200を上回るTC