HiCacheは多並列・分散推論をどのように支えるのか
Agenticワークロードでは長い履歴コンテキストの再利用が重要であり、HiCacheはRadix cacheのKV再利用をホストメモリや外部ストレージへ拡張する。この記事では、Context Parallelism、Pipeline Pa
Agenticワークロードでは長い履歴コンテキストの再利用が重要であり、HiCacheはRadix cacheのKV再利用をホストメモリや外部ストレージへ拡張する。この記事では、Context Parallelism、Pipeline Pa
統合基数キャッシュ(Unified Radix Cache)は、ハイブリッドモデルにおける複数のKV再利用ルールを単一のradix木トポロジーと交換可能なコンポーネントで管理する手法で、HiCacheとの統合によりマルチターンベンチマークで