HiSparse に関するニュース

HiSparse：階層化メモリシステムによるスパースアテンションの加速

自己注意機構の計算およびメモリのコストが大規模言語モデル（LLMs）の拡張の主要なボトルネックとなっている中で、HiSparseは階層的なメモリシステムを用いてこの制約を克服し、スパースアテンションのスループットを向上させる。