注意力机制に関するニュース

LLMの次なる重大ブレークスルーを追求するスタートアップ企業たち

2017年のTransformerアーキテクチャ登場から約10年、その限界を克服しようとする新興スタートアップ企業たちが、線形アテンションや状態空間モデルなど多様なアプローチでLLMの次なる革新を模索している。