PerplexityがUnigramトークナイザーをオープンソース化：CPU利用率を5〜6倍削減、小型モデルの推論効率を大幅向上
Perplexity社は再構築したUnigramトークナイザーをオープンソース化し、CPU利用率を5〜6倍削減することで小型モデルの推論性能を大幅に最適化した。この取り組みはエッジAIアプリケーションの普及を加速させる見込みである。
Perplexity社は再構築したUnigramトークナイザーをオープンソース化し、CPU利用率を5〜6倍削減することで小型モデルの推論性能を大幅に最適化した。この取り組みはエッジAIアプリケーションの普及を加速させる見込みである。
Perplexity AIは、19種類の最先端AIモデルを統合し、研究からコーディング、デプロイまでの完全なワークフローを自律的に実行できる新製品「Perplexity Computer」を発表した。