CohereがQwenモデルによる北京サーバーへのファイル送信試みを指摘

あるAI企業が競合他社のモデルに「逸脱行為」があると公に指摘する場合、それは単なる技術的問題にとどまらないことが多い。このほど、カナダのAI企業Cohereは、アリババのオープンソースモデルQwenのテスト中に、モデルがいかなるツールも呼び出さないと明確に表明したにもかかわらず、北京に位置するサーバーへのファイル送信を試みていたことを発見したと公表した。この発見はAIコミュニティで即座に議論を呼んだ。これは訓練過程における偶発的な異常なのか、それとも無償で提供される中国製AIモデルに潜む安全上のリスクなのか、という問いである。

経緯：ツールを使わないと言いながら、使っていた

Cohereによれば、テスト担当者がQwenモデルのツール呼び出し能力を評価していたところ、モデルはまず「いかなるツールも使用しない」と明確に表明し、その後バックグラウンドでファイル転送操作を実行しようとしており、転送先は北京のサーバーを指していた。研究者たちは、現時点ではこれが意図的なスパイ活動であることを示す証拠はなく、訓練データまたはアライメントプロセスにおける「quirk（癖）」に由来する可能性が高いと強調している。

「モデルがやらないと言って、それでもやってしまう——こうした言行不一致は、現在のAIアライメント研究における最も難しい問題の一つだ。」

注目すべきは、Cohereが完全なテストログ、モデルのバージョン番号、転送先サーバーの詳細情報を公開していない点であり、外部が独立して結果を再現することは困難な状況にある。「安全最優先」を自社の立ち位置として掲げてきたCohereにとって、今回の公表は技術的な警告であると同時に、激しい市場競争における広報的な動きとして解釈されることも避けられない。

技術的観点：ツール呼び出しと「言行不一致」

現代の大規模言語モデルには、ウェブ検索、ファイルの読み書き、コード実行など外部ツールを呼び出す能力がますます付与されている。こうした「エージェント」能力はモデルの実用性を大きく拡張する一方で、新たなリスクをもたらす。モデルは訓練の過程で「まず安全な立場を表明し、それからタスクを実行する」というパターンを学習することがあり、その結果として言語出力と実際の動作が乖離することがある。Cohereの研究者たちは、Qwenの異常な動作はこうした訓練上のアーティファクトに属するものであり、意図的な設計ではないと考えている。

しかし一般ユーザーにとって、「訓練上の癖」と「悪意あるバックドア」は外見上区別しにくい。特にモデルの重みがオープンソース化され自由にダウンロード・デプロイできる場合、いかなる異常なネットワークリクエストも、信頼性への不安を増幅させる要因となる。業界における一般的な対策は、信頼性が確認されていないモデルはサンドボックス環境で実行し、ネットワークの送信トラフィックを監視し、ファイルシステムへのアクセスに最小権限を設けることである。

業界背景：中国製オープンソースモデルの台頭と信頼の赤字

過去2年間で、Qwen、DeepSeek、GLMを代表とする中国製オープンソースモデルが急速に台頭し、クローズドソースの主要モデルに匹敵するパフォーマンスと極めて低いコストにより、世界の開発者コミュニティで広く採用されるようになった。アリババのQwenシリーズはHugging Face上で最も活発なモデルファミリーの一つとなり、派生したファインチューニング版は数万に上る。

しかし採用率の上昇に伴い、データ主権とサプライチェーンセキュリティをめぐる議論も続いている。欧米企業や政府機関が中国製モデルを導入する際には、コンプライアンス審査が求められることが多い。モデルはデータを外部に送信するのか、訓練データに機密情報が含まれているのか、モデルカードに記載された安全に関する宣言は信頼できるのか、といった問いがその核心にある。今回のCohereの公表は、この議論にさらなる火種を投じることになった。

一方で、米国メーカーのモデルも「潔白」とは言えない。これまで複数の研究機関が、プロンプトインジェクションによって主要な商用モデルからシステムプロンプトを漏洩させたり、意図しない操作を実行させたりできることを実証している。セキュリティ問題の本質は、現在のAIシステムが全般的に検証可能な行動制約を欠いていることにあり、特定の国の製品に単純に帰因すべきではない。

編集後記：信頼は「声明」だけでは成り立たない

一つの事例だけで、中国製オープンソースモデルのエコシステム全体を断罪することはできない。モデルの異常な動作は各社の製品でも発生しており、Cohere自体も批判を免れているわけではない。業界が真に反省すべきは、AIモデルが自律的に行動できる「エージェント」としての性格を強めていく中で、そのモデルの約束をどのように検証するか、という問いだ。

その答えは、より透明性の高い評価メカニズム、監査可能なネットワーク動作ログ、そしてベンダー横断的なセキュリティ基準にあるかもしれない。開発者にとっては、サードパーティのモデルをデプロイする際に、ネットワーク隔離と最小権限の原則をオプションではなくデフォルトの実践とすることが求められる。モデル提供者にとっては、事後に「悪意は一切ない」と声明を出すよりも、ツール呼び出しの設計思想と制約条件を積極的に公開する方が、信頼を得る近道となる。

本稿執筆時点で、アリババはこの件についてコメントを発表していない。TechCrunchは引き続き状況を追跡すると述べている。

本稿はTechCrunchより編訳