Infer-forge：SGLangを中心としたHarness・Loop・Graphエンジニアリング

1. はじめに

推論最適化はコードレベルの局所的な変更のように見えるが、その有効性はグローバルに影響する。カーネル・通信パス・スケジューリングの変更は、モデル・ワークロード・SLO・サービングトポロジー・ランタイムバージョン・アクセラレータープラットフォームが組み合わさって定義される特定のデプロイメントポイント上でのみ意味を持つ。同じパッチでも、あるデプロイメントポイントでは改善をもたらす一方、別のポイントでは性能後退を引き起こすことがある。

したがって最優先の要件は信頼性の高い実行である。デプロイメントポイントを再現するには、モデル能力だけでなく、ツール・環境・コンテキスト・メモリ・検証・セキュリティ境界の安定性も必要となる。Harness Engineeringはこれらの周辺条件を、再現可能かつ検査可能な実行システムへと変換し、抽象概念Agent = Model + Harnessの基盤を形成する。

2. 推論とはデプロイメント空間である

図1はデプロイメントポイントを具体的な制約チェーンへと変換したものである。モデルがサポートするモダリティと実行パスを決定し、サービングシナリオがモダリティとトラフィック形状をSLOへと変換し、さらにサービングトポロジーを制約し、最終的にバージョン管理されたランタイムプロファイルを通じてアクセラレータープラットフォーム上で実現される。

3. MonoRepo

Infer-forgeはGitサブモジュールを通じて関連リポジトリを同一のルートディレクトリ下に配置することで、それぞれの履歴を保持しつつ、クロスリポジトリエンジニアリングへの安定したエントリーポイントを提供する。

4. Task Loop

タスクループはタスク定義からメインループへと進み、「タスクゴール達成？」の判定により終了するかどうかを決定しながら、タスクメモリを保持し続ける。

5. 実装の現状

Infer-forgeはすでに社内で継続的に運用されており、4ヶ月間で並行タスクのピーク数が2から9へと増加し、1つのプロジェクトにおいて38件の検証可能なタスクノードを協調処理した実績がある。