Top / サービス一覧 / InfiniCloud AI / LLM Fabric
InfiniCloud® AI LLM Fabric
GPUクラスタから、LLMサービス基盤を。GPU資源を持ち、自らAIサービスを提供したいクラウド事業者・データセンター様向け。
InfiniCloud® AI LLM Fabric
「InfiniCloud AI LLM Fabric」は、GPU基盤を保有する事業者や企業が、短期間でLLMサービス（LMaaS）を開始できるよう構築されたソリューション型製品です。InfiniCloud AI Ver.3までの技術に加えて、クラウド基盤技術(InfiniCloud HVなど)を応用し、複数モデルのGPU配置、稼働管理、推論リクエストの振り分け、APIキーによる利用制御、利用者別の入出力トークン集計を統合し、GPU基盤を継続的なサービス提供に活用するための仕組みを提供します。顧客の設備やサービス要件に応じた設計、構築、連携を通じて、商用LLM APIサービスや企業内の共通AI基盤の立ち上げを支援します。
課題
- GPU資源を持っていても、時間貸しだけでは付加価値を生みにくい
- 複数のGPUサーバーにモデルを配置し、安定したLLMサービスとして提供するには、高度な構築・運用が必要
解決
複数のGPUサーバーを束ね、OpenAI互換のAPIでLLMを提供するサービス基盤を構築する製品です。クラウド事業者やデータセンターが自らMaaSを立ち上げたり、大企業や大学・研究機関が組織内で共通のAI基盤を運用したりできます。
構成・料金
- 複数GPUノードへのLLM推論基盤の展開
- クラスタ管理（モデル配置、リクエストの振り分け、利用量の制御、冗長化）
- OpenAI互換APIによるモデル提供
料金：個別見積
| 機能 | 説明 |
|---|---|
| LLM API提供 | 複数のモデルを共通のAPI窓口から提供し、顧客アプリケーションや社内システムから利用(vLLMを利用) |
| APIキー・利用制御 | APIキーの有効性、利用可能なモデル、利用上限などに基づいてリクエストの受付を制御 |
| モデル別ルーティング | リクエストで指定されたモデルに応じて、対応する推論サーバープールへ振り分け |
| 推論負荷分散 | プール内の負荷やキャッシュ状況を考慮し、リクエストを処理する推論サーバーを選択 |
| GPUへのモデル配置 | モデルのウェイト、KVキャッシュ、実行時の作業領域などを考慮し、複数モデルの配置を管理 |
| 推論サーバーの稼働管理 | 推論サーバーの起動・停止、振り分け対象への追加・除外、処理中の要求を考慮した停止を管理 |
| 利用量の記録・集計 | リクエストごとの入出力トークン数を利用者・APIキー・モデルにひも付けて記録・集計 |
| 課金・顧客管理連携 | 集計した利用実績を、既存の課金システムや顧客管理システムと連携 |
| 導入設計・構築 | GPU構成、提供モデル、利用制御、既存システムとの連携などをサービス要件に応じて設計・構築 |
