Technology

InfiniCloud® AI

自社の「知能」を育て、所有する時代へ

Top / サービス一覧 / InfiniCloud AI / リリースノート / InfiniCloud AI 2.1.19 リリースノート

InfiniCloud AI 2.1.19 リリースノート

vLLM がモデルの重みを読み終えた後に、エンジンの初期化に失敗していた問題を修正したリリースです。WITH_VLLM=1 で作成するローカル推論のイメージに、Triton の実行時コンパイルに必要な C コンパイラと Python の開発用ヘッダを同梱しました。修正の反映には、ローカル推論(shiraito_llm_sm)のイメージの作り直しが必要です。

不具合修正・堅牢化

vLLM がモデルの読み込み後にエンジンの初期化に失敗していた問題を修正

2.1.18 のイメージでは、GPT-OSS 20B の重み(safetensors)は正常に読み込めても、その後の torch.compile で失敗し(Failed to find C compiler が表示されます)、ローカルの vLLM のプールが使える状態になりませんでした。Triton 3.6 は実行時に driver.c などを共有ライブラリへコンパイルしますが、そのための C コンパイラと Python の開発用ヘッダが、イメージに含まれていなかったためです。

WITH_VLLM=1 で作成するイメージに限り、gcc / g++ / libc6-dev / python3-dev を同梱するようにしました。

実行時コンパイルに必要なものの不足を、イメージ作成時に検出

イメージを作成するときに、gcc / g++ / Python.h がイメージ内にそろっているかを確認するようにしました。WITH_VLLM=0 で作成した場合は、逆に vLLM の実行環境とコンパイラが含まれていないことを確認します。

コンパイラなどの追加分は、vLLM の大きな部分より後ろに置いているため、条件が合えば、2.1.18 で作成済みの部分をそのまま再利用してイメージを作成できます。

挙動変更(アップグレード時の注意)

ローカル推論のイメージの作り直しが必要です

反映方法 この修正はイメージの内容の変更です。2.1.18 から更新した後は、shiraitoctl build で shiraito_llm_sm のイメージを作り直し、コンテナを作り直してください。

ご注意: shiraitoctl up だけでは、既存のイメージにコンパイラは追加されません。

WITH_VLLM=0 の扱いは変わりません

WITH_VLLM=0 で作成した場合は、従来どおり vLLM とコンパイラなどの同梱を省きます。

InfiniCloudが選ばれる理由