Technology

InfiniCloud® AI

自社の「知能」を育て、所有する時代へ

Top / サービス一覧 / InfiniCloud AI / リリースノート / InfiniCloud AI 2.1.21 リリースノート

InfiniCloud AI 2.1.21 リリースノート

FlashInfer の sampler を無効にしても、DeepGEMM の実行時コンパイルで vLLM のエンジンが起動しなかった問題を修正したリリースです。WITH_VLLM=1 で作成するローカル推論のイメージに、実行時コンパイル用の CUDA 13.0 の nvcc、開発用ヘッダ、C/C++ コンパイラを同梱しました。修正の反映には、ローカル推論(shiraito_llm_sm)のイメージの作り直し、または 2.1.21 のイメージへの置き換えが必要です。

不具合修正・堅牢化

FlashInfer の sampler を無効にしても vLLM のエンジンが起動しなかった問題を修正

2.1.20 では FlashInfer の sampler を無効にしていましたが、H100 環境では DeepGEMM が /usr/local/cuda/bin/nvcc の有無を確認して停止し、vLLM のエンジンが起動しませんでした。処理の部品ごとに個別に回避しても、別の箇所で同じように実行時コンパイルが必要になり、問題が移るだけでした。

そこで、WITH_VLLM=1 で作成するイメージに、CUDA 13.0 の nvcc、CUDA / NCCL の開発用ヘッダ、C/C++ コンパイラを、実行時コンパイル用の道具一式として同梱しました。

なお、コンパイルの対象は、インストール済みの vLLM / FlashInfer / DeepGEMM 側のカーネルです。モデルや LoRA の重みにソースコードが含まれるようになる変更ではありません。

同梱の vLLM が使うコンパイラ設定を固定

同梱の vLLM の実行環境では、CUDA_HOME、nvcc、gcc、g++ をイメージ内のものに固定し、親環境にたまたま設定されているコンパイラ設定と混ざらないようにしました。任意で用意したホスト側の vLLM を使う場合は、従来どおり、明示した CUDA_HOME / CC / CXX を使えます。

cuBLAS と NCCL の開発用パッケージの版をそろえました

cuBLAS と NCCL の開発用パッケージを、NVIDIA の実行用ベースイメージの版に合わせました。WITH_VLLM=0 で作成した場合は、引き続き vLLM と C/C++・CUDA のコンパイル用の道具一式の両方を含みません。

挙動変更(アップグレード時の注意)

VLLM_USE_FLASHINFER_SAMPLER=0 の固定をやめました

2.1.20 で固定した VLLM_USE_FLASHINFER_SAMPLER=0 を削除し、vLLM 0.26 の既定の選択に戻しました。

ローカル推論のイメージの作り直しが必要です

反映方法 ソースパッケージから更新する場合は、WITH_VLLM=1 で shiraitoctl build を実行した後に、コンテナを作り直してください。イメージ一式(image bundle)で更新する場合は、版を固定した 2.1.21 のイメージを読み込んでから、--force-recreate で作り直してください。

ご注意: 以前のイメージのままコンテナを作り直すだけでは、コンパイル用の道具一式は追加されません。

InfiniCloudが選ばれる理由