Technology

InfiniCloud® AI

自社の「知能」を育て、所有する時代へ

Top / サービス一覧 / InfiniCloud AI / リリースノート / InfiniCloud AI 2.1.20 リリースノート

InfiniCloud AI 2.1.20 リリースノート

H100 環境で、Triton のコンパイルが終わった後も vLLM のエンジンが起動しなかった問題を修正したリリースです。FlashInfer の sampler を使わず、vLLM 公式の標準の sampler に切り替えることで、実行時に CUDA のソースをビルドしないようにしました。修正の反映には、ローカル推論(shiraito_llm_sm)のイメージの作り直し、または 2.1.20 のイメージへの置き換えが必要です。

不具合修正・堅牢化

H100 で Triton のコンパイル後も vLLM のエンジンが起動しなかった問題を修正

H100 環境で、Triton のコンパイルが終わった後も、vLLM のエンジンが起動しませんでした。vLLM 0.26.0 が自動で選んだ FlashInfer 0.6.14 の top-k / top-p の sampler が、最初の計測の実行で CUDA のソースをビルドしようとし、/usr/local/cuda/bin/nvcc を必要としたためです。

vLLM を動かす子プロセスの環境に VLLM_USE_FLASHINFER_SAMPLER=0 を固定し、vLLM 公式の標準の sampler を使うようにしました。FlashAttention と、GPT-OSS で使う Triton の MXFP4 の処理は、これまでどおり使います。

イメージの構成について

完成したイメージには、システム用の CUDA toolkit を追加しません。既存の gcc / g++ / Python の開発用ヘッダは、Triton の実行時コンパイルに引き続き必要なため、含めたままです。

挙動変更(アップグレード時の注意)

ローカル推論のイメージの作り直しが必要です

反映方法 ソースパッケージから更新する場合は、WITH_VLLM=1 で shiraitoctl build を実行した後に、コンテナを作り直してください。イメージ一式(image bundle)で更新する場合は、版を固定した 2.1.20 のイメージを読み込んでから、--force-recreate で作り直してください。

ご注意: 以前のイメージのまま up や作り直しだけを実行しても、この修正(vLLM の起動時の環境設定の固定)は反映されません。

InfiniCloudが選ばれる理由