Technology

InfiniCloud® AI

自社の「知能」を育て、所有する時代へ

Top / サービス一覧 / InfiniCloud AI / リリースノート / InfiniCloud AI 2.1.22 リリースノート

InfiniCloud AI 2.1.22 リリースノート

H100 環境で Qwen3.8-27B-FP8 を使うと、ローカル推論のエンジンが起動しなかった問題を修正し、あわせて同梱の vLLM を 0.27.1 に更新して、Qwen3.8 への対応をそろえたリリースです。修正の反映には、ローカル推論(shiraito_llm_sm)のイメージの作り直し、または 2.1.22 のイメージへの置き換えが必要です。

不具合修正・堅牢化

H100 で Qwen3.8-27B-FP8 のエンジンが起動しなかった問題を修正

H100 で Qwen3.8-27B-FP8 を使うと、モデルの重みの読み込みと torch.compile が終わった後に、エンジンが起動しませんでした(fatal error: nvrtc.h: No such file or directory が表示されます)。2.1.21 のイメージには、nvcc と NVRTC の実行用ライブラリは含まれていましたが、FlashInfer や DeepGEMM が実行時のコンパイルで読み込む開発用ヘッダが含まれていなかったためです。

cuda-nvrtc-13-0 を、実行用ライブラリにも依存する開発用パッケージ cuda-nvrtc-dev-13-0 に置き換え、ヘッダがイメージに含まれるようにしました。

同梱の vLLM を 0.27.1 に更新

同梱の vLLM を 0.26.0 から 0.27.1 に更新しました。Qwen3.8 は Qwen3.5 のアーキテクチャを使っており、vLLM 側でこれに対応した版にそろえています。vLLM の環境で使う Transformers は、5.14.1 に固定しました。

vLLM の環境の torch は 2.13.0 になりますが、アプリ本体の torch 2.9.1 / Transformers 5.9.0 とは、従来どおり分かれています。

イメージ作成時に NVRTC の確認を追加

イメージを作成するときに、NVRTC の開発用ヘッダ(nvrtc.h)とライブラリが含まれ、使える状態であるかを確認するようにしました。WITH_VLLM=0 で作成した場合は、従来どおり vLLM やコンパイラを含まず、NVRTC の開発用パッケージとヘッダも含みません。

挙動変更(アップグレード時の注意)

ローカル推論のイメージの作り直しが必要です

反映方法 この修正を反映するには、shiraito_llm_sm のイメージを作り直すか、2.1.22 のイメージに置き換えてください。

ご注意: 2.1.21 のコンテナを作り直すだけでは、開発用ヘッダも vLLM 0.27.1 も追加されません。

実行中のコンテナへの手作業での追加は、復旧手順としていません

実行中のコンテナに手作業で apt install してヘッダを追加する方法は、復旧手順としていません。イメージ作成時の確認や、CUDA・cuBLAS・NCCL の版の整合を通らないうえ、コンテナを作り直すと失われるためです。

InfiniCloudが選ばれる理由