Technology

InfiniCloud® AI

自社の「知能」を育て、所有する時代へ

Top / サービス一覧 / InfiniCloud AI / リリースノート / InfiniCloud AI 2.1.17 リリースノート

InfiniCloud AI 2.1.17 リリースノート

ローカル推論のエンジンから llama-server を撤去し、vLLM だけにしたリリースです。GGUF への変換も無くなり、GPU の配分(取り分・分割数・使うカード)は自動で決まるようになりました。あわせて、止まったプールを WebUI から再試行する機能、自分専用ストレージのアドレスバー、リモートプールの API キーをファイルから取り込む機能などを追加しました。DB の列を削除するマイグレーションを含み、アップグレード後に 2.1.16 へ戻すにはバックアップからの復元が必要です。移行できないプールがあるサイトは、アップグレードの前に「挙動変更(アップグレード時の注意)」を必ずお読みください。

新機能

止まったままの LLM プールを、設定を変えずに WebUI から再試行できるようになりました

モデル設定 → プールカードの「診断」パネルの末尾に、[このプールを再試行] を追加しました(models.manage 権限と再認証が必要です。API は POST /llm/pools/{pool}/retry です)。

これまで「設定エラー」「起動停止」で止まったプールを復旧させる手段は、事実上、無関係な設定欄を編集して保存し直すことしかありませんでした。プールを起動し直すかどうかを、設定の内容が変わったかで判定していたため、設定に含まれない原因(vLLM の実行ファイルが無いなど)は、直しても検出されなかったためです。たとえば、vLLM を同梱したイメージで作り直しても、プールは止まったままでした。また、従来の再試行ボタンは隔離中の LoRA の行にしか出なかったため、LoRA を持たないプールには押す場所がありませんでした。

ボタンを押すと、次の確認(30 秒以内)で起動をやり直します。これは「1 回だけ試す」操作ではなく、起動失敗の繰り返しによる待ち時間を解除する操作です。原因が残っている場合は、通常の間隔で再試行を繰り返したうえで、再び「起動停止」になります。設定値は変わりません。

自分専用ストレージのファイルブラウザに、アドレスバーを追加しました

スレッドのフォルダボタンから開いた場合は、そのスレッドのファイルを最初に表示し、そこから自分専用のストレージ領域の中を、親フォルダへの移動やアドレスの入力で行き来できるようになりました。これまでは、開いた位置が移動できる最上位だったため、現在どこにいるのかが表示されず、戻る手段もありませんでした。アカウント設定の「ユーザーストレージ領域を確認」でも、同じアドレスバーが表示されます。

自分の領域より上や、ほかの利用者の領域へは移動できません。知識ドメインのファイル管理と、ワークフローの入力フォルダ・テンプレートの選択は、従来どおりです(アドレスバーは出ず、最上位の位置も変わりません)。

操作のアイコンを、閉域網の端末でも表示できるようにしました

ボタンやリンクのアイコンを絵文字や記号の文字で描いていたため、絵文字フォントの無い閉域網の端末では □ になっていました。アイコンだけのボタンでは、読めないと、そこに操作があること自体が分からなくなります。オフラインで同梱したアイコンに置き換えました(外部への通信は発生しません)。

対象は、ボタン・リンク・クリックできる見出しなどの操作すべてです(スレッドのファイル領域を開く、タスクログの詳細、URL 一覧の操作、ディスク容量の再取得、検索プロバイダの「公式サイト」「使い方」、ログ表示の Top / Bottom、取り込みメニュー、並び替え、思考プロセスの開閉、閉じる・クリア・解除、ページ送り、未読スレッドの赤丸、評価の確認マークなど)。

あわせて、アイコンだけの操作に読み上げ用の名前を付け、開閉や並び順の状態も読み上げで伝わるようにしました。並び替えは、キーボードでも操作できるようになりました(これまでは Tab キーで到達できませんでした)。

状態表示の記号(✓ ✗ ⚠)、EDTM のフェーズ表示、回答のドメインバッジ、イベント行のアイコンなど、操作ではない表示は、まだ文字のままです。今後、順に置き換えます。

リモートプールの API キーを、ファイルから一度だけ取り込めるようになりました

これまで、リモートプールの資格情報は WebUI で手入力するしかありませんでした。MaaS 構成のように、サイトを作った直後から鍵が必要な場合に、lora_config_db と同じディレクトリに import.ini を置くと、backend の起動のたびに確認して取り込み、成功したらファイルを削除します。

書けるのは [pool-secret.<プール名>] の remote_api_key だけです(ファイルの権限は 0600、値は 1 行、セクション見出しは 1 行に単独で書きます)。宣言ファイル(llm-pools.ini)には、従来どおり秘密情報を書けません。

リモートプールは送信のたびに鍵を読み直すため、取り込んだ鍵は、backend でも外部 API(apiv1)でも、再起動なしに次のリクエストから使われます(WebUI で鍵を差し替えた場合も同じです)。このとき接続先も照合し、remote_url が変わっていたら、送信せずにエラーにします。鍵は、入力された接続先にしか送りません(remote_url や kind を変えたときは、apiv1 の再起動が必要です。backend は自動で追随します)。

ご注意: 取り込みは、次のように動作します。

  • 既に鍵が入っているプールは上書きしません。書かずにファイルを残し、警告を出します(鍵の差し替えは WebUI で行ってください)。
  • 1 つでも取り込めないプールがあれば、そのファイルからは 1 件も書きません。
  • 未知のセクション・キー、版の違い、緩い権限、シンボリックリンクの場合は、ファイル全体を拒否して起動を止めます。
  • プールがまだ無い、またはリモートプールでない場合は、起動を止めず、何も書かずにファイルを残して警告します(プールを作って再起動すれば取り込まれます)。

不具合修正・堅牢化

複数の GPU にまたがるプールが、自動移行の対象から外れたままだった問題を修正

2.1.16 の自動移行は、1 プールを 1 枚のカードに置く場合しか計算できなかったため、tensor_parallel_size が 2 以上のプールは「自動では切り替えません」と表示して、llama-server に残っていました。複数のカードを扱えるようにし、またがるプールも自動で移せるようにしました。重みは分割する枚数で割って見積もるため、1 枚には収まらないモデルでも、2 枚なら収まると判定できるようになりました。取り分は、使うカードのうち一番余裕の無いカードに合わせ、収まるかどうかは一番小さいカードで判定します。

この修正の前に、またがるプールを手作業で runtime=vllm にしていたサイトでは、カードあたりの取り分が多すぎたり重なったりして、起動の失敗やメモリ不足(OOM)が起こる可能性がありました。

ヘッド数などを均等に分けられない tensor_parallel_size を、保存時と自動移行で止めるようにしました

vLLM は、アテンションのヘッドなどを分割数で厳密に割ります。割り切れない値は、重みの読み込みが始まった後のエンジンの初期化で失敗し、運用者には原因の設定値ではなく、起動失敗の繰り返しに見えていました。llama-server ではこの設定が無視されていたため、これまで警告が出ませんでした。

モデルの config.json から読み取り、割り切れなかった量を名前と値で(例: intermediate_size=17408)、その機で使える値とともに理由として表示します。モデル設定画面で保存するときも、同じ確認を行います(これまで画面には「ヘッド数が分割数で割り切れる必要があります」と表示されていましたが、確認そのものはありませんでした)。ヘッド数のほか、MLP の幅や、Qwen3.5 / Qwen3.6 のようなモデルの層の構成も確認します。KV のヘッドを均等に複製できる値(例: KV のヘッド 4 に対して 8)は、vLLM が起動できるため止めず、「自動では移さない理由」として扱います。ヘッド数を読めなかった場合は記録せず、プールはそのまま動き続けます。

「収まりません」として止めるのは、どう置いても収まらないと言い切れるときだけにしました

記録された移行の拒否は、プールを停止させます。一方、カードへの割り当ての計算では、複数のカードにまたがるプールが混ざると、置き方の都合だけで収まらないと判定されることがありました。次のどちらかが成り立つときだけ拒否として記録し、それ以外はログに警告を出して、プールを llama-server のまま動かし続けるようにしました。

  1. 分割 1 つ分の重みが、どのカードよりも大きい
  2. 候補の重みの合計が、機全体で使える量の合計を超える

base_model_dir を設定しているサイトで、新規プールの保存時の確認が別のモデルを見ていた問題を修正

[llm] の base_model_dir を設定しているサイトでは、新規プールの保存時の確認が prefix_dir と repo_id から求めたモデルを見ていた一方、実際に起動するのは base_model_dir のモデルでした。そのため、正しい作成を断ったり、実際のモデルに対して小さすぎる gpu_memory_utilization を通したりする可能性がありました。base_model_dir を設定していないサイト(出荷時の既定)には影響しません。

vLLM のインスタンスが、LoRA の適用状況を公開していなかった問題を修正

LoRA の適用の世代などが一致することを求める問い合わせの振り分けでは、各インスタンスが公開する値と照合します。この値を書いていたのは llama-server 側だけだったため、vLLM のインスタンスは、そうした問い合わせの振り分け先から必ず外れていました(2.1.16 で vLLM が既定になった時点からの問題です)。準備完了を公開する前に記録し、記録できなかった場合は準備完了にしないようにしました。

挙動変更(アップグレード時の注意)

DB の列を削除します(元に戻すにはバックアップが必要です)

DB マイグレーションについて 本リリースには、新しい DB マイグレーション(0058_drop_llama_server_pool_knobs.sql と 0059_drop_derived_gpu_allocation_columns.sql)が含まれ、次の列を削除します。

  • 0058: n_gpu_layers / threads / threads_http / process_mode / ctx_size
  • 0059: gpu_memory_utilization / tensor_parallel_size / gpu_devices

ノード側の SQLite の複製(lora_config.db)からも、起動時に同じ列を削除します。列の削除には SQLite 3.35 以降が必要です。それより古い場合は警告を出して続行し、列は残りますが、使われなくなります(書き込みは拒否されます)。移行に使う値(parallel / gguf_outtype)は、値ごと残ります。

ご注意: 2.1.16 に戻すには、アップグレード前に取得した PostgreSQL と、ノード側の SQLite の複製のバックアップの復元が必要です。次の SQL は列の形を作り直すだけで、値は戻りません。0059 の 3 列(GPU の配分)は NULL のままで、2.1.16 の自動移行も値を埋め直しません。NULL のまま 2.1.16 を起動すると、すべてのプールが GPU の指定なし・既定値で起動し、複数のプールが同じカードに載ってメモリ不足(OOM)になる可能性があります。バックアップが無い場合は、ローカルプールを止めたまま、各ノードの 3 つの値を手作業で設定し終えるまで、2.1.16 を起動しないでください(0058 の列は、旧版が既定値で動くため、形を戻すだけで足ります)。

ALTER TABLE llm.llm_pools
    ADD COLUMN IF NOT EXISTS n_gpu_layers INTEGER,
    ADD COLUMN IF NOT EXISTS threads       INTEGER,
    ADD COLUMN IF NOT EXISTS threads_http  INTEGER,
    ADD COLUMN IF NOT EXISTS process_mode  TEXT,
    ADD COLUMN IF NOT EXISTS ctx_size      INTEGER,
    ADD COLUMN IF NOT EXISTS gpu_memory_utilization REAL,
    ADD COLUMN IF NOT EXISTS tensor_parallel_size   INTEGER,
    ADD COLUMN IF NOT EXISTS gpu_devices            TEXT;

llama-server で起動する仕組みを撤去しました

ローカル推論は vLLM だけになり、GGUF への変換の仕組みも撤去しました。runtime の値としての llama_server は残します。2.1.16 以前から引き継ぐ行がこの値を持っており、自動移行がそれを読んで vLLM へ移すためです。

LoRA は学習した safetensors のまま vLLM に渡るため、「学習は成功したのに変換で失敗する」ことが無くなりました。

移行できなかったプールは、そのプールだけが停止します

2.1.16 では、移行できなかったプールは llama-server のまま動き続けていました。2.1.17 では起動できるエンジンが無いため停止しますが、止まるのはそのプールだけで、ノードは止まりません。診断パネルには「設定起因で起動不能」と、自動移行が記録した拒否の理由(収まらない、vision ロールのモデルが画像入力に対応していない、tensor_parallel_size が割り切れない、など)が表示されます。

反映方法 復旧するには、installer でプロファイルを設定し直してください。そのプールに合う quantization が決まり、次の確認で自動移行が通ります(GPU の取り分は自動で決まるため、プロファイルに書く必要はありません)。

ご注意: 複数台の構成では、プールの設定はすべての機で共通のため、移行できない行が 1 つあると、すべてのノードが同じ行を読みます。

自動移行は、常に有効になりました

[llm] auto_migrate_to_vllm を撤去しました(常に有効です)。撤去後に「移行しない」を選ぶことは、「起動できないままにする」ことしか意味しないためです。同じ理由で、一度 vLLM へ移した後に手作業で llama-server に戻したプールも、次の起動で vLLM に移ります。

WITH_VLLM は、明示的に使わないことを示す設定になりました

2.1.16 では、WITH_VLLM が未設定だと移行しませんでした(1 の指定が必須でした)。2.1.17 では、未設定は「使う」として扱い、vLLM の実行ファイルが本当にあるかは、shiraito_llm_sm の報告で判断します。これにより、コンテナを使わず [llm] vllm_bin だけを設定した運用でも移行が行われます。WITH_VLLM=0 は、リモート専用のサイトで「ローカル推論を使わない」ことを明示する設定として、従来どおり有効です(installer のプロファイル maas は 0 を明示しています)。

ご注意: 2.1.16 のリリースノートの「WITH_VLLM=0 のサイトは何も止まりません」は、2.1.17 では成り立ちません。WITH_VLLM=0 の機(または vLLM の実行ファイルが見つからない機)のローカルプールは、理由を記録して停止します(リモートプールは、これまでどおり動きます)。あわせて、vLLM が無い場合の停止の理由も、診断パネルに表示されるようになりました(従来は「理由は記録されていません」と表示されていました)。

cpu プロファイルを廃止しました

GPU の無い検証用で、runtime = llama_server を指定していたプロファイルです。代わりに、すべてのプールをリモートにする maas(Full MaaS / GPU なし)をお使いください。埋め込み・Reranker・Whisper の CPU での動作は影響を受けません(それぞれ [rag] embedding_device、reranker_device、[audio] device で決まります)。

config.ini から llama-server 専用の設定キーを削除しました

n_gpu_layers / threads / threads_http / slot_prompt_similarity / slot_save_path / gguf_outtype / auto_convert_to_gguf / gguf_conversion_timeout / cont_batching は、書いてあっても読まれません。llm-pools.ini の宣言ファイルに書いた場合は、そのファイル全体が検証エラーになります。運用者が設定するのは、quantization / max_model_len / max_num_seqs の 3 つです。

GPU の配分が自動になりました

gpu_memory_utilization / tensor_parallel_size / gpu_devices は、WebUI からも DB からも無くなりました。この 3 つの値は、モデルの大きさ、instances、その機のカード構成から、起動のたびに求めます。

  • 宣言されたすべてのプールを毎回まとめて割り当てるため、同じ設定なら、起動の順番や再起動に関わらず同じ配分になります。
  • 取り分は重みの大きさに比例します(27B と 9B が同じカードなら、27B が多く取ります)。vLLM が使う上限は各カードの 90% で、残りをドライバ、画面、GPU で動かす Whisper や埋め込みが使います。
  • tensor_parallel_size は、収まる最小の値を自動で選びます。1 枚に収まるモデルは分割しません。8 枚の機で分割数 4 以下のモデルは、instances=2 にすると、4 枚 × 2 で機全体を使えます。
  • 配分が変わると、そのカードを共有するプールは自動で再起動します。プールを 1 つ追加すると、同じカードの既存のプールの取り分が減り、再起動が起こります。
  • 古い画面やプロファイルから 3 つの値が送られても、WebUI での保存は警告付きで無視し、llm-pools.ini のプロファイルも読み飛ばします。

ご注意: 24GB 程度のカードでは、Whisper(3.7GB)が残りの 10% に収まりません。[rag] embedding_device / reranker_device / [audio] device を cpu にしてください。

ctx_size を削除し、RAG の文脈の長さの自動計算を max_model_len から求めるようにしました

ctx_size は llama-server の設定で、vLLM で対応するのは max_model_len(1 つのリクエストがそのまま使える長さ)です。RAG の context_max_chars の自動計算も、max_model_len から求めるようになりました。max_model_len=32768 のプールに対して、旧計算は 131072 を返していたため、上半分は必ず「maximum context length is 32768 tokens」で失敗する範囲でした(長い文書 1 本で届きます)。

WebUI から「推論ランタイム」の選択と、切り替え時の移行プレビューを削除しました

選択肢が 1 つになったためです。GET /llm/pools/{name}/vllm-preview も撤去しました。

API をご利用の方へ: API から runtime=llama_server を保存することはできなくなりました(読み取りと自動移行は従来どおりです)。parallel / gguf_outtype も書けなくなります。

[vlm] runtime の値の名前が変わりました(llama-server → pool)

値が表していたのは「vision ロールのプールに任せる」ことで、そのプールを起動していたエンジンの名前が値になっていました。旧値のままでも、起動時に警告を出して pool として扱うため、アップグレード時に設定を変える必要はありません。

chat_template_file は、学習のときだけ使うようになりました

配信時のテンプレートの選択は llama-server にしか無い機能で、vLLM のプールは 2.1.16 の時点で既にモデルに同梱のテンプレートを使っていました。撤去で、すべてのプールがそうなります。FineTune の学習時には、従来どおり使います。

プールの状態が degraded(ベースモデルのみ)にならなくなりました

llama-server は、LoRA を適用できなくてもベースモデルだけで応答を続けられたため、この中間の状態がありました。vLLM では、適用できない LoRA は起動前の確認で拒否されるため、この状態にはなりません。表示と診断の項目は、互換のために残しています。

LoRA の強度(lora_active_scale)が 1.0 以外のプールは起動しません。出荷時の既定を 0.7 から 1.0 に変えました

vLLM には LoRA の強度の指定が無いため、0.7 のまま起動すると、1.0 の強さで適用され、llama-server と違う応答になります。この場合は起動を止める設計でしたが、2.1.16 までの出荷時の既定値 0.7 が、ちょうどその条件でした。

ご注意: 影響を受けるのは、LoRA を有効にしていて、強度を既定のままにしていたプールです(既存の DB の値は書き換えません)。該当するプールは、診断パネルに「LoRA 強度が 0.7 に設定されています…」と理由を表示して停止します。復旧するには、次のどちらかを行ってください。

  • モデル設定で強度を 1.0 にする(強度による効き方の調整は無くなります)
  • 強度を学習側(PEFT)に織り込んで、アダプタを作り直す

なお、LoRA が設定されているだけでは、自動移行は止まらなくなりました(2.1.16 では止めていました)。適用できるかは起動前の確認で判定し、通らなければ理由を表示します。

画像モデルの確認が、すべてのプールで行われるようになりました

「vision ロールの割り当て先なのに、モデルが画像入力に対応していない」場合の保存時の拒否は、これまで vLLM のプールだけで行っていました。すべてのプールが vLLM になったため、新規作成のときも拒否します(2.1.16 までは作成できていました)。

ノード側の SQLite のファイル権限を 0600 に絞りました

ノード側の SQLite(lora_config.db)のファイル権限を、0660 から 0600 に絞ります。SQLite をプール設定の元にする構成([llm] pool_config_primary = sqlite。単独構成や開発向け)では、このファイルがリモートプールの API キーをそのまま持つためです。各プロセスの起動時に、既存のファイルにも適用します(出荷時の既定の postgres 構成でも、このファイルは 0600 になります)。グループ権限を前提に、ほかのプロセスとファイルを共有する運用を組んでいるサイトは、ご確認ください(出荷時の構成では、すべてのプロセスが同じユーザーで動くため影響はありません)。

ご注意: pool_config_primary = sqlite の構成で import.ini から鍵を取り込むとき、lora_config.db が root でもサービスのユーザーでもない所有者のもの、親ディレクトリがグループやその他から書き込み可能、親ディレクトリが root 以外の所有なのに lora_config.db と所有者が違う、chmod 0600 ができない、のいずれかの場合は、書き込まずに起動を止めます。メッセージに対象のパスが表示されます。chmod g-w,o-w や chown で直せます。

2.1.16 のリリースノートのうち、2.1.17 では成り立たない記述

次の 2 点は、2.1.17 では成り立ちません。

  • 「GPU の容量が読めない環境では、保存時の警告を判定しない」→ backend 自身に NVIDIA のランタイムは不要になりました。判定に使う GPU の構成は、shiraito_llm_sm が確認して公開したものを読みます。判定しないのは、まだ公開されていない、または読めない場合だけです。
  • 「FineTune 中も llama-server のプールは停止しません」→ ローカルプールはすべて vLLM になりました。FineTune 中は、学習と同じカードを使うプールが一時停止し、学習の後に自動で戻ります。

ロードバランサーのタイムアウトの推奨値を、15m から 30m に訂正しました

2.1.16 で追加した、LAN 構成の前段に置くロードバランサーのタイムアウトの推奨値 15m は誤りでした。情報収集の待ち(60 秒 × 12 = 12 分)の後に、根拠が付かなかった処理への Web 検索がもう一度同じ長さで行われ、その間に通信が無いことがあるため、無通信は最大で 24 分続く可能性があります。

ご注意: 2.1.16 のリリースノートを読んで 15m を設定したサイトは、30m に上げてください。また、通信の途中で切れた場合の切り分けでは、docker-compose.lan.yml がアクセスログを 400-599 に絞っているため、該当の行が出ません。切り分けの間だけ、このフィルタを外してください。

ドキュメント

  • LLM プールの宣言ファイル(llm-pools.ini)の必須項目を、実際の動作どおりに訂正しました。必要なのは、ローカルプールのモデルの指定(repo_id か base_model_dir のどちらか)と model_family だけで、リモートプールにはファイル上の必須項目はありません。検証エラーの文言も「設定を全部持つ必要があります」と、事実と違う理由を返していたため、直しました。あわせて、base_model_dir だけを書いたローカルプールが、検証を通るように修正しました。
  • n_gpu_layers の計算を説明する文書を廃止しました。VRAM の考え方は、サーバー管理者向けの文書の性能チューニングの節に、vLLM に合わせて書き直しました。もっとも効く設定は quantization です(実測 Qwen3.6-27B: 量子化なし 52GB → fp8 28GB → 4bit の bitsandbytes 18.17GB。ただし 4bit は dense のモデル専用で、MoE のモデルでは削減になりません)。
InfiniCloudが選ばれる理由