InfiniCloud AI 2.1.16 リリースノート
ローカル推論の既定のエンジンを、llama-server から vLLM に切り替えたリリースです。既存のサイトも、アップグレードで順次 vLLM へ移ります(WITH_VLLM の既定が 0 から 1 になりました)。移せなかったプールは、llama-server のままでは動かさず、起動しなくなります。あわせて、FineTune が学習するデータの型を見直し(文書本文は使わず、解き方の見本だけを学習します)、OIDC の利用者の追加認証が LDAP の資格情報で通ってしまう問題を修正しました。
ご注意: イメージが約 8GB 増えるため、閉域網のミラーの容量を先にご確認ください。shiraitoctl up はイメージを作成しないため、shiraitoctl build → up の順で行ってください。また、DB マイグレーションの 0057 は、既存の QA のレコードを書き換えます。外部の IdP を 2 つ以上お使いのサイトは、「不具合修正・堅牢化」もご確認ください。
新機能
ランゲージモデルプールのエンジンに vLLM を選べるようになりました
モデル設定のプールごとに「推論ランタイム」を選ぶと、そのプールを llama-server ではなく vLLM で起動します(このリリースから既定は vLLM です)。vLLM は GGUF に変換せず、safetensors をそのまま読むため、モデルを追加するときの変換の待ち時間と、変換済みファイルのディスク消費が無くなります。llama-server と vLLM のプールは、1 台に混在できます。
設定項目の入れ替わり ctx_size / parallel / n_gpu_layers / threads / gguf_outtype の代わりに、max_model_len / max_num_seqs / gpu_memory_utilization / tensor_parallel_size を設定します。max_model_len は、llama-server の ctx_size と違い parallel で割られず、1 つのリクエストがそのまま使える長さです。空欄は「未設定」で、vLLM 自身の既定値が使われます。
VRAM と量子化 VRAM の使用量は、quantization を指定して初めて llama-server と同程度になります(llama-server は 4bit の GGUF、vLLM は指定しないと bf16 のままです。Qwen3.6-27B で 15.7 GB → 約 52 GB、fp8 を指定すると約 26 GB)。量子化されていないモデルでも、fp8 を指定すれば読み込み時に量子化されるため、別のダウンロードや変換は要りません。長いコンテキストのプールは、kv_cache_dtype = fp8 もあわせてご検討ください。
選べる量子化の方式は、置いたモデルによって変わります(ⓘ に方式ごとの説明が表示されます)。
- 量子化済みのモデルでは、空欄だけを選べます(config.json に書かれた方式が使われます。別の方式を指定すると vLLM が起動を拒否するため、保存時と起動前の両方で断ります)。
- MoE のモデルでは、4bit を選べません(vLLM 0.26 では削減にならないためです。MoE の削減は fp8 です)。
- 4bit(bitsandbytes)を使うには、量子化されていないモデルが必要です。同じモデルの FP8 版を置くより小さくなります(Qwen3.6-27B の実測: bf16 52GB → 4bit 18GB / FP8 版 29GB。ただし、ディスクには 52GB が必要です)。
GPU の固定 プールを特定の GPU に固定できます(gpu_devices)。複数の GPU がある機で、1 枚にすべてのプールが載って残りが使われない状態を避けるためです。tensor_parallel_size が見えている枚数を超える指定や、存在しない GPU の番号は、起動前の確認で止まり、理由が表示されます。
ご注意: 複数枚を指定しても、1 つのモデルが複数の GPU にまたがるわけではありません(見えるようになるだけで、分割には tensor_parallel_size が必要です)。llama-server は既定ですべての GPU に分けて載せていたため、動作が変わります。複数枚を見せて tensor_parallel_size を指定していない場合は、先頭の 1 枚に丸ごと載るため、保存時に警告します(gpu_devices を空欄にした場合は vLLM に任せ、警告は出ません)。
保存時の警告 この機に収まらない構成は、保存時に、前提にした GPU の構成とともに「この筐体の構成(GPU0: 97,887 MiB…)では起動できない見込みです」と警告します。保存は拒否せず、起動前の確認で同じ理由で止めます。GPU の容量が読めない環境(NVIDIA のランタイムを持たない backend のコンテナなど)では、判定しません。
LoRA と FineTune vLLM のプールでも、LoRA(知能ドメインの追加学習)と FineTune を使えます。学習の出力(PEFT)はそのまま vLLM に適用され、起動前に、ベースモデルに実際に適用できるかを確かめます。適用できない LoRA があると、プールは起動せず、診断パネルに理由が表示されます(適用されないまま動かすと、ドメイン用の経路でベースモデルが黙って答えてしまうためです)。FineTune の実行中は、学習が同じベースモデルを VRAM に載せるため、そのプールが一時的に停止し、学習が終わると自動で戻ります。llama-server のプールは、従来どおり停止しません。
画像入力 画像入力(Vision)も、vLLM で使えます(GGUF の mmproj のような別ファイルは不要です)。vision ロールの割り当て先のプールは、モデルが画像入力に対応しているか(config.json の vision_config)を、保存時・ロールの割り当て時・自動移行の時に同じ方法で確かめ、対応していないモデルへの切り替えは拒否します。プールの「Vision 対応」の宣言(supports_vision)だけを理由に、vLLM への切り替えを断ることは無くなりました。
イメージ vLLM は、イメージに既定で入ります(torch 2.11 と CUDA のパッケージにより、イメージが約 8GB 増えます)。使わないサイトは、docker-compose/.env に WITH_VLLM=0 を設定して、イメージを作り直してください。アプリ本体の torch / transformers は変わりません(別の環境に入れています)。vLLM を同梱していないイメージで vLLM を選ぶと、そのプールは起動せず、診断パネルに理由が表示されます。
「知識の確認」タブで、ABSTAIN(断定回避)を絞り込めるようになりました
断定を避ける軸([finetune_dataset] enable_abstain、既定は OFF)が作った行は、これまで種別が DERIVED になり、絞り込めず、まとめて削除するときも選べませんでした。
挙動変更(アップグレード時の注意)
ローカル推論の既定のエンジンが vLLM になりました(WITH_VLLM の既定が 0 → 1)
新しく出荷するサイトは vLLM で起動し、既存のサイトも、アップグレードで順次 vLLM へ移ります。移るのは、収まると計算できたプールだけです。移行できたプールについて、利用者から見た違いはありません(エンジンの名前は画面に出ません)。
反映方法 アップグレードには、イメージの作り直しが必要です。イメージが約 8GB 増えるため、閉域網のミラーの容量を先にご確認ください。shiraitoctl up はイメージを作成しないため、shiraitoctl build → up の順で行ってください。
イメージを作り直していない間は、プールは llama-server のまま動き続けます。shiraito_llm_sm が起動時に vLLM の実行ファイルを実際に探して報告し、backend は「WITH_VLLM が 1」と「vLLM が見つかったという報告」の両方がそろったときだけ移行するためです。作り直した後の最初の起動で報告が入れ替わり、その次の確認から移行が始まります。
出荷時の既定の構成([llm] pool_config_primary = postgres)では、移行は、その機の shiraito_llm_sm が答えてから行います。backend は起動時に以前の報告を消し、いま動いている shiraito_llm_sm が報告し直すのを待ちます(30 秒ごと、最大 10 分)。これにより、ロールバックや片方のイメージだけを作り直した直後に、vLLM を持たない機へプールを移してしまうことがありません。10 分待って答えが無ければ移行をあきらめ、理由をログに残します(shiraito_llm_sm が正常になった後に backend を再起動すると、再試行します)。sqlite の構成では、shiraito_llm_sm が起動時にそのまま移行するため、この待ち時間はありません。
vLLM にしないサイトは、WITH_VLLM=0 でイメージを作り直してください。GPU の無い機と、推論を外部 API に出しているサイト(installer のプロファイル cpu / maas)は、それが正しい設定で、プロファイルでも 0 を明示しています。自動移行そのものを止めたい場合は、従来どおり [llm] auto_migrate_to_vllm = false です。
移せなかったプールは、llama-server のままでは動かさず、起動しなくなります
理由がそのプール自体にある場合は、診断パネルに「llama-server は 2.1.17 で削除されます。このプールは vLLM へ自動移行できなかったため起動しません: 〈理由〉」と表示され、プールは起動しません。2.1.17 で llama-server は削除されるため、2.1.16 の間に気づいて手当てしていただく必要があり、黙って llama-server で動き続けるのが最も悪いためです。
止まる理由は、次の 5 つです。
- 重みが取り分に収まらない
- vision ロールの割り当て先なのに、モデルが画像入力に対応していない
- tensor_parallel_size が、その機の GPU の枚数を超えている
- 知能ドメインの LoRA が設定されている(適用できるかは学習時のモデルの構成によるため、自動では移しません)
- safetensors のモデルが無い(GGUF しか置いていない)
プールが止まっていても、モデル設定画面は開けるため、その場で手当て(量子化の指定、instances の見直しなど)ができます。環境を読めなかっただけの場合(GPU の容量が読めない、vision ロールの割り当て先が分からない、LoRA の設定を読めない、tensor_parallel_size が 2 以上のプールを自動で置けない)は止めず、記録もせずに llama-server のまま動かします。WITH_VLLM=0 のサイトは、移行の対象にならないため、何も止まりません。
ご注意: [llm] auto_migrate_to_vllm = false は、これからの移行を止めるだけで、すでに記録された拒否は解除しません(記録が消えるのは、そのプールが実際に vLLM へ移ったときだけです)。止まったプールは、理由を手当てして vLLM へ移すことで復旧します。
条件を満たすプールは、アップグレード時に自動で vLLM へ切り替わります
[llm] auto_migrate_to_vllm(既定は true)によって、条件を満たすランゲージモデルプールは、自動で vLLM へ切り替わります。llama-server のままにしておくと、vLLM が VRAM を正しく確保できないため(vLLM の取り分は GPU の総量に対する比率で、ほかが使っている分とは足し算になります)、移せるプールは移す方針にしました。
切り替え時には、ctx_size → max_model_len、parallel → max_num_seqs、gguf_outtype → quantization を引き継ぎ、GPU の空きから gpu_memory_utilization を決めます。次のいずれかに当たるプールは切り替えず、理由をログに出します。
- イメージに vLLM が入っていない(WITH_VLLM=1 が必要です)
- safetensors が無い
- 重みを載せると KV キャッシュを確保できない(起動しない構成)
- 知能ドメインの LoRA が設定されている
このうち「イメージに vLLM が入っていない」以外は、切り替えないだけでなく、そのプールが起動しなくなります(前の項目をご覧ください)。
切り替えはプールごとに一度だけ行うため、切り替えた後に WebUI で llama-server に戻した場合、次の起動でまた移されることはありません。自動で移したくないサイトは、auto_migrate_to_vllm = false にしてください。
VRAM の配分にご注意ください
vLLM の取り分は GPU の総量に対する比率で、埋め込み・Reranker・Whisper が使う分とは足し算になります。実測(RTX PRO 6000)では、CUDA context 647 MiB(backend のプロセスごとに 1 回)、埋め込み e5-base 1,128 MiB(常駐)、Reranker 2,194 MiB(既定は CPU)、Whisper large-v3 3,788 MiB(必要になってから読み込み)でした。
ご注意: Whisper は、vLLM の起動時には空いているように見え、最初の音声のリクエストで確保されます。自動の切り替えはこれらを差し引いて gpu_memory_utilization を決めますが、後から [audio] device を GPU にする場合は、取り分の再調整が必要です。
vLLM に切り替えられないプールがあります
LoRA が設定済みのプールと、FineTune の対象(default)のプールは、切り替えようとすると 400 で拒否します(どのドメインの LoRA が該当するかも表示します)。切り替えを許すと、ドメイン用に設定された経路でベースモデルが黙って答えることになるため、警告ではなく拒否にしています。vision ロールの割り当て先のプールは、モデルが画像入力に対応していれば切り替えられます。
アプリを 1 つ前の版に戻すだけでは、vLLM のプールは元に戻りません
プールの設定は DB に残るため、runtime の列を知らない版のアプリを新しい DB で動かすと、そのプールを llama-server として起動し直そうとし、動いている vLLM が「準備完了でない」扱いになって、応答の経路から外れます(NO ROUTABLE INSTANCE)。
ご注意: vLLM のプールを使っているサイトでロールバックする場合は、アプリを戻すのと同時に、プールの runtime も戻してください。
新規インストールで、installer のプロファイルのプール宣言が取り込まれるようになりました
これまで、installer のプロファイルのプール宣言(llm-pools.ini)は var/config/ に置かれるだけで、アプリは読んでいませんでした(config.ini の [llm] から初期設定を作っていました)。今回から、プールが 1 つも登録されていないとき(初回の起動)だけ、プロファイルの内容でプールを作ります。
一度でも設定のあるサイトでは、何もしません。そのため、アップグレードで設定が元に戻ることはありません(WebUI で削除したプールが、再起動で戻ってくることもありません)。意図して上書きするときは、shiraitoctl apply-llm-config を使ってください(--dry-run で差分を確認できます。出荷時の既定の構成では、中央の PostgreSQL に書きます)。ファイルは、書き込む前に全体を検証するため、1 つのプールに誤りがあるファイルで設定が中途半端に入ることはありません(読めないファイルが置かれている場合は起動しません。置かれていないこと自体は、エラーではありません)。
config.ini の [roles.availability] を読まなくなりました
プールの可用性の分類(critical / auxiliary)は、モデル設定の WebUI(llm_pools.availability)だけで決まるようになりました。この節は以前から非推奨でしたが、WebUI での値の検証を通らず、任意の文字列がそのまま入る入口が残っていたため、撤去しました。
一度でも WebUI でプールを保存したことがあるサイトは、変わりません。一度も初期設定をしていない DB だけが影響を受け、すべてのプールが critical として扱われます。この場合、補助のプールが落ちたときの /api/health の要約が、degraded ではなく critical_down になります。必要なら、モデル設定でそのプールの可用性を auxiliary に設定してください。
「AI自身の自己学習テキスト作成(AutoDGIS)」ボタンの名前を「知識から学習用データを作る」に変えました
内部の名前(AutoDGIS)では、押す前に何が起きるか分からず、説明文も「覚えなくてはならないことをノートします」と、知識を覚えるように書かれていました。実際に作っているのは、解き方の見本(どう分解するか、何を根拠にどういう順序で答えるか、どこで断定を避けて何を聞き返すか)です。FineTune の開始を断るメッセージも、同じ名前でこのボタンを案内するようにしました。
FineTune が学習させる回答の型が「回答 → 手順」から「根拠 → 結論 → 留保」に変わりました
追加学習で実際に変えられるのは、回答の形です(知識は検索が届け、LoRA の容量はモデルの 0.17% しかありません)。従来の型は、結論が先で根拠が後になり、その答えが扱っていない範囲を言う場所がありませんでした。今後は、学習用データを作るときに留保(caveat)も作り、何も言えなかった場合は留保の節ごと出しません(infinicloud-llmtk 1.11.0)。
ご注意: 既存のアダプタとは型が変わるため、次回の学習から反映されます。
学習用データの 5 種類が 1 つの保存形式にそろい、既存の QA のレコードを自動で移行します
これまで、QA だけがほかの 4 種類(抽出・分解・判断・断定回避)と違う形で保存されており、書き出す学習データの QA だけが、別の組み立て方をされていました(「不具合修正・堅牢化」の、質問文が混入していた問題の原因です)。
DB マイグレーションについて 0057_chunk_payload_qa_kind_normalize.sql が、既存の QA のレコードを書き換えます。移行は自動で、操作は不要です。「知識の確認」タブでの見え方は変わりません(QA は QA のまま表示され、件数も変わりません)。
ご注意: 質問文か回答文が欠けている古い QA の行は、推測で組み立て直さず、一覧には残したまま、学習データの書き出しからは外れます(何行あったかは、適用時のログに出ます)。学習用データをもう一度作ると、作り直されます。また、独自のスキルで output.kind: qa を宣言している場合は、そのスキルが読み込めなくなります(管理画面の「登録できなかった定義」に、何に書き換えればよいかを含めて理由が表示されます)。kind: derived に変えてください(QA であることは、既にある task_subtype: qa で示されます)。
FineTune が文書本文を学習に使わなくなり、データが足りないと開始できなくなりました
[finetune_dataset] include_aft の既定を false、min_finetune_rows の既定を 200 にしました。文書は「知識」であって「解き方」ではありません。知識は検索(RAG)が既に届けており、追加学習の容量(9B・r=64 で 15.7M、モデルの 0.17%)に文書は入りません。文書の地の文で学習すると、「文書のような書き方をする」ことに容量を使い切ってしまいます。実測では、311 行のうち 172 行が文書本文で、そのすべてが同じ内容の無い入力(「この内容について教えてください。」)から見出し付きの文書を出すことを教えていました。
ご注意: アップグレード後、多くのドメインで FineTune を開始できなくなります。「学習用データが N 件しかありません(必要 200 件)」と理由を表示して止まるので、「知識から学習用データを作る」(分解・判断・抽出)を実行してから、改めて開始してください。少ないデータで黙って学習して役に立たないアダプタを作るより、止めて理由を出すほうを選んでいます。200 件は、効いたかどうかを判定できる最小の量です。従来どおり文書本文も学習に使いたいサイトは、include_aft = true に戻せます。
[finetune] gradient_checkpointing の既定が auto になりました
gradient_checkpointing が auto / true / false の 3 つの値になり、既定が auto になりました(従来は false)。実測(Qwen3.5-9B・LoRA r=64・cutoff 1536)では、無効のとき 47.7 GiB / 1 ステップ 1.032 秒、有効のとき 23.5 GiB / 1.793 秒で、VRAM を 24.2 GiB 節約する代わりに 74% 遅くなります。auto は、実行時の空き VRAM から判定します(重みを bf16 で載せた見積もりが空きに入らなければ有効にします)。
ご注意: FineTune はプールを停止して実行するため、遅くなる分だけ、プールの停止時間も長くなります。
FineTune が検証用(held-out)の行を切り出すようになりました
[finetune_dataset] train_ratio の既定を 1.0 から 0.9 に変えました。従来はすべての行を学習に使い、報告される数値は学習の loss だけでした。学習の loss は容量とエポックを増やせば必ず下がるため、最も丸暗記したアダプタが最も良い数値を出していました。実測(311 行・Qwen3.5-9B)では、学習の loss が 1.380 → 0.494 と下がり続ける間に、検証の loss は epoch 3 の 1.383 で底を打ち、epoch 6 には 1.510 まで悪化していました。今後は、エポックごとの検証の loss が実行結果に記録され、「epoch 3 で底を打っているので epochs を 3 に下げる」といった判断ができます。
- 学習に使う行が 1 割減るため、作られるアダプタは従来と同じにはなりません(どのチェックポイントを保存するかは変わりません)。
- 分割は、行単位ではなく原本単位で行います(同じ文書が学習と検証の両方に入ると、検証の loss が実力より良く出るためです)。
- 検証用の行が min_dev_rows(既定 20 行)に満たない場合は分割せず、すべての行を学習に使い、その旨を結果に記録します(train_ratio = 0.9 なら、実質 200 行が下限です)。
- 過学習の判定と知能スコアの根拠が変わります。従来の判定は、学習の loss が上がったかを見ていたため、原理的に成り立たず「過学習なし」と記録され続けていました。今後は、検証用の行がある実行だけが「あり/なし」を返し、無い実行は「不明」になります。知能スコアの loss も、検証用の行がある実行ではそちらを使います。
ご注意: 従来どおりすべての行を学習に使いたいサイトは、train_ratio = 1.0 に戻してください(その場合、過学習したかは判定できません)。検証用の行を切り出す設定で、infinicloud-llmtk が 1.10.0 未満の環境では、実行が理由付きで失敗します。
プール診断の表に「runtime」列が増えました
vLLM にはスロットの表が無いため、vLLM のプールのスロット欄は、3/4 idle ではなく「実行中 n / 待機 m」と表示します。
DB マイグレーションと反映方法
DB マイグレーションについて 本リリースには、次の新しい DB マイグレーションが含まれます。
- 0054_llm_pool_runtime.sql: プールのエンジンと vLLM 用の設定の列を追加します。既存の行はすべて未設定のままで、既存データの書き換えはありません。
- 0055_llm_pool_quantization.sql: vLLM の量子化の設定の列を 2 つ追加します。既存の行はすべて未設定(モデル側の宣言に従う)で、既存データの書き換えはありません。
- 0056_llm_pool_gpu_devices.sql: プールを特定の GPU に固定する列を追加します。既存の行はすべて未設定(従来どおりすべての GPU が見える)で、既存データの書き換えはありません。
- 0057_chunk_payload_qa_kind_normalize.sql: 既存の QA のレコードを書き換えます(上記の項目をご覧ください)。
反映方法 フロントエンドの JS が更新されるため、反映にはサーバーの再起動とブラウザの再読み込みが必要です。
不具合修正・堅牢化
OIDC の利用者の追加認証が、LDAP の資格情報で通ってしまう問題を修正
重い操作の直前に本人を確かめる追加認証(step-up)で、ローカル認証でない利用者を「LDAP の利用者」として扱っていました。OIDC の利用者も対象になるため、OIDC の利用者の追加認証が LDAP で判定され、LDAP が有効でディレクトリに同じ名前の項目があると、別の認証方式の資格情報で通っていました。
認証方式ごとに分けて判定し、照合する先が無い方式は拒否するようにしました(503 と step_up_unsupported を返します)。step_up_unavailable と同じ 503 ですが、時間がたっても直らないため、画面では「時間をおいて再試行」ではなく、管理者への連絡を案内します。IdP での再認証は、今後追加します。
新規に作るプールで、モデルを見る保存時の確認が働いていなかった問題を修正
「gpu_memory_utilization が小さすぎて重みが載らない設定」と「量子化済みのモデルに別の方式を指定した設定」を断る保存時の確認が、既存のプールの更新では働くのに、新規作成では行われていませんでした。実測では、重み 29,436 MiB のプールを gpu_memory_utilization=0.05 で新規作成でき、起動に失敗し続けていました。モデルを置く前にプールを作る運用は、従来どおり行えます(モデルを読めないときは判定しません)。
QA の学習データの回答に、質問文が混入していた問題を修正
QA だけは、書き出すときに一覧表示用の本文(「Q: 質問」と「A: 回答」を並べた文字列)から回答を組み立て直していたため、回答の欄に「Q: …」の行ごと入っていました。この形で学習したアダプタは、回答の先頭に質問を書き写す形を学んでいることになります。QA もほかの 4 種類と同じ保存形式になり、書き出しは保存済みの内容をそのまま出すようになりました。
ご注意: 次回の学習から反映されます。作り直さない限り、既存のアダプタは従来の形のままです。
画面のテスト用のファイルが、配布物に含まれていた問題を修正
画面のテスト用のファイル(15 本・160KB)が、公開ディレクトリに配置されていました。配布物から外しました。画面の動作は変わりません。
知識編集タブの一覧で、レコードの ID をエスケープせずに埋め込んでいた箇所を修正
同じ行のほかの値はエスケープしていたのに、ID だけそのまま HTML に埋め込んでいました。ID は UUID のため、現時点で悪用できる問題ではありませんが、エスケープするようにしました。同じファイルの日付と件数の表示も、あわせて直しました。
ドキュメント
- LAN 構成の前段にロードバランサーを置く場合の、タイムアウトの指針を追加しました。HAProxy などのタイムアウトが、Shiraito の最も長い無通信の時間より短いと、処理の途中で接続が切れます(応答ヘッダーの前なら 504、応答の途中なら途中切断として見えます)。出荷時の既定では、情報収集の 60 秒 × 12 = 12 分が最も長くなるため、timeout server / timeout client の初期値として 15m を示し、計算式、切り分けの方法、チャットの POST を自動で再試行させない理由(元の処理が続いていると二重に実行されるため)を書きました。
- 学習用データの作り方の説明を、実際の動作に合わせて更新しました。
