Technology

InfiniCloud® AI

自社の「知能」を育て、所有する時代へ

Top / サービス一覧 / InfiniCloud AI / リリースノート / InfiniCloud AI 2.1.23 リリースノート

InfiniCloud AI 2.1.23 リリースノート

InfiniCloud AI 2.1.23 では、LoRA(知恵)を、LLM サーバを再起動せずに、配信中に付け外しできるようになりました(ホットアタッチ)。FineTune の成果物を、そのプールが配信する形式で保存するようにし、Qwen3.5 / 3.8 のようなモデルで、LoRA が1つも適用されなかった問題を解消しています。回答前の信頼度の計算や、取得済みの KB 資料を使った不足分析など、根拠の扱いも見直しました。あわせて、FineTune の不具合や、取り込みの並行実行時の整合性を修正しています。

注意 この版の適用で、全 LLM プールが、一度停止して再ロードされます。大きいモデルでは、ロードに数分かかります。また、既存の動作が変わる項目が複数あります。アップグレードの前に、「アップグレード時の注意」をご確認ください。

主な新機能

LoRA を、配信中に付け外しできるように(ホットアタッチ)

ドメインの LoRA を有効化・無効化しても、LLM サーバは再起動しません(適用は、次回の reconcile で行われます)。LoRA が載らないことだけで、ベースのプロセスが止まることもありません。

  • LoRA の枠は、プールごとの3つの設定値です。 同時に載せる本数・受け入れる rank の上限・ホストメモリ上のキャッシュ本数を、「モデル設定」の対象プールの欄から入力できます。3つはまとめて保存され、保存すると、該当プールが停止して読み込み直すため、送信前に確認が表示されます。rank は、受け入れられる値だけを選択できます。ローカルのプールだけの設定です(リモートは、接続先が枠を持ちます)。
  • アップグレード後の起動で、枠が未設定のプールについて、自動判定を試みます。 ローカルのプールは、台帳に構成済み・有効な LoRA があれば、同時8本・rank 上限64・ホストキャッシュ16本になり、なければ枠なしになります。リモートのプールは、枠なしです。既に決まっている値は変えません(使っていないサイトが、アップグレードで VRAM を予約しないためです)。
  • 状態を取得する API を、ドメインごとに1つの値(未設定/反映中/配信中/要対処)に揃えました。要対処の理由(内容が壊れている・ベースモデルに適合しない・自動再試行の上限・枠が確保できなかった)は、診断の API が返します。この表示の WebUI 対応は、次版です。
  • 再試行の API を更新しました(対象ドメインの編集権限と、特権モードが必要です)。対象の revision を指定して依頼すると、自動再試行の予算が戻ります。内容が壊れている場合と、ベースモデルに適合しない場合は、それぞれ、復旧手順・再学習が必要です。この操作の WebUI 対応は、次版です。
  • LoRA が載るのは、通常応答と Instant のレーンです。EDTM(考えるモード)の各ロールには、この指定が引き継がれないため、EDTM の最終回答には、LoRA が載りません。 最終回答を書くのは、writer ロールの割り当て先プール(解決できない場合は default プール)のモデルです。ロールとプールの割り当ては、「モデル設定」で確認できます。
  • 要求がどう応答されるか(ベースモデルへの縮退の条件)と、復旧手順の詳細は、sys_shiraito-llm-server-manager のドキュメントにまとめています。

FineTune の成果物を、そのプールが配信する形式で保存

Qwen3.5 / 3.8 のように、wrapper として配信されるモデルでは、学習が出したキー配置のままだと、LoRA が1つも適用されませんでした(読み込みは成功して見えます)。以後は、変換した形と、学習原本の両方を、1つの成果物として保存し、配信には、変換した形を使います。変換したかどうかは、成果物内の key_remap.json に記録されます。

  • *ForCausalLM のモデルを配信するプールは、従来どおりです(保存される内容は変わりません)。変換の判定は、ベースモデルの config.json の architectures を見て行い、読めない場合は変換しません。
  • 既に登録済みの成果物の形は、変わりません。それらは、従来の一回限りの管理ツールで移行します。
  • 有効化済みのドメインでは、新しい成果物は保存されますが、配信中の内容は変わりません(従来どおりの扱いです)。

URL 一括更新で、対象ソースのキャッシュを無効にして再取り込み可能に

チェックを付けた場合は、対象 URL のキャッシュと、古いチャンク・自動生成知識・ベクトルを削除してから、取得し直します。ソースと版の記録は、保持します。対象外のソースは、保持します。

注意 削除後の取得に失敗しても、旧データは自動復元しません。通常の差分更新と使い分けてください。進行中の処理と競合した場合は、拒否します。対象ドメインの同一性と権限は、実行時にも確認します。

検索プロバイダの結果を、回答の裏付けとして使うか設定可能に

管理 API の results_are_corroborating で、検索プロバイダの結果を、信頼度・充足判定の根拠に数えるかを管理します。新規プロバイダは、既定で OFF です。移行済みの既存設定は ON で、従来の扱いを保ちます。OFF でも、検索結果は Writer へ渡り、引用もできます。WebUI の切り替え操作は、未実装です。

回答の根拠まわりの改善

回答前の信頼度の数値と判定を是正

回答前の信頼度の数値と判定(低/中/高)が、すべてのターンで変わります。

これまでは、まだ測れない2つの信号(矛盾の有無・主張の裏付け率)を、「問題なし」として式に入れており、その重みだけで、低判定の閾値に達していました。そのため、証拠が1件でもあれば「低」にならず、低でしか開かない充足ゲートは、事実上動きませんでした。実測では、必要な情報が1つも取れていないターンが、68%(中)と表示されていました。

今回から、その段階で、実際に測れた信号だけで採点し直します。必須スロットが1つも埋まっていない場合は、「低」として扱います。

注意 これまで「中」と表示されていたターンが「低」になり、回答前の再検索が走るようになります。表示される信頼度が下がるのは、品質の低下ではなく、これまで実態より高く出ていた値の是正です。検証後の信頼度(回答に付く最終値)の計算方法は、変えていません。

取得済みの KB 資料を使う、回答前の不足分析

KB の原文抜粋と、既存の Reader 要約を、出所付きで GapAnalyzer へ渡し、不足を分析します。適格な KB 資料がある情報探索ターンでは、信頼度が中・高でも分析し、新規資料が増えれば、追加分析も行います。

  • 分析は、最大2回です。新しい問いがある場合だけ、KB を検索します。
  • 低信頼度で開始した回に限り、初回の追加取得がなければ、既存の言い換え検索を最大1回使い、補完後も低い場合に、Web へ進みます。中・高から入った回は、この分析を理由に、Web へ進みません。
  • 記憶・スレッド資料・ユーザー提供資料・Web・一般ツール結果は、追加資料から除外し、資料由来の追加クエリは、KB 内だけで検索します。

注意 この分析は、既定で有効です。既存の verifier ロールへ送る資料が増えます。詳しくは、「アップグレード時の注意」の「2」をご覧ください。

関連度フロアの見直し

  • 証拠の関連度フロア([rag] relevance_floor)の出荷既定を、0 から 0.001 に変えました(詳しくは「アップグレード時の注意」の「3」)。
  • 関連度フロアを、ターン内のスコア分布へ追従させました。そのターンの候補が、全体に低得点だった場合に、固定フロアだけですべてを落とす状況を抑えます。

想起された記憶を、独立した裏付け資料として数えないように

回答前の信頼度は、取得できた証拠の信号から計算し、証拠が薄い場合は、まず KB を再検索します。不足スロットを狙う再検索と、最後まで埋まらなかった項目の Writer への引き継ぎも、改善しました。

利用者向けの主な改善

回答モデル(writer)のプールが応答できないときの動作を改善

EDTM が、理由なしで失敗していた問題を修正しました。以後は、既定のモデルで回答し、そうしたことを思考の経過に出します。既定のプール自体が応答できない場合は、その理由を回答に出します(従来は、どちらも「回答の生成に失敗しました。」だけでした)。FineTune の退避が補助プールを止めている間に、この状態になります。Thinking Mode(ストリーミング)では、縮退は行わず、理由の表示だけ行います。

llm-jp-4 をロールに割り当てたとき、思考の内容が回答に出てしまう問題を修正

llm-jp/llm-jp-4-* は、gpt-oss と同じ形式(harmony)で、思考と回答を分けて出力しますが、その区切りが LLM サーバの応答から取り除かれるため、思考が、そのまま回答本文として表示されていました(EDTM・Thinking の回答役に割り当てた場合、および既定プールに設定した場合の、通常・Instant)。区切りを保持して受け取るようにしたので、以後は、思考として分離されます。設定の変更は不要です(プールのモデル名から判定します)。リモートプールは、対象外です。

ファイル取り込みの完了・失敗を、タスクログ内へ反映

ダイアログを閉じるまで、背面の完了表示に気付けない問題を直しました。利用者やログセッションが切り替わった場合は、古い処理の通知を、新しい画面へ適用しません。

不具合の修正

FineTune

  • 量子化されたベースモデルでの FineTune を、配信を止める前に断るようにしました。 これまでは、配信中のプールを停止し、GPU を確保し、LoRA の注入まで進んだうえで、transformers が訓練を拒否して失敗していました(実機で45秒の停止を伴いました)。以後は、開始前に断ります。配信は止まらず、GPU の確保もしません。タスクログには、拒否した方式名が出ます。モデル一覧の「FineTune 不可(量子化)」と、同じ判定です。
  • モデル一覧の「FineTune 可」が、量子化されたチェックポイント(FP8 / MXFP4 / NVFP4)にも付いていた問題を修正しました。 量子化済みのチェックポイントは、この配備では学習の対象外とし、「FineTune 不可(量子化)」と表示します。学習したい場合は、非量子化のチェックポイントを置き、量子化は、起動時に指定してください(quantization の設定)。
  • FineTune の学習結果(最終 loss・知能スコア)が、台帳に入らなかった問題を修正しました。 登録の段が、学習の段が書いていない場所から値を読んでいたため、台帳の最終 loss は空、知能スコアは 0.0 のままでした。学習のログには、正しい値が出ているのに、一覧では 0 という食い違いは、これが原因です。既に登録済みの版は、再学習するまで、従来の値のままです(この修正は、過去の登録をさかのぼって直しません)。あわせて、held-out で評価した学習を、「training」と記録していた表示も、正しくなります。
  • FineTune が、邪魔をしていないプールを止めてから断る問題を修正しました。 学習は GPU 0 でしか実行できませんが、停止していたのは、学習対象プールが載っているカードでした。2枚以上のカードがある機では、そのカードが GPU 0 でないときに、「主要経路のプールを1分ほど止めたうえで、結局学習を開始しない」という結果になっていました。
    • 以後、学習が実際に使うカードを基準に、退避の対象を判断します。どのプールが停止の対象になるか、どの場合に学習を拒否するか、判断材料を読めない場合の扱い、リモートプールの扱いは、sys_shiraito-llm-server-manager のドキュメントの gpu_lease の節にまとめています。対象になるプールと、開始しなかった場合の理由は、タスクログに出ます。
    • 「配信が降りた」と認める空き容量の判定を、学習が入る余地があるかに変えました。カードには、配信以外のもの(埋め込みモデルなど)が常駐するため、固定値では、常駐分が増えただけで、学習が始まらなくなります。
    • 効かない案内(「instances の見直し」。1未満にはできません)を、文面から外しました。
  • LoRA を有効化して、配信に載ったあとも、画面が「反映待ち(LLM サーバー再起動が必要)」のままだった問題を修正しました。 ホットアタッチでは、再起動しません。表示は、観測(実際に載っているか)から出すようにし、配信中/反映中(再起動は不要です)/要対処で表します。FineTune の説明にあった、「反映時に LLM の再起動が起きるため、数秒程度のダウンタイムが発生します」という記述も、削除しました。

取り込み・LLM サーバ管理

  • 取り込み・再取り込み・削除の並行実行と、失敗時のデータ整合性を是正しました。 ドメイン単位で処理を直列化し、ソースの識別を維持して、ベクトルを更新します。完了状態は、永続化後に報告し、状態とベクトルの同期に失敗した場合は、再試行できる形で返します。
  • MHAS で除外されたチャンクを、取り込み結果に報告します。 同梱の infinicloud_llmtk を 2.1.0 へ更新し、本文領域の抽出と、除外の追跡を改善しました。
  • LLM サーバ管理デーモンの異常時に、配信からの除外と、プロセス群の回収を行います。 ready 後の監視を継続し、終了・異常検出時の処理を整えました。
  • LoRA 設定ファイルが FIFO の場合に、検証が停止し続ける問題を修正しました。 また、旧形式の LoRA キーを、管理者が一度だけ変換する migration を追加しました。
  • LoRA 読み取り API の認可と、開示範囲を是正しました。 匿名や権限のない呼び出しを拒否し、利用者向け応答へ、内部パスなどを出しません。

アップグレード時の注意

1. 全 LLM プールが、一度停止して再ロードされます

LoRA ホットアタッチの切り替えを、この版で行います。この版へ入れ替えるため、適用時に、全 LLM プールが、一度停止して再ロードされます(LoRA の枠は、起動時に確保する構成になります)。大きいモデルでは、ロードに数分かかります。以後、LoRA の有効化・無効化では、再起動しません。

2. verifier ロールへ送る資料が増えます(リモート pool をお使いのサイトは必ず確認してください)

取得済みの KB 資料を使う不足分析は、既定で有効です。リモート pool では、最大6件、出所込みで6,000文字の KB 抜粋・要約も、外部へ送られます。

従来、この経路が送っていたのは、要求文と検索済みクエリだけで、KB の本文は送っていませんでした。今回から、適格な KB 資料がある情報探索ターンでは、信頼度が中・高でも分析が走るため、外部送信は、例外的な場合ではなく、通常のターンで発生します。1ターンにつき、verifier への呼び出しが1回増え、その分の待ち時間が加わります。

  • リモート pool を使う配備では、社内文書の本文が外部へ出てよいかを、確認してください。
  • 止めるには、sufficiency_escalation_enabled = false を設定します(この設定は、ゲートによる補完自体も止めます)。verify_enabled = false でも、回答前の分析は、動作し得ます。
  • 設定による無効化と停止条件は、運用設定(sys_environment-variables)のドキュメントに記載しました。

3. 関連度フロア([rag] relevance_floor)の出荷既定が変わります

出荷既定を、0 から 0.001 に変えました。対象は、リランカーが有効(reranker_enabled = true)で、この値を config.ini や環境変数で上書きしていないサイトです。上書きがある場合は、その指定が優先されます。reranker_enabled = false のサイトは、影響を受けません。

Thinking / EDTM の証拠選抜で、採点済みかつフロア免除でない引用可能な証拠は、関連度が実効フロア未満なら、収載されなくなります(従来の出荷既定では、採点と並べ替えだけでした)。実測(bge-reranker-v2-m3)で、無関係は約 2e-5、関連は 5e-3 以上に分かれるため、0.001 が、その間になります。

  • τ は、絶対フロアではなく、上限です。実効値は、max( min(1e-4, τ), min(τ, そのターンの最高関連度 × 0.05) ) で、スコア分布がクエリの文体で沈む場合にも、正解ごと落とさないようにしています。
  • 採点に失敗した場合と、タイムアウトした場合は、そのウェーブでは足切りしません(従来どおり、RRF 順で継続します)。
  • 従来どおり足切りを行わない場合は、config.ini に [rag] relevance_floor = 0 を明示してください。

4. 回答前の信頼度の表示が変わります

「回答の根拠まわりの改善」の「回答前の信頼度の数値と判定を是正」をご覧ください。これまで「中」と表示されていたターンが「低」になり、回答前の再検索が走るようになります。

5. データベースのマイグレーションと、バックアップ

DB migration の 0060 と 0061 を含みます。

  • 0060 は、LoRA 容量の保存列を追加します。
  • 0061 は、同一ドメインで競合する active job が残っている場合、最新を残して古い重複を failed にし、取り込み・再取り込み・削除の並行実行を防ぐ一意制約を追加します。

アプリ更新前に、DB のバックアップを取り、migration 完了後に、アプリを起動してください。

あわせて、次のバックアップを自動で取得します。復元は手動で、古い世代の削除も、運用者の作業です。

  • DB は、適用前に pg_dump(形式は custom、pre-migration-backups/ 配下)を取ります。ダンプを書けない場合、DB コンテナは migration を実行せず、異常のままになります。
  • LoRA 台帳は、切り替え前に、lora_config.db.pre-lora-cutover.bak へコピーします。復元は、pg_restore や、ファイルの差し替えで行います。

6. 起動時の LoRA 状態の整理と、設定の読み方

  • 起動時に、保存済みの「適用中」状態を、「設定済み」へ畳みます。revision を持たない古い登録(再学習が必要なもの)は、無効化し、判定できなかった行は、触らずにログへ出します。
  • 旧「除外記録の解除」は、対象 revision を確認して依頼を記録する再試行に、置き換わりました。依頼と拒否は、監査ログへ出力します(監査ログの設定が必要です)。
  • config.ini の [finetune] enabled を読むのは、新規サイトの初回起動だけです。既存サイトでは読みません。決まった後は、config.ini を書き換えても値は変わらないので、変更は、「モデル設定」から行ってください。判定の規則と、再実行の方法は、sys_deployment-guide のドキュメントの [finetune] 節にあります。

ドキュメント

  • SoT API の、出荷済み仕様と、未実装の目標仕様を分離し、認証・エラー・再取得・同期の説明を、現行実装に合わせました。
  • 冗長構成(Gold Config)で、NFS と外部 PostgreSQL を使う際の条件と、compose の変更箇所を、日英でまとめました。配備既定は、ローカル NVMe のままです。
  • LoRA・vLLM の設計記録、拡張ガイドの配置、欠陥レビューの軸と対応方針の説明を、整理しました。
InfiniCloudが選ばれる理由