Technology

InfiniCloud® AI

自社の「知能」を育て、所有する時代へ

Top / サービス一覧 / InfiniCloud AI / リリースノート / InfiniCloud AI 2.1.24 リリースノート

InfiniCloud AI 2.1.24 リリースノート

InfiniCloud AI 2.1.24 は、2つのことに取り組んだ版です。

  • 推論 API を、モデルのプロトコルの素通しにして、codex と Claude Code が Shiraito を推論先として使えるようにしました。
  • AutoDGIS と追加学習の既定値を、実測に合わせました。引用が原文にあるかも、数えられるようになりました。

あわせて、接続が切れたときの通知や、LoRA の状態表示、Thinking Mode の縮退動作などの不具合も修正しています。

注意 既存の外部 API の呼び出し側に、非互換があります。アップグレードの前に、「アップグレード時の注意」の「1. 外部 API の推論3経路」をご確認ください。

主な新機能

codex と Claude Code から、Shiraito を推論先として使えるように

外部 API の推論3経路(POST /v1/responses・POST /v1/messages・POST /v1/messages/count_tokens)が、Shiraito が組み立て直した応答ではなく、推論先が返したものをそのまま返すようになりました。これにより、codex と Claude Code が、道具呼び出しを含む往復で、Shiraito を推論先として使えます。

  • モデルの思考は、回答に混ざりません。この3経路は、プールのモデル系統に応じた思考の停止を、必ず適用します。クライアントが chat_template_kwargs.enable_thinking を送っても、この1つだけは戻せません。
  • 応答に、Shiraito 独自のイベント・フィールドを足しません。RAG の出典も足しません(素のクライアントが、未知のイベントで落ちないようにするためです)。
  • 上流のエラーは、status とプロトコルの形を保って返します。文面は、内部のホスト名・経路・スタックトレースを出さないため、5xx の詳細は固定文に置き換え、4xx は呼び出し側が対処できる文面だけを通します。
  • 上流への待ち時間は、config.ini の [apiv1] native_request_timeout_ms で決めます(初期値 600000 ms)。空にすると、従来の WebUI の上限に戻ります。
  • 応答の完了を、クライアントが認識できるようになりました。これまでは、HTTP 200 で本文が届いても、クライアントが完了を認識できず、再接続を繰り返して失敗していました(OpenAI Codex CLI で確認)。イベントの種別・順序・終わり方は、モデルのものがそのまま届きます。
  • ヘッダーを返したあとに上流が落ちた場合は、そのプロトコルの終わり方で返します(/v1/messages なら type: "error" のイベント)。理由は応答に含めず、サーバのログにだけ出します。
  • 上流が終了イベントを送らずに、黙って閉じた場合は、この経路では検知しません。完了イベントが無い応答を成功と見なさないのは、クライアント側の判断です。

注意 対象は、通常のテキスト応答です。思考モード(thinking / edtm)は、/v1/chat/completions の独自引数のままです。

LLM プールが、モデルに合った tool 呼び出し解析つきで起動するように

これまでは、tools を含む要求を、プールが 400 で拒んでいました。以後、プールのモデル系統が対応表にある場合は、起動引数に --tool-call-parser と --enable-auto-tool-choice が、対で入ります(Qwen3 は qwen3_xml)。

  • 運用者が parser 名を書く必要はありません。方言は、checkpoint のチャットテンプレートで決まっているため、モデルの系統から決め、テンプレートと突き合わせてから渡します。突き合わせは、取り消す方向にしか効かないので、読み違えても、最悪「フラグを渡さない(これまでと同じ)」です。
  • 対応表に無い系統(llm-jp / gpt-oss)には、渡しません。
  • 出荷イメージには、vLLM への patch が1つ入ります。素の vLLM 0.27.1 は、parser を入れると、tools を宣言しない要求でも、<tool_call> / <function= 以降を、回答本文から黙って落とします(エラーは出ません)。third_party/vllm-patches/0001 がこれを塞ぎ、build が「当たったこと」を検査します(当たらなければ build が落ちます)。

追加学習の既定値を、実測した曲線に合わせました

LoRA の rank を 8 から 64 に、alpha を 8 から 64 に、エポックを 1 から 3 に変更しました。

これまでの既定は、社内実測(311行・Qwen3.5-9B)で最も成績の良かった設定より手前にあり、検証用データの loss で、約 0.16 ぶん劣る側でした。rank は 64 まで上げても悪化せず、行き過ぎの原因になるのは、エポック数の方です。alpha を rank と同じ値にしているのは、実測時と同じ比率にするためで、rank だけを変えると、効き方そのものが変わります。

注意 学習時間は、エポック数に比例して伸びます。学習中は、対象の LLM プールが停止するため、停止時間も同じだけ伸びます。「RAG管理 > モデル管理」の FineTune 既定値をすでに設定済みのサイトでは、そちらの値が、引き続き優先されます。

AutoDGIS が作る学習データの見直し

  • 見本の数を、全軸とも最大3件にそろえました。 これまでは、問答(QA)だけが3件で、ほかの軸は1件でした。これは、軸の性質による区別ではなく、問答が AutoDGIS より前に単独の機能として作られたときの数が、そのまま残っていたものです。LLM への問い合わせ回数は変わりません(2件目以降も従来から生成しており、受け取ったあとで捨てていました)。作られる学習データの行数は増えるので、学習にかかる時間は、その分延びます。軸ごとに減らしたい場合は、ジョブの<軸>_max_per_record で指定できます。
  • 「この資料からは判断できない」と答える見本も、既定で作るようになりました。 ほかの軸は、いずれも「文書に答えがある」前提で見本を作るため、これを切っていると、断定を避ける判断は、一度も学習されませんでした。1レコードあたりの生成が1回増えるので、取り込みは、その分重くなります。不要な場合は、[finetune_dataset] enable_abstain = false で止められます。
  • 「抜き出し(extract)」軸を、廃止しました。 長い文書がトークン上限を超えたときに、その本文を忠実に抜き出した見本を作る軸でした。文書そのものを学習に入れない設定(include_aft = false)が既定になった時点で、存在理由の前提が変わっています。作っていた見本は、入力がすべて同一の定型文になるため、文書を学習から外した理由と、同じ問題を抱えていました。忠実な引用という役割は、問答(QA)の根拠(evidence)が担います。
    • 新しい行は、作られなくなります。既存の行は消えませんが、種別は EXTRACT ではなく DERIVED として表示されます(「知識情報の編集」から、従来どおり確認・削除できます)。
    • ジョブに enable_extract や cutoff_len / cutoff_mode / cutoff_percentile を渡していた場合、それらは読まれなくなります(追加学習側の同名の設定は、変わりません)。
  • 引用が本当に原文にあるかを、数えるようになりました。 AutoQA の根拠(evidence)は、「原文から取る」ことを前提にしていましたが、実際に原文にあるかは、確認していませんでした。ジョブの最後に、Source match (measured only, nothing dropped) として、件数が出ます(照合するものが1件も無かったジョブでは、この行は出ません)。この段階では、数えるだけで、生成された行は1つも捨てません。まず実際の件数を見てから、捨てる基準を決めるためです。

知恵(LoRA)の状態表示を改善

  • 状態表示が、画面を開き直さなくても更新されるようになりました。有効化したあと「反映中」のまま固まらず、配信に載った時点で、表示が変わります。画面を閉じると止まります。
  • 状態を読み取れなかったときも、選択欄は操作できます。これまでは、一度無効になると、読めるようになっても戻りませんでした。
  • 適用中の知恵が一覧に無いとき(ベースモデルを変えて、互換性の判定から外れた場合など)に、選択欄が「解除」を選んで見えていたのを、直しました。一覧外であることを示す、選べない項目を出します。
  • モデル設定の診断に、知能ドメインごとの LoRA の状態を出すようになりました。状態欄が「要対処」になったとき、理由に到達できる画面がありませんでした。台帳を読めなかった場合は、「取得できませんでした」と出し、「どのドメインにも LoRA が無い」と区別します。

利用者向けの主な改善

接続できなくなったことが、画面に出るように

回線が切れたり、VPN で名前解決できなくなったりしても、これまでは何も出ず、開発者コンソールにエラーが並ぶだけでした。バックエンド宛かどうかの判定が、ログインの処理を通った要求を数えられておらず、通知の条件が成立していませんでした。判定を1か所にまとめ、どの経路から来た要求でも、同じ答えになるようにしました。

あわせて、次の2点を調整しました。

  • 自分で止めた操作では、お知らせが出なくなりました。 判定が直った結果、アプリ自身が取り消した通信(停止ボタン、画面を開き直したときの前の読み込み、ログアウト、補助的な問い合わせの時間切れ)まで、「接続できません」の対象になり、ふつうの操作のたびにお知らせが出ていました。取り消しは、接続の状態を何も示さないので、対象から外しました。回線が切れた場合と、サーバが異常を返した場合は、これまでどおり出ます。
  • 「Status: ok」のお知らせが、閉じずに残ることがなくなりました。 お知らせを出した直後に状態を問い合わせ、正常なら自動で閉じる作りでしたが、開くアニメーションの最中(0.2秒)に届いた「閉じる」が捨てられていました。開いている最中の「閉じる」は、開き終わりに実行します。

起動中の「準備しています」が、準備の途中で消えないように

回線が遅いときに、起動が終わる前に暗幕だけが消えて、ログインしていない画面が、しばらく出たままになることがありました(実測で50秒)。ダイアログが出たときに暗幕を外す処理をやめ、時間で諦める上限も延ばしました。バックエンドへ届かないことは、暗幕の上に出るお知らせが伝えます。

モデル設定の入力に、読み上げ用の名前が付くように

ラベルと入力が結ばれていなかったため、支援技術では、名前が空でした。説明ボタンの名前にも項目名が入るので、同じ名前のボタンが並ばなくなります。知恵の状態欄は、周期的な書き換えも、読み上げへ伝わります。診断のドメイン表には、表題と列の対応が付きます。

Thinking Mode でも、回答モデルのプールが止まっていれば、既定のモデルで回答

これまで、この縮退は、通常の思考モードだけの動きで、Thinking Mode(逐次表示)では、理由が出るだけで、回答は得られませんでした。以後は、上流から1トークンも届いていない場合に限り、既定のモデルへ切り替えて、同じ回答の中で書き直します。

  • 画面に文字が出ていなくても、途中まで届いていれば、切り替えません(受け取った断片が、次の応答の頭に混ざるためです)。
  • 切り替えは1回だけで、切り替えたことは、思考の経過に出ます。
  • すでに表示が始まっていれば、従来どおり打ち切ります(表示済みの文の続きに、別のモデルの書き出しが継ぎ足されるのを避けるためです)。
  • LoRA の状態が読めない故障では、これまでどおり切り替えません。

応答を一度に返す経路でも、思考を回答本文から切り離すように

逐次表示と API 互換の経路は、以前から切り離していましたが、この1経路だけが素通しでした。思考の抑制が効かないモデル(思考の切り替えを持たない系統)では、考えている途中の文が、そのまま回答として返っていました。

  • 思考だけで終わった応答(長さの上限で切れた場合)は、空の回答になります。
  • 区切りの無い応答も、思考が漏れたと判定できた場合は、空の回答になります(同じ言い回しを繰り返して答えに辿り着かない形など、確度の高い場合だけです)。
  • それ以外の区切りの無い応答は、これまでどおり、1文字も変えません。

FineTune の重みの見積りが、壊れた config.json で学習ジョブを止めないように

ベースモデルの config.json を、共有の読み取り口へ通すようにしました。これまでは、この1か所だけが素のファイル読み出しで、config.json の位置に、名前付きパイプなどの通常ファイルでないものが置かれていると、学習の worker がそこで待ち続け、ジョブが終わりませんでした。以後は、読めない config.json は、「見積もれない」として扱います(見積りが無い場合の gradient_checkpointing の決め方は、従来どおりです)。

セキュリティの強化

GET /v1/responses が、内部のモデル名を返さないように

保存済みの会話には、当時の推論先が、重みを何と呼んでいたかが記録されています。今提供中のプール名と一致するものだけを、そのまま返し、それ以外は unknown になります。この値を読んでいる実装がある場合は、公開名以外が来ない前提にしてください。

アップグレード時の注意

1. 外部 API の推論3経路(既存の呼び出し側に非互換があります)

POST /v1/responses・POST /v1/messages・POST /v1/messages/count_tokens を使っている呼び出し側は、次の点を確認してください。

  • モデル名は、プール名です。 normal のような従来の名前や、知らない名前は、400 です(既定のプールへ落としません)。受け付ける名前は、GET /v1/models が返す一覧と同じです。<プール名>:<知能ドメイン名>の形も読みますが、知能ドメインを載せる経路がまだ無いので、400 です(素のモデルで答えて、「ドメインが効いた」ように見せないためです)。
  • 公開されるのは、apiv1 がクライアントを持てて、思考が回答に混ざらないモデル系統のプールだけです。 外れたプールは、起動時のログに、理由が1行出ます。一覧は起動時に決まるので、プールを足した・消したときは、再起動してください。
  • store: true は、400 です。 store: false は受け付けます。この3経路は、会話を保存しません。保存済みの会話を読む GET /v1/responses は従来どおり動きますが、新しい会話は増えません。
  • Shiraito 独自のフィールドは、400 です。 domains・rag・rag_top_k・web_search・thread_id と、_ で始まる名前です。これらは、/v1/chat/completions に残っています。
  • 旧 thinking({"mode": …})は、400 になりません。thinking は、Anthropic Messages の実在するフィールドなので、この経路は上流へ渡します。/v1/responses に付けても、EDTM は起動しません(扱いは上流次第です)。

2. 独自にイメージを組んでいるサイト

出荷イメージの vLLM への patch(third_party/vllm-patches/0001)を、当ててください。当たっていないと、文書を引用しただけの回答や、この記法を説明した回答から、文章が消えます。

3. AutoDGIS と貼り付け取り込みの生成が、skill パッケージ経由になりました

これまで、生成の中身(プロンプトと出力形式)は、プログラムの中にあり、同じものが skill ファイルにも、二重に置かれていました。以後は、skill ファイルが、唯一の定義です。作られる行の中身は、変わりません。

注意 切り替え後の最初の1回は、生成をやり直します。生成物のキャッシュは、skill の版を鍵に含むため、既存のキャッシュに当たりません。しかも、作り直した行は、既存の行に追加されます(置き換えではありません)。実行する前に、「知識情報の編集」から、対象ドメインの自動生成分を削除してください。消さずに実行すると、ほぼ同じ内容の学習データが、二重に入ります。

  • 貼り付け取り込みでは、ドメインに skill の上書きが登録されている場合、その上書きが既定で効くようになります(従来の経路は、固定のプロンプトを使っており、上書きを参照していませんでした)。AutoDGIS 側は、従来どおり、組み込みのパッケージのみを使います。
  • 元の経路に戻す必要がある場合は、ジョブの use_skill_runner / use_skill_bundle に false を指定するか、環境変数 SHIRAITO_SKILL_RUNNER_QA / SHIRAITO_SKILL_RUNNER_BUNDLE に 0 を設定します(問答と、それ以外を、別々に戻せます)。

4. LLM プールを新しく作るとき、名前にドット(.)を使えなくなりました

プール名は、画面の内部識別子にも使われ、ドットとハイフンが同じ形に潰れて、別の欄のラベルが読み上げられる状態でした。今後、新しいプールの名前は、英数字と _ - だけで、先頭は英数字です。設定ファイル(llm-pools.ini)からの作成も、同じ規則で断ります。

すでにドットを含む名前で動いているプールは、そのまま動き、設定の変更もできます。断るのは、新しく作るときだけです。同じ名前で作り直すことはできません。

5. 知能ドメインの LoRA 状態の取得が、台帳を読めないときに失敗を返すように

これまでは、内部エラーでも「適用されていません」(HTTP 200)を返していたため、データベースの一時的な障害が、「このドメインに知恵は載っていない」という測定結果と、区別できませんでした。以後は、503 を返し、画面は、既存の「状態を取得できませんでした」に倒れます。理由は、サーバのログにだけ出ます。

この応答を読んでいる外部の実装がある場合は、200 以外を「不明」として扱ってください。200 の中にも、「読めなかった」があります。応答の effective は、そこだけ読めなかったときに、{"available": false, "reason": "unavailable"} になります。available: false を、「LoRA が載っていない」と読まないでください。

6. 学習時間と取り込み時間の増加

追加学習の既定値の変更(エポック 1 から 3)と、AutoDGIS の見本数の増加により、学習にかかる時間が延びます。「抜き出し」軸の廃止と、「判断できない」見本の追加も含め、詳しくは「主な新機能」をご覧ください。

InfiniCloudが選ばれる理由