【UNDCS新カテゴリ】エージェント型医療AIを、いまの規制は捕まえられない
はじめに：問題は「AIかどうか」ではなく「どこまで動くか」です
医療AIについて話すとき、多くの人はまずこう考えます。
「これは医療機器なのか」
「規制対象なのか」
「医師が使うだけなら補助ツールなのか」
もちろん、これらは大切な問いです。しかし、エージェント型医療AIを考えるときには、もう一段深い問いが必要です。
それは、「このソフトウェアは、いつ、何を、どこまで自分で決めてよいのか」という問いです。
従来の医療機器規制は、ある程度わかりやすい前提の上に作られてきました。製品の目的があり、使い方があり、性能を評価でき、変更があればその内容を説明できる。つまり、申請時に「この製品はこう動きます」と説明し、市販後もその範囲を管理するという考え方です。
米国FDAの「AI対応機器ソフトのライフサイクル管理」ガイダンス草案（2025年1月）がAI/ML対応医療機器について示してきた固定アルゴリズムと適応アルゴリズムの区分や、米国FDAの「PCCP（予定変更管理計画）」最終ガイダンス（2024年12月）による事前変更管理も、この考え方の延長にあります[1][2]。変化するAIを完全に止めるのではなく、変化の範囲をあらかじめ書き、管理しようとする発想です。
この考え方は、多くのSaMDには合理的です。たとえば、画像から特定の所見を検出するソフトウェアや、検査値からリスクを計算するソフトウェアなら、機能の範囲を比較的書きやすいからです。入力は何か。出力は何か。どの性能を測るか。更新時に何を確認するか。これらを文書化できます。
しかし、エージェント型医療AIでは事情が変わります。
エージェント型AIは、答えを返すだけではありません。目標を与えられると、計画を立てます。必要な情報が足りなければ、追加で聞きます。外部ツールを呼びます。途中結果を見て、次の手を変えます。場合によっては、問診、検査候補、結果解釈、紹介、患者説明の文案まで連続して作ります。
ここで問題になるのは、AIが「少し賢い」ことではありません。問題は、振る舞いの範囲が広がり、しかもその経路が毎回同じとは限らないことです。
たとえば、同じ主訴を入力しても、ある実行では追加問診を優先し、別の実行では検査候補を先に出すかもしれません。ある文脈では慎重な経過観察を示し、別の文脈では紹介を急ぐかもしれません。人間の医師が最終確認するならまだ整理できますが、AIが次の行動を実際に起こす段階になると、責任の線がぼやけます。
「誰がその行動を許可したのか」
「どこまでが承認済みの機能なのか」
「事故が起きたとき、同じ経路を再現できるのか」
この問いが、現行規制の中心に十分置かれていないことが本稿の出発点です。
本稿では、UNDCSという提案カテゴリを手がかりに、エージェント型医療AIがなぜいまの規制で捕まえにくいのかを整理します。繰り返しますが、UNDCSは法定区分ではありません。新しい法律名でも、正式な認証ラベルでもありません。あくまで、議論の空白に名前を付けるための提案概念です。
この点を明確にしたうえで、規制、倫理、監査、市販後監視、日本の現場導入までを、非専門家にも読める形で噛み砕きます。
ミニまとめ
- 医療AIの本質的な問いは、「医療機器かどうか」だけではありません。
- エージェント型AIでは、「どこまで自分で動くか」が重要になります。
- 現行規制は、振る舞いの範囲を事前に説明できる製品を前提にしやすいです。
- UNDCSは法定区分ではなく、規制の空白を考えるための提案カテゴリです。
グロッサリー
エージェント型（自律型）医療AI
一つの質問に一つの答えを返すだけではなく、与えられた目標に向かって、計画を立て、必要な情報を集め、外部ツールを使い、途中結果を見ながら次の行動を選ぶAIのことです。医療では、問診、検査候補の提示、結果の解釈、次の対応案の作成まで連続して関わる可能性があります。
SaMD（Software as a Medical Device）
ソフトウェアそのものが医療機器として扱われるものです。たとえば、専用の機械に組み込まれていなくても、診断や治療に関わる判断を支えるソフトウェアは、SaMDとして議論されることがあります。
固定（locked）アルゴリズム
市販後に振る舞いが基本的に変わらない前提のアルゴリズムです。同じ入力なら、同じような処理を返すことを前提にしやすいタイプです。
適応（adaptive）アルゴリズム
市販後も、学習や更新によって振る舞いが変わりうるアルゴリズムです。性能改善のために変化する可能性があるため、その変化をどう管理するかが規制上の論点になります。
PCCP（Predetermined Change Control Plan）
「将来こういう変更をするかもしれません」と、変更の範囲や管理方法をあらかじめ示しておく仕組みです。その範囲内の変更であれば、再申請なしで更新できる可能性があります。重要なのは、変更の箱を事前に書けることです。
CDS（Clinical Decision Support）
臨床判断支援のことです。医師や医療者が判断するための情報を出すソフトウェアを指します。ただし、情報を見せるだけなのか、実際の医療行為に近い動きをするのかで、リスクは大きく変わります。
非決定論性（non-determinism）
同じ入力を入れても、毎回まったく同じ出力になるとは限らない性質です。生成AIでは、文章の言い回しだけでなく、どの順番で考えるか、どの情報を重く見るかも変わりえます。
Unconfined（範囲非固定）
振る舞いの範囲が、あらかじめ閉じたリストとして書き切れない状態です。決められたメニューから選ぶだけではなく、その場で新しい手順の組み合わせを作るような場合に問題になります。
UNDCS（Unconfined Non-Deterministic Clinical Software）
振る舞いの範囲が固定されず、出力や行動が一意に定まらない臨床ソフトを指すために提案された概念カテゴリです。これは法定区分ではありません。法律上の正式な分類ではなく、いまの規制が見落としやすい問題に名前を付けるための提案です。
ハルシネーション開示
AIが事実と違う内容を出す可能性があることを、利用者に事前に伝える考え方です。医療AIでは、間違った文章だけでなく、間違った行動案や検査案につながる点が重要です。
具体例で見る：問診から検査、結果解釈、次の一手まで
まず、想像しやすい場面から考えます。
患者さんが来院し、「胸が苦しい」と訴えたとします。従来型の臨床判断支援ソフトなら、年齢、症状、検査値などを入力すると、リスクスコアや鑑別診断の候補を表示するかもしれません。医師はそれを見て、自分の判断で次の行動を決めます。
この場合、ソフトウェアは主に「情報を出す道具」です。もちろん医療に関わるため慎重な評価は必要ですが、少なくとも役割は比較的わかりやすいです。米国FDAの「臨床判断支援ソフト（CDS）」ガイダンス（2022年9月）も、情報提示にとどまる機能と、個別患者の診断や治療を直接担う機能を区別する考え方を示しています[3]。
では、エージェント型AIならどうなるでしょうか。
患者の訴えを読む。
追加で必要な問診を考える。
質問文を作る。
回答を受け取る。
不足している検査を考える。
検査オーダー案を作る。
結果が返ってきたら解釈する。
鑑別診断の優先順位を変える。
次に紹介するか、経過を見るか、患者にどう説明するかを考える。
これは、単なる「推奨文の表示」ではありません。臨床の流れそのものに入り込んでいます。もちろん、すべてをAIが勝手に実行するとは限りません。医師の承認を挟む設計もあります。しかし、自律度が上がるほど、AIは「情報を置く係」から「次の一手を組み立てる係」に近づきます。
ここで、規制上の難しさが生まれます。
従来型なら、評価しやすい問いはこうです。
「この入力に対して、この出力は妥当か」
「このリスクスコアの性能は十分か」
「この表示は医師の判断を不当に縛らないか」
しかし、エージェント型では問いが変わります。
「なぜこの順番で問診したのか」
「なぜこの検査を先に考えたのか」
「なぜこの時点で紹介を提案したのか」
「人間が承認する前に、どこまで処理が進んだのか」
「途中で参照した情報は何か」
つまり、評価対象が「一つの答え」から「行動系列」に変わるのです。
行動系列とは、行動のつながりです。問診をする。検査を考える。結果を見る。次の判断をする。この流れ全体が一つのリスクになります。どこか一か所の出力だけを見ても、全体の危険はわかりません。
たとえ話で言えば、従来型のCDSは、地図に近いです。道順や注意点を示しますが、運転するのは人間です。エージェント型AIは、カーナビと自動運転の中間から、さらに自動運転に近づく存在です。目的地を入れると、経路を選び、曲がるタイミングを決め、状況に応じて別の道を選びます。便利ですが、「どの道を通るか」を毎回人間が細かく指定しているわけではありません。
医療では、この違いが重くなります。道を間違えるだけなら遠回りで済むこともありますが、医療の行動系列の誤りは、不要な検査、必要な検査の遅れ、不適切な説明、患者の不安、医療者の過信につながります。
さらに、非決定論性があります。同じ入力でも、AIの出力や経路が毎回同じとは限りません。文章の言い回しが違うだけなら大きな問題ではないかもしれません。しかし、行動の順番や重視する情報が変わるなら、監査は難しくなります。
事故が起きたあとに、「同じ条件でもう一度動かしてみましょう」と言っても、同じ経路を完全に再現できないかもしれません。ログが残っていなければ、何を根拠に何をしたのかも追えません。
倫理的に見ても、問題は誤答だけではありません。もっと大きいのは、「誰がその一連の行動を医療行為として承認したのか」が曖昧になることです。
医師が一つひとつ確認していれば、責任の線は比較的引きやすいです。しかし、AIが検査オーダー案を作り、予約システムに接続し、患者連絡文まで用意するなら、承認と実行の距離が縮まります。承認が形式的になると、「最終判断は医師」という言葉だけでは足りません。
現行のSaMD審査は、FDAのAI対応機器ソフト草案（2025年1月）やFreyerら（Nature Medicine, 2025年）が論じるように、製品の意図された使用と性能を中心に組み立てられます[1][8]。しかし、エージェント型AIは、使用中にその境界を押し広げる可能性があります。最初は情報提示だけだったものが、運用の中で検査案、連絡案、業務フローの自動化へ広がる。ここに、規制と現場実装のずれがあります。
ミニまとめ
- エージェント型AIは、単一の答えではなく行動系列を作る可能性があります。
- 問診、検査、解釈、次の一手が連続すると、評価対象が広がります。
- 非決定論性は、文章のゆれだけでなく、行動経路のゆれとして現れます。
- 「最終判断は医師」という言葉だけでは、自動実行の責任を説明しきれません。
固定／適応の二分法とPCCP：なぜ「先に箱を書く」発想なのか
AI医療機器の規制では、FDAのAI対応機器ソフト草案（2025年1月）が示すように、固定アルゴリズムと適応アルゴリズムという分け方がよく出てきます[1]。
固定アルゴリズムは、市販後に基本的な振る舞いが変わらない前提です。製品として評価した時点の性能や動作をもとに、使い続けることを考えます。
適応アルゴリズムは、市販後も学習や更新によって変わりうる前提です。こちらは、変化そのものをどう管理するかが問題になります。AIは改善されるかもしれませんが、改善のつもりが別の患者群で性能を落とすこともありえます。そのため、変化を無制限に認めるわけにはいきません。
そこで出てくるのが、FDAのPCCP最終ガイダンス（2024年12月）で示されるPCCPです[2]。PCCPは、あらかじめ変更計画を示す考え方です。簡単に言えば、「この範囲の変更なら予定しています」「こういう方法で確認します」「この条件を超えたら別の扱いにします」と、先に箱を作る仕組みです。
この発想は、とても合理的です。AIを一切変えてはいけないとすると、改善も止まります。一方で、何でも変えてよいとすると、安全性を説明できません。だから、変えてよい範囲を先に書く。これがPCCPの基本的な考え方です。
ただし、この仕組みには重要な前提があります。
変更の種類と上限を、事前に文章化できることです。
たとえば、FDAのPCCP最終ガイダンス（2024年12月）が扱う学習データの更新、性能指標の監視、再学習の条件、ラベル表示の変更範囲などは、比較的「箱」に入れやすいです[2]。完全に簡単ではありませんが、少なくとも何を変えるのかを説明できます。
エージェント型AIでは、この前提が揺らぎます。
なぜなら、変わるのはモデルの重みや性能だけではないからです。エージェント型AIでは、行動空間そのものが変わります。
たとえば、
使えるツールが増える。
検査オーダーAPIに接続する。
予約システムに接続する。
文献検索機能を使う。
患者向け説明文を自動生成する。
院内の別システムに情報を渡す。
これらは、単なる「精度の改善」ではありません。AIができる行動の種類が増えています。
さらに、目標の解釈も変わりえます。「症状を整理する」という目標なら、問診の支援で止まるかもしれません。しかし、「次の医療行動を提案する」という目標なら、検査、紹介、説明まで広がります。さらに「患者の負担を減らす」「見落としを減らす」「業務を効率化する」といった目標が混ざると、AIが何を優先するかも変わります。
ここでPCCPの箱が難しくなります。箱の中に入れるためには、何が起きるかをある程度列挙できなければなりません。しかし、エージェントの強みは、列挙されていない手順をその場で組み合わせることにあります。
これは、料理のレシピに似ています。従来型のソフトウェアは、「この材料ならこの料理を作る」と書かれたレシピに近いです。適応型でも、「塩加減をこの範囲で調整する」と書けるかもしれません。ところがエージェント型は、「冷蔵庫を見て、必要なら買い物に行き、途中で献立を変えてよい料理人」に近いです。便利ですが、事前にすべての料理手順を書くのは難しくなります。
もちろん、FDAのAI対応機器ソフト草案（2025年1月）やPCCP最終ガイダンス（2024年12月）がエージェント型のリスクに無関心だという意味ではありません。透明性、リスク管理、実世界性能モニタリングの重要性は繰り返し示されています[1][2]。問題は、既存の枠組みが「範囲非固定」の振る舞いを中心に設計されているわけではないことです。
適応アルゴリズムは、「同じ機能の性能が変わる」話として整理しやすいです。一方、エージェント型AIは、「そもそも何をするソフトなのかが広がる」話に近いです。
この違いを見落とすと、危険な誤解が起きます。
「学習しない設定だから安全です」
「モデルを更新していないから規制上の変更ではありません」
「チャット画面なので補助にすぎません」
しかし、モデルが学習していなくても、使えるツールが増えれば行動は変わります。画面がチャットでも、裏で検査オーダーや患者連絡に近い処理をしていれば、リスクは大きくなります。規制が見るべきなのは、AIの見た目ではなく、振る舞いの範囲です。
ミニまとめ
- 固定／適応の区分は、AIの変化を管理するための重要な考え方です。
- PCCPは、将来の変更範囲を事前に書く仕組みです。
- エージェント型AIでは、性能だけでなく行動空間そのものが広がります。
- 「モデルが学習していない」だけでは、自律的な行動リスクを説明できません。
「UNDCS」という提案カテゴリは、何に名前を付けているのか
ここで、「UNDCS」という言葉が出てきます。
UNDCSは、Unconfined Non-Deterministic Clinical Softwareの略です。日本語で噛み砕くと、「範囲が固定されず、同じ条件でも行動が一意に決まらない臨床ソフト」という意味です。
重要なので繰り返します。UNDCSは法定区分ではありません。現時点で、法律上の正式な分類として使われているものではありません。あくまで、議論を進めるための提案カテゴリです。
では、なぜわざわざ新しい言葉が必要なのでしょうか。
理由は、既存の言葉だけでは、エージェント型医療AIの危険な特徴を見落としやすいからです。
SaMDという言葉は、IMDRF（国際医療機器規制当局フォーラム）の「SaMDの主要定義（N10）」（2013年12月）が示すように、ソフトウェアそのものが医療機器になりうることを示す上位概念として重要です[6]。エージェント型医療AIの多くも、最終的にはSaMDやプログラム医療機器の文脈で議論される可能性があります。
しかし、SaMDという箱だけでは、箱の中の振る舞いの違いを十分に表せません。
同じSaMDでも、検査値からスコアを計算するだけのものと、問診から次の行動案まで組み立てるものでは、リスクの性質が違います。どちらもソフトウェアかもしれませんが、監査すべき対象が違います。
CDSという言葉も、FDAのCDSガイダンス（2022年9月）にあります[3]。臨床判断支援です。医師の判断を助ける情報を出すだけなら、比較的整理しやすい領域があります。しかし、Collacoら（npj Digital Medicine, 2026年）やMoorら（Nature, 2023年）が示す議論に照らすと、エージェント型AIが外部ツールを使い、検査オーダー案や患者連絡案まで作るなら、単なる情報提供を超えます。臨床ワークフローの自動化に近づきます[9][10]。
ここでUNDCSが見ようとしているのは、主に二つの特徴です。
一つ目は、Unconfinedです。振る舞いの範囲が固定されないことです。申請時に「この入力にはこの出力」と閉じた表として書きにくい。どのツールを使うか、どの順番で進むか、どこで人間に確認するかが、状況によって変わります。
二つ目は、Non-Deterministicです。同じ条件でも、出力や行動系列が一意に定まらないことです。文章が変わるだけではありません。行動の経路が変わるかもしれません。
この二つが重なると、規制と監査が難しくなります。
範囲が固定されていれば、テスト項目を作りやすいです。決定論的であれば、同じ入力で再現しやすいです。しかし、範囲が固定されず、さらに非決定論的であれば、「何をどこまで評価すればよいのか」が難しくなります。
たとえ話で言えば、普通の医療ソフトは、病院内の決められた廊下を走る台車に近いです。どこを通るかを決めておけば、ぶつかる場所を予測しやすいです。一方、UNDCS的なソフトは、状況に応じて廊下を選び、別の部屋に入り、必要なら別の人に声をかける存在に近いです。便利ですが、管理する側は、台車ではなく「動くスタッフ」に近いものとして考えなければなりません。
ただし、UNDCSという言葉を使うときには注意が必要です。これは新しい免罪符ではありません。
「UNDCSだから既存規制の外です」という話ではありません。むしろ逆です。既存のSaMDやCDSの言葉だけでは見えにくいリスクを、規制、病院、ベンダー、医療者が見えるようにするための補助線です。
また、UNDCSを法定区分としてすぐ作るべきだ、と短絡する必要もありません。まず必要なのは、病院調達、審査資料、院内ルール、契約、監査の場で、「このAIはどの程度unconfinedなのか」「どの程度non-deterministicなのか」を話せる共通語を持つことです。
名前のないリスクは、現場で軽く扱われます。
「ただのチャットです」
「人間が見ています」
「最終判断は医師です」
こうした言葉で、実際の自律度が隠れてしまいます。
UNDCSという提案カテゴリは、その隠れた自律度を見える化するための言葉です。
ミニまとめ
- UNDCSは法定区分ではなく、議論のための提案カテゴリです。
- SaMDやCDSだけでは、エージェント型AIの振る舞いの違いを表しきれません。
- UNDCSは、範囲非固定性と非決定論性の重なりに注目します。
- 目的は規制逃れではなく、見えにくいリスクを共通語で扱うことです。
自律レベルが上がるほど、責任と監査は難しくなります
エージェント型医療AIを考えるとき、「自律か、自律でないか」と二つに分けるのは粗すぎます。自律性は段階で考える必要があります。
たとえば、低い段階では、AIは候補を表示するだけです。医師が見て、採用するかどうかを決めます。これは従来の意思決定支援に近いです。
少し進むと、AIはオーダー案を自動で作ります。ただし、実行には医師の承認が必要です。この段階では、承認者とシステムの役割分担を明確にする必要があります。
さらに進むと、低リスクとされた手順をAIが自動実行し、問題がありそうなときだけ人間に知らせる設計になります。ここでは、何を低リスクと見るのか、どの条件で人間に戻すのかが重要です。
もっと進むと、AIに目標だけを与え、計画、ツール選択、実行まで連鎖させる形になります。この段階では、責任、監査、市販後監視が一気に難しくなります。
この違いを整理すると、次のようになります。
【段階 振る舞いの例 主な論点 】
L1：意思決定支援 リスクスコアや鑑別候補を表示します 医師が判断できる情報提示かどうか
L2：条件付き自律 オーダー案を作り、医師承認後に実行します 承認前後のログと責任分担
L3：監督下自律 定義済みの低リスク手順を自動実行します エスカレーション条件と見逃し
L4：高度自律 目標から計画、ツール選択、実行まで行います 行動系列全体の監査と責任の分散
ここで大切なのは、自律性が上がるほど、人間の役割が「判断者」から「監視者」に変わりやすいことです。
人間が毎回しっかり判断しているなら、AIは補助役です。しかし、AIが大量の処理を進め、人間は最後に確認ボタンを押すだけになると、実質的にはAIが流れを作っています。それでも制度上は、人間が責任を負う形になりがちです。
この状態は危険です。人間は責任だけを持ち、実際の判断過程には十分関与していないからです。
倫理学で問題になるのは、この非対称です。AIの自律性は上がる。人間の実質的な関与は薄くなる。しかし責任は人間や組織に残る。ここに強い緊張があります。
監査も難しくなります。L1なら、入力と出力を見ればかなり追えます。L2なら、AIの案と人間の承認履歴を見れば、まだ追えます。L3やL4では、AIがどの情報を見て、どのツールを使い、どの時点で人間に戻さなかったのかを追う必要があります。
「何をしなかったか」も重要になります。
AIが検査を提案した場合は、その提案を見ればわかります。しかし、提案すべき検査を提案しなかった場合はどうでしょうか。AIが人間にエスカレーションしなかった場合、その不作為はログに残るでしょうか。残らなければ、事故後の検証は難しくなります。
市販後監視も同じです。FDAのAI対応機器ソフト草案（2025年1月）とPCCP最終ガイダンス（2024年12月）は、AI/MLデバイスについて、実世界での性能モニタリングや変更管理の重要性を強調しています[1][2]。しかし、エージェント型AIでは、単純な性能指標だけでは足りません。
見るべきなのは、たとえば次のようなものです。
どのツールが呼ばれたか。
どの場面で人間承認が入ったか。
どの場面で人間に戻さなかったか。
ハルシネーションに基づく行動案が出ていないか。
承認された案と却下された案に偏りがないか。
特定の患者群で、行動の傾向が変わっていないか。
これらは、従来の「性能が何％か」という見方だけでは捉えにくい問題です。エージェント型AIでは、性能だけでなく、行動のパターンを監視する必要があります。
病院にとっても、これは運用の問題です。どれだけ優れたAIでも、ログが残らず、誰も監査できず、エスカレーション条件も曖昧なら、安全なシステムとは言えません。
導入時には、「便利かどうか」より先に、「止められるか」「説明できるか」「後から追えるか」を考える必要があります。
ミニまとめ
- 自律性は段階で考える必要があります。
- 段階が上がるほど、人間は判断者から監視者に近づきます。
- 責任だけが人間に残ると、実質的な関与とのずれが生まれます。
- 市販後監視では、性能だけでなく行動パターンを見る必要があります。
規制の空白を埋める打ち手：一つの解では足りません
では、どうすればよいのでしょうか。
ここで大切なのは、「新しい法律を一つ作れば解決する」という話ではないことです。エージェント型医療AIのリスクは、技術、運用、責任、監査、患者説明が重なったところにあります。したがって、打ち手も複数を組み合わせる必要があります。
第一に、動的な市販後監視が必要です。
従来のように、一定期間ごとに報告をまとめるだけでは足りません。エージェント型AIは、日々の利用の中で、どのような行動を選んでいるかが重要です。利用ログを継続的に見て、逸脱パターンを検知する仕組みが必要です。
ここでいうログは、単なるアクセス記録ではありません。目標、計画、参照情報、ツール呼び出し、結果、次の行動、人間承認の有無をつなげた記録です。エージェント型AIでは、このつながりがリスクそのものだからです。
第二に、行動ログの監査証跡が必要です。
「入力と出力」だけでは、なぜその行動に至ったのかわかりません。問診から検査案、結果解釈、次の一手までを、後から追える形で残す必要があります。
完全な再現は難しいかもしれません。非決定論性があるからです。それでも、当時どの情報を使い、どの選択肢を考え、なぜその行動を選んだのかを近似的に説明できる記録は必要です。これは技術的な便利機能ではなく、医療安全の基盤です。
第三に、自律レベルに応じた段階規制が必要です。
すべてのAIを同じ重さで扱うと、低リスクの意思決定支援まで過度に止まります。一方で、チャット画面だから軽いと考えると、高度自律のリスクを見落とします。
見るべきなのは、画面の形ではありません。自律レベルと、実行可能な行為です。
どこまで自分で進めるのか。
どの行為には人間承認が必要なのか。
どの行為は禁止されているのか。
どの条件で必ず人間に戻すのか。
どのログを保存するのか。
こうした要素を、製品申請、病院調達、院内運用ルールの中心に置く必要があります。
第四に、ハルシネーション開示を「誤回答」から「誤行動」へ広げる必要があります。
Montaña-Brownら（npj Digital Medicine, 2025年）が扱うように、AIが事実と違う文章を出すことは、すでに多くの人が知っています[12]。しかし、医療エージェントでは、問題は文章だけではありません。間違った情報をもとに、検査案、説明文、紹介案、フォローアップ案が作られる可能性があります。
つまり、ハルシネーションは「変な文章」ではなく、「変な行動」の入口になります。
開示は免責ではありません。「AIは間違えることがあります」と書けば終わりではありません。どのような失敗モードがあり、誰が監視し、どの時点で止めるのかまで設計する必要があります。
第五に、患者向けの透明性が必要です。
患者にとって重要なのは、AIが関与したかどうかだけではありません。どの程度関与したのか。人間はどこで確認したのか。自分の情報はどこに送られるのか。AIの提案を拒否できるのか。こうした点が信頼に関わります。
もちろん、説明を長くしすぎれば患者は読めません。だからこそ、中学生でもわかる言葉で、短く、正確に伝える必要があります。
ここでのポイントは、一つの対策に頼らないことです。ログだけあっても、誰も見なければ意味がありません。開示だけしても、止める仕組みがなければ不十分です。規制だけ作っても、病院の運用が追いつかなければ形だけになります。
エージェント型医療AIには、多層的なガバナンスが必要です。規制当局、製造販売業者、医療機関、医療者、患者、それぞれが別の役割を持ちます。
ミニまとめ
- エージェント型医療AIのリスクは、一つの制度だけでは管理できません。
- 動的な市販後監視と行動ログの監査証跡が重要です。
- 自律レベルと実行可能行為を中心に見る必要があります。
- ハルシネーション開示は、誤回答だけでなく誤行動の問題として考えるべきです。
日本の文脈：薬機法、PMDA、病院導入で何が起きるか
この議論は、海外だけの話ではありません。日本の医療現場にも直接関係します。
日本では、IMDRFのSaMD定義（2013年12月）に照らすと、standaloneソフトの多くがプログラム医療機器として薬機法の枠組みで扱われます[6]。PMDA（医薬品医療機器総合機構）科学委員会の「AIを活用したプログラム医療機器」報告書（2023年8月）と厚生労働省の「プログラム医療機器ガイダンス（第二版）」（2024年6月）は、AIを活用したプログラム医療機器に関する考え方を示し、学習、変更、性能評価、リスク管理などを論点として挙げています[4][5]。
厚労省のガイダンス（2024年6月）も、プログラム医療機器の特性を踏まえた承認や開発のあり方を示しています[5]。つまり、日本でも、ソフトウェア医療機器やAI医療機器をどう扱うかはすでに重要な論点です。
ただし、エージェント型AIでは、製品単位の承認だけでは足りない場面が出てきます。
理由は、病院の中で組み合わせて使われるからです。
一つのAI製品だけを見れば、情報提示ツールに見えるかもしれません。しかし、電子カルテ、予約システム、検査システム、文書作成システムとつながると、全体としては自律ワークフローに近づくことがあります。
製品Aは文章を作るだけ。
製品Bは検査候補を出すだけ。
製品Cは予約候補を出すだけ。
しかし、病院内でそれらをつなぐと、問診から次の行動までが半自動で流れる。
この場合、どこまでが製品の責任で、どこからが病院の責任でしょうか。承認された製品を使っていても、組み合わせ方によってリスクは変わります。
ここが、日本の病院導入で重要になります。
病院は、製品の承認状況だけを確認して終わることはできません。院内でどのように接続するのか。誰が承認するのか。ログはどこに残るのか。患者説明はどうするのか。止める条件は何か。これらを運用規程として考える必要があります。
特に、「最終判断は医師」という原則をどう守るかが試金石になります。
この原則は大切です。しかし、形だけにしてはいけません。医師が最後にボタンを押していても、実際にはAIの作った流れをほぼ追認しているだけなら、最終判断の意味は弱くなります。
医師が判断できるためには、AIが何を根拠に提案したのか、どこまで自動で進めたのか、何を見落とす可能性があるのかを理解できる必要があります。つまり、医師の責任を強調するだけではなく、医師が責任を果たせる情報環境を作る必要があります。
また、医師だけに責任を集めるのも現実的ではありません。エージェント型AIは、看護、薬剤、事務、医療安全、情報システム部門にも関わります。チーム医療の中で、誰が何を見て、どの異常を誰に上げるのかを決める必要があります。
日本では、慎重な審査や安全管理を強みにできる可能性があります。一方で、現場の人手不足や医療DXの流れの中で、便利なAIが先に入り、運用ルールが後追いになるリスクもあります。
危ないのは、「規制対象かどうか」だけで安心することです。
規制対象外と判断されたから安全。
承認済みだからどんな使い方でも安全。
医師が見ているから問題ない。
学習しないから変化しない。
こうした短絡は、エージェント型AIでは通用しにくくなります。
日本の現場で必要なのは、製品承認、院内接続、行動ログ、人間承認、患者説明を一体で見ることです。UNDCSという提案カテゴリは、その議論のための補助線になります。繰り返しますが、UNDCSは法定区分ではありません。しかし、法定区分だけでは見えにくい運用リスクを言葉にする役割があります。
ミニまとめ
- 日本でも、AIを含むプログラム医療機器は重要な規制論点です。
- エージェント型AIでは、製品単体だけでなく院内での接続がリスクを変えます。
- 「最終判断は医師」を実質化するには、判断できる情報環境が必要です。
- UNDCSは法定区分ではなく、日本の現場運用リスクを考える補助線です。
社会実装の倫理：誰のためにAIは自律するのか
エージェント型医療AIには、明るい可能性があります。
医療者の負担を減らす。
見落としを減らす。
反復作業を減らす。
患者説明をわかりやすくする。
忙しい現場で、必要な情報を整理する。
これらは大きな価値です。医療現場が疲弊している中で、AIが助けになる場面はあります。
しかし、自律するAIは、常に患者のためだけに動くとは限りません。ここに倫理の問題があります。
AIに与える目標は、誰が決めるのでしょうか。
患者の安全を最優先するのか。
医療者の業務効率を優先するのか。
待ち時間の短縮を優先するのか。
検査の見落としを減らすのか。
不要な検査を減らすのか。
施設の処理件数を増やすのか。
これらの目標は、いつも同じ方向を向くとは限りません。見落としを減らそうとすれば、検査提案が増えるかもしれません。負担を減らそうとすれば、説明が短くなりすぎるかもしれません。効率を上げようとすれば、患者ごとの事情が軽く扱われるかもしれません。
エージェント型AIでは、こうした価値判断が、プロンプト、設定、ツール権限、エスカレーション条件の中に入ります。つまり、技術設定に見えるものが、実は倫理判断でもあるのです。
たとえば、どの条件で人間に戻すか。これは安全設計です。しかし同時に、「どの程度の不確実性ならAIに任せてよいか」という価値判断です。
どのツールにアクセスできるか。これはシステム設定です。しかし同時に、「AIがどの医療行為に近づいてよいか」という権限設計です。
患者にAI関与をどう説明するか。これは同意の問題です。しかし同時に、医療への信頼をどう守るかという社会的な問題です。
このような価値判断が見えないまま進むと、責任が薄まります。
ベンダーは「病院の運用です」と言う。
病院は「製品の仕様です」と言う。
医師は「AIの提案を確認しただけです」と言う。
患者は「誰が決めたのかわからない」と感じる。
この状態を避けるためには、責任を一人に押し付けるのではなく、組織としての安全システムを設計する必要があります。
患者の視点も欠かせません。患者は、AIの細かい仕組みをすべて理解する必要はありません。しかし、少なくとも次のことは理解できるべきです。
AIが関与したのか。
AIはどこまで自動で動いたのか。
人間はどこで確認したのか。
自分の情報はどう扱われるのか。
不安があるとき、誰に聞けばよいのか。
これは、単なる説明文の問題ではありません。医療への信頼の問題です。
エージェント型AIが普及すると、患者は「医師に診てもらった」のか、「AIが作った流れを医師が確認した」のか、区別しにくくなります。だからこそ、透明性が必要です。ただし、透明性は専門用語の羅列ではありません。患者が自分の状況に関係づけて理解できる説明が必要です。
ここでもUNDCSの考え方は役に立ちます。UNDCSは法定区分ではありませんが、「このソフトはどのくらい範囲非固定で、どのくらい非決定論的か」を考えるきっかけになります。これは、患者説明にも、院内審査にも、調達にも関係します。
最後に、忘れてはいけないのは、規制の目的です。規制はイノベーションを止めるためだけのものではありません。患者を守り、医療者を守り、信頼できる形で技術を使うための土台です。
エージェント型医療AIを恐れて使わない、という結論だけでは不十分です。逆に、便利だから急いで使う、という結論も危険です。必要なのは、どの自律なら許容できるのか、どの行動には人間承認が必要なのか、どのログを残すのかを、一つずつ言葉にすることです。
ミニまとめ
- エージェント型AIの目標設定には、技術だけでなく価値判断が含まれます。
- プロンプト、ツール権限、エスカレーション条件は倫理設計でもあります。
- 患者には、AIの関与度と人間の確認点を理解できる形で伝える必要があります。
- 規制は技術を止めるだけでなく、信頼して使うための土台です。
よくある誤解：チャットだから軽い、医師が見るから安全、ではありません
エージェント型医療AIをめぐっては、いくつかの誤解が起きやすいです。ここでは、非専門家にもわかりやすく整理します。
誤解1：チャット画面なら、ただの相談ツールです
画面がチャットでも、裏側の動きが軽いとは限りません。チャット画面は、単なる入口です。重要なのは、その先でAIが何をするかです。
ただ質問に答えるだけなら、意思決定支援に近いかもしれません。しかし、外部ツールを呼び、検査案を作り、患者説明文を作り、院内ワークフローに接続するなら、リスクは大きくなります。
見た目ではなく、行動で見る必要があります。
誤解2：医師が最後に見るなら問題ありません
医師が確認する設計は重要です。しかし、それだけで十分とは限りません。
医師が本当に判断できる形で情報が出ているか。AIがどの根拠で提案したか見えるか。代替案や不確実性が示されているか。承認前に自動で進みすぎていないか。これらが必要です。
最後にボタンを押すだけなら、実質的な判断とは言えません。
誤解3：学習しないAIなら変化しません
モデルが学習しなくても、AIの振る舞いは変わりえます。使えるツールが増える。プロンプトが変わる。接続先のシステムが変わる。運用ルールが変わる。これらで行動は変わります。
つまり、重み更新だけが変化ではありません。エージェント型AIでは、行動空間の変化を見る必要があります。
誤解4：UNDCSという名前があれば分類できて安心です
UNDCSは法定区分ではありません。正式な認証ラベルでもありません。これを付ければ安全、というものではありません。
UNDCSは、議論のための言葉です。見えにくい問題に名前を付け、規制、病院、ベンダー、医療者が同じ問題を話せるようにするための補助線です。
誤解5：ログを残せば全部解決します
ログは重要です。しかし、ログだけでは足りません。
誰が見るのか。どの頻度で見るのか。異常を見つけたらどう止めるのか。患者への説明にどうつなげるのか。市販後監視にどう反映するのか。ここまで決めて初めて、ログは安全システムになります。
ミニまとめ
- チャット画面かどうかではなく、裏で何を実行するかが重要です。
- 医師確認は必要ですが、形式的な承認では不十分です。
- 学習しないAIでも、ツールや運用の変化で行動は変わります。
- UNDCSは法定区分ではなく、議論のための提案カテゴリです。
参考文献
[1] U.S. Food and Drug Administration. Artificial Intelligence-Enabled Device Software Functions: Lifecycle Management and Marketing Submission Recommendations（Draft Guidance for Industry and FDA Staff）. CDRH, 2025年1月. https://www.fda.gov/regulatory-information/search-fda-guidance-documents/artificial-intelligence-enabled-device-software-functions-lifecycle-management-and-marketing
[2] U.S. Food and Drug Administration. Marketing Submission Recommendations for a Predetermined Change Control Plan for Artificial Intelligence-Enabled Device Software Functions（Final Guidance）. CDRH/CBER/CDER, 2024年12月. https://www.fda.gov/regulatory-information/search-fda-guidance-documents/marketing-submission-recommendations-predetermined-change-control-plan-artificial-intelligence
[3] U.S. Food and Drug Administration. Clinical Decision Support Software: Guidance for Industry and Food and Drug Administration Staff. 2022年9月. https://www.fda.gov/regulatory-information/search-fda-guidance-documents/clinical-decision-support-software
[4] 独立行政法人医薬品医療機器総合機構（PMDA）科学委員会. AIを活用したプログラム医療機器に関する報告書. 2023年8月. https://www.pmda.go.jp/rs-std-jp/subcommittees/0024.html
[5] 厚生労働省医薬局医療機器審査管理課. プログラム医療機器の特性を踏まえた適切かつ迅速な承認及び開発のためのガイダンス〔第二版〕. 2024年6月. https://www.pmda.go.jp/files/000269089.pdf
[6] International Medical Device Regulators Forum（IMDRF）. Software as a Medical Device (SaMD): Key Definitions（N10）. 2013年12月. https://www.imdrf.org/documents/software-medical-device-samd-key-definitions
[7] International Medical Device Regulators Forum（IMDRF）. Machine Learning-enabled Medical Devices: Key Terms and Definitions（N67）. 2022年5月. https://www.imdrf.org/sites/default/files/2022-05/IMDRF%20AIMD%20WG%20Final%20Document%20N67.pdf
[8] Freyer O, Jayabalan S, Kather JN, Gilbert S. Overcoming regulatory barriers to the implementation of AI agents in healthcare. Nature Medicine. 2025. https://doi.org/10.1038/s41591-025-03841-1
[9] Collaco BG, Haider SA, Prabha S, Gomez-Cabello CA, et al. The role of agentic artificial intelligence in healthcare: a scoping review. npj Digital Medicine. 2026. https://doi.org/10.1038/s41746-026-02517-5
[10] Moor M, Banerjee O, Shakeri Hossein Abad Z, Krumholz HM, Leskovec J, Topol EJ, Rajpurkar P. Foundation models for generalist medical artificial intelligence. Nature. 2023. https://doi.org/10.1038/s41586-023-05881-4
[11] Char DS, Shah NH, Magnus D. Implementing Machine Learning in Health Care — Addressing Ethical Challenges. New England Journal of Medicine. 2018. https://doi.org/10.1056/NEJMp1714229
[12] Montaña-Brown N, Dubois M, et al. A framework to assess clinical safety and hallucination rates of large language models for medical text summarisation. npj Digital Medicine. 2025. https://doi.org/10.1038/s41746-025-01670-7
[13] U.S. Food and Drug Administration. Artificial Intelligence-Enabled Medical Devices（AI-Enabled Medical Devices List）. Digital Health Center of Excellence, 2026年更新. https://www.fda.gov/medical-devices/software-medical-device-samd/artificial-intelligence-enabled-medical-devices
【まとめ】
現行の医療機器規制は、製品の目的、性能、変更範囲を説明し、市販後も管理するという考え方に立っています。固定アルゴリズム、適応アルゴリズム、PCCPは、そのための重要な道具です。しかし、エージェント型医療AIは、目標から計画を立て、ツールを使い、途中結果を見て次の行動を変えます。ここでは、問題は一つの出力ではなく、行動系列全体になります。
UNDCSは、この空白に名前を付けるための提案カテゴリです。法定区分ではありません。だからこそ、免罪符ではなく、議論の補助線として使う必要があります。問うべきなのは、「AIかどうか」ではなく、「どこまで自律し、どの行動を実行し、誰が承認し、後から追えるのか」です。
日本でも、プログラム医療機器やAI医療機器の議論は進んでいます。ただし、病院内で複数のシステムが接続されると、製品単体の承認だけでは見えないリスクが出ます。患者安全と信頼を守るには、自律レベル、行動ログ、人間承認、患者説明、市販後監視を一体で設計する必要があります。
最後に、実務者が最初に置くべき問いは、「このAIは賢いか」ではありません。「このAIは、どこまで自分で動き、どこで人間に戻り、後からその行動を説明できるか」です。UNDCSは法定区分ではありませんが、この問いを見失わないための有効な補助線になります。
FAQ
Q1. UNDCSは法律上の新しい分類ですか？
いいえ。UNDCSは法定区分ではありません。正式な法律用語でも、認証ラベルでもありません。振る舞いの範囲が固定されず、出力や行動が一意に定まらない臨床ソフトの問題を議論するための提案カテゴリです。実務では、既存のSaMDやプログラム医療機器の枠組みと合わせて、自律レベルや実行可能行為を確認することが重要です。
Q2. チャット型の医療AIはすべて危険なエージェント型AIですか？
必ずしもそうではありません。見た目がチャットでも、単に情報を返すだけなら、意思決定支援に近い場合があります。重要なのは画面ではなく、裏で何をするかです。計画を立てる、外部ツールを使う、検査案や患者連絡案を作る、次の行動を自動で進める。このような機能があるほど、エージェント型やUNDCS的なリスクが強くなります。
Q3. 医師が最後に確認すれば、安全と言えますか？
医師確認は重要ですが、それだけでは不十分です。医師が判断できる形で、AIの根拠、行動経路、不確実性、承認前に進んだ処理が見える必要があります。最後にボタンを押すだけでは、実質的な判断にならない場合があります。「最終判断は医師」という原則を守るには、医師が責任を果たせる情報環境が必要です。
Q4. 病院はまず何を確認すべきですか？
まず、自律レベルを確認することです。そのAIが、情報を出すだけなのか、オーダー案を作るのか、外部ツールを使うのか、人間承認なしに進む場面があるのかを見ます。次に、行動ログ、人間承認、エスカレーション条件、ハルシネーションを含む失敗モード、患者説明の方法を確認します。製品の承認状況だけでなく、院内での接続と運用まで見る必要があります。
ハッシュタグ
#医療AI #エージェントAI #SaMD #医療機器規制 #FDA #PMDA #PCCP #デジタルヘルス #医療DX #AI倫理
note でも、本テーマをやさしく短くまとめた入門版を公開しています。あわせてどうぞ。
https://note.com/nice_wren7963/n/n5c55bdd532c8
単一の出力（診断名やリスクスコア）の妥当性を測るのではなく、問診から検査案の作成、結果解釈へと連続していく「行動系列」そのものがリスクになるという指摘に、強い現実味を感じました。
従来のPCCPのように「将来の変更範囲をあらかじめ定義して箱に入れる」という手法では、その場で自律的に手順を組み合わせるエージェント型AIの挙動をカバーしきれないという現状のシステム上の課題が非常にクリアに整理されており、審査やガバナンスのあり方を根本から見直す段階に来ているのだと考えさせられます。