论文深读：On-premise medical AI agents for reliable clinical decision-making.

一句话结论

本文解决的是医疗 LLM Agent 在临床部署中“机构治理”与“决策时可靠性估计”两个未满足需求，提出一个完全本地部署的双 Agent 临床诊断系统，并用内部似然、语言表达与行为稳定性三类信号构建多视角置信度框架。最有证据支持的结果是：在 MIMIC-IV 衍生的 MIRA-v2 七病种任务上，本地开源模型 Qwen-3.5 达到 90.0% 准确率，接近云端 GPT-5.2 的 90.7%；诊断行为一致性（ConsistencyDx）对正确性的判别 AUC 为 0.860，在一致性阈值 0.90 时保留 49.4% 病例并达到 98.9% 保留集准确率。

问题定义与已有方法缺口

任务输入是来自 MIMIC-IV 衍生基准或 PubMed 衍生基准的临床病例，输出是最终诊断及推理轨迹。系统以多轮对话形式运行：Physician Agent 与 Patient Agent 交互，通过工具调用获取体格检查、血液检查、尿液检查、影像、微生物、用药和手术等证据，最终给出诊断。使用场景是机构内部治理下的临床决策支持，目标不是完全替代医生，而是通过选择性自主（selective autonomy）决定哪些病例可自主处理、哪些应转人工复核。

作者区分了两类信任缺口。操作信任（operational trust）涉及数据与模型的治理，包括隐私、可审计性、版本稳定性和部署控制，这推动本地或同等治理的部署。决策信任（decisional trust）涉及输出是否足够可靠以支持临床医生的适当依赖，需要决策时不确定性估计。已有方法的主要缺口在于：现有置信度估计多依赖原始模型概率或启发式语言线索，且主要在单轮事实问答、思维链或静态临床笔记诊断中评估，未在多步 Agent 工作流中系统检验。在 Agent 系统中，随机差异会跨多步推理和工具使用传播，产生分歧的中间状态和不安全结论，因此需要标准化框架来刻画不同置信信号在 Agent 临床环境中的行为。

创新点与方法主线

创新点按重要性拆解如下：

1. **多视角置信度框架**。相对以往单一概率或语言线索的做法，本文将可靠性分解为三类互补视角：内部生成似然（ProbScore）、语言表达的确定性（LingCert 和 ConceptDensity）、以及跨重复运行的行为稳定性（Consistency）。每类指标同时作用于最终诊断输出（Dx）和推理轨迹（R）两个流，共产生八个置信分数。这一改变针对的问题是：单一信号无法捕捉多步 Agent 中不确定性如何跨工具使用和中间推理传播。

1. **行为一致性作为决策时可靠性信号**。相对以往将自一致性用作解码规则的做法，本文将跨运行语义一致性用作决策时门控信号，而非改变最终输出。其可能有效的机制是：当证据充分且模型推理稳定时，多次随机采样应产生语义一致的诊断；当证据缺失或推理不稳定时，输出会发散。这对应解决“何时应信任、何时应复核或延迟”的问题。

1. **选择性自主的准确率—覆盖率操作化**。将置信信号转化为显式分诊策略：仅当置信分数超过阈值时保留病例自主处理，否则转人工复核。这使可靠性信号从描述性指标变为可部署的治理机制。

机制流程为：输入病例实例化后，Patient Agent 陈述主诉；Physician Agent 通过多轮对话采集病史；Physician Agent 通过工具调用请求检查并获取结果；工具调用失败时重试或回退；Agent 给出诊断和推理轨迹；对每个病例执行 N=5 次独立随机推理，计算四类指标在两个流上的分数；用这些分数判别正确性并执行阈值分诊。训练目标不适用，因为本文评估的是预训练 LLM 的推理行为，未报告对模型进行任务特定训练。

Backbone 与具体改造

本文没有训练新模型，传统意义上的 backbone 训练不适用。系统建立在预训练开源 LLM 之上，评估了四个本地开源模型：GLM-4.5-Air、GLM-5、Qwen-3.5 和 GPT-OSS，以及云端基线 GPT-5.2。所有系统使用相同的 Agent 架构和评估流程，仅底层 LLM 不同。

Agent 架构为双 Agent 框架：Physician Agent 负责问诊、工具调用和诊断，Patient Agent 模拟患者回答。工具包括体格检查、血液检查、尿液检查、影像、微生物、用药处方和手术申请。主要置信度分析使用 GLM-4.5-Air 作为固定工作流，以避免底层模型变化干扰置信度分析。行为一致性默认用 MiniLM 句子编码器，对每个病例执行五次独立随机推理计算。论文未报告各 LLM 的具体参数规模、上下文长度、采样参数默认值、提示模板全文或工具调用的具体实现细节。

数据集与数据形成过程

三个基准用于评估：

| 数据集 | 来源 | 样本量 | 任务 | 用途 |
|---|---|---|---|---|
| MIRA-v2 | MIMIC-IV 衍生 | 551 | 7 种疾病 | 主要基准，置信度分析 |
| CDM | MIMIC-IV 衍生 | 2,400 | 4 种腹部疾病 | 第二基准，泛化验证 |
| VivaBench | PubMed 衍生 | 990 | 10 个专科组 | 外部基准，可移植性验证 |

MIRA-v2 包含七种诊断条件：阑尾炎、胆囊炎、憩室炎、胰腺炎、肺炎、肺栓塞和尿路感染。CDM 包含四种腹部诊断类别。VivaBench 由医生策展的 PubMed 病例报告组装，设计用于评估不确定性下的序贯推理，提供诊断列表和可接受的鉴别诊断，采用基准对齐的 top-1 近似准确率标准评估。

论文未在正文中报告这些基准的原始构建流程、纳入排除标准、标注协议或划分方法的细节。MIRA-v2 和 CDM 均源自 MIMIC-IV，反映单一机构的数据生态，这是作者明确承认的局限。论文报告了盲法医生裁决：在 MIRA-v2 的 181 例随机子集（占基准 33%）上，医生共识判定 81.8% 的病例中 Agent 诊断和参考标签均临床有效；4.4% 的病例中 Agent 诊断临床有效但与 EHR 标签不一致。自动 LLM 评估器与医生共识的总体一致率为 92.3%（167/181；Gwet's AC1 = 0.898）。

数据泄漏风险方面，论文未报告基准是否与预训练模型训练语料重叠。分布偏移风险明确存在：MIMIC-IV 是单一机构数据，VivaBench 来自 PubMed 病例报告，两者在病例复杂度、文档风格和诊断终点定义上均不同。

评测设计与指标含义

比较公平性方面，四个本地模型与云端基线使用相同的 Agent 架构和评估流程，仅底层 LLM 不同，这是相对公平的设置。但论文未报告各模型的参数规模、推理预算或提示条件是否完全一致。CDM 对比中，论文将 Qwen-3.5 的 83.8% 与“官方 CDM 排行榜最高分”Gemma-3 的 70.5% 对比，但未说明两者是否在完全相同的评估协议下运行。

核心指标含义：

• **诊断准确率**：Agent 最终诊断与参考标签匹配的比例，方向越高越好。衡量的是端到端诊断能力，但不能说明诊断的临床安全性或推理质量。
• **AUC（ROC 曲线下面积）**：置信度分数判别诊断正确与否的能力，0.5 为随机，1.0 为完美判别。衡量的是置信信号的排序能力，而非绝对校准。
• **保留集准确率与覆盖率**：在准确率—覆盖率分析中，覆盖率是超过阈值的病例比例，保留集准确率是这些病例中的诊断准确率。两者存在权衡，衡量选择性自主的操作特性。
• **Gwet's AC1**：评估者间一致性系数，用于衡量自动 LLM 评估器与医生共识的一致性，方向越高越好。

统计检验方面，论文报告了 DeLong's 检验比较 AUC 差异（ConsistencyDx 与 ProbScoreDx 的 AUC 差 0.114，P = 0.0011，FDR 调整后 P = 0.0034），Mann-Whitney U 检验配合 Holm 调整用于分布比较，McNemar's 检验用于扰动前后配对比较（P = 4.139 × 10⁻²⁵），Wilcoxon 符号秩检验配合 Holm 调整用于置信分数配对变化。论文报告了自助法 95% 置信区间用于 AUC 估计。

这些指标不能说明的方面：准确率不能反映错误的临床严重性；AUC 不能说明置信分数的绝对校准质量；保留集准确率不能说明被延迟病例中医生复核的实际负担和结果。

关键结果与可信度

核心数值结果：

| 结果 | 数值 | 数据集与条件 |
|---|---|---|
| 最佳本地模型准确率 | 90.0%（Qwen-3.5） | MIRA-v2，七病种 |
| 云端基线准确率 | 90.7%（GPT-5.2） | MIRA-v2 |
| 第二基准准确率 | 83.8%（Qwen-3.5） | CDM，四病种 |
| 此前最佳开源结果 | 70.5%（Gemma-3） | CDM |
| ConsistencyDx 判别 AUC | 0.860 | MIRA-v2，基线条件 |
| ProbScoreDx 判别 AUC | 0.747 | MIRA-v2 |
| ConsistencyDx 扰动下 AUC | 0.875 | MIRA-v2，非接地扰动 |
| 阈值 0.90 保留集准确率 | 98.9%，覆盖率 49.4% | MIRA-v2 |
| 外部基准 ConsistencyDx AUC | 0.719 | VivaBench |
| 外部基准最佳保留集准确率 | 89.9%，覆盖率 32.0%（阈值 ≥0.85） | VivaBench |

可信度由以下证据支撑：多模型交叉验证显示 ConsistencyDx 在 Qwen-3.5、GLM-5 和 GPT-OSS 上均为最强诊断流指标，排除了单一模型特异性的解释；扰动实验显示当证据接地被移除时，准确率从 90.6% 降至 70.2%，ConsistencyDx 绝对值下降且判别力保持（AUC 0.875），而 ProbScore 和 LingCert 在部分条件下反而升高，说明行为一致性对证据缺失更敏感；外部 VivaBench 验证显示 ConsistencyDx 仍是最强信号，支持可移植性；盲法医生裁决显示 92.3% 的自动评估器与医生共识一致，缓解了对自动评估标签质量的担忧。

关于 SOTA 声称：论文未明确声称 SOTA，但报告 Qwen-3.5 在 CDM 上 83.8% 超过此前报告的 Gemma-3 70.5%。这一比较的边界是：仅在 CDM 四病种任务上、在论文所述评估协议下成立，且论文未报告 Gemma-3 是否在相同协议下运行。

局限性与结论边界

作者明确承认的局限：第一，两个主要基准均源自 MIMIC-IV，反映单一机构数据生态，VivaBench 拓宽了评估设置但不能替代独立数据集或前瞻性工作流验证。第二，评估限于文本诊断推理，原生图像解释是独立的临床和方法学子问题。第三，多 Agent 批评者扩展未改善整体性能（87.1% 对 88.4%），批评有益的条件未定义。第四，绝对一致性阈值不具普适性，解码温度、语义编码器选择和重复运行次数都会改变操作特性。第五，所有评估均为回顾性模拟，需要前瞻性研究和专门偏差审计。

从实验设计可见的额外局限：年龄分层分析显示老年组准确率较低，但论文明确说明这是描述性分析，无法确定来源是基准构成、病例复杂度、文档效应还是模型偏差。高一致性错误仍然存在，阈值扫描显示残余自主流错误不会降至零。一致性估计需要约五倍的 token 消耗，部署成本显著。论文未报告模型参数规模、训练数据细节或提示模板，可复现性受限。VivaBench 的绝对性能（72.22%）显著低于 MIMIC 基准，说明框架在不同临床环境中的性能异质性较大。

已被证据支持的结论：行为一致性在 MIMIC 衍生基准和 PubMed 衍生外部基准上均为最强判别信号；一致性门控能在保留集准确率和覆盖率之间产生可操作权衡；本地部署在 MIRA-v2 上未造成大的性能损失。仍只是合理假设的结论：这些信号能改善真实临床中的医生依赖行为、降低安全事件或减少复核负担；年龄梯度是否反映模型偏差；选择性自主在真实工作流中的净效益。

对后续研究的启发与迁移方案

以下为分析者由本文得到的启发，非作者结论。

1. **将行为一致性作为通用 Agent 的失败预判信号迁移到专病预问诊**。可复用机制是：对同一输入执行多次随机推理，用语义编码器计算最终决策的跨运行一致性，作为“即将失败”的代理信号。适合迁移到专病预问诊中判断 Agent 是否已收集足够信息、是否应停止问诊并转人工。前提是任务输出可被语义编码器可靠表示，且多次推理的成本可接受。第一步最小验证实验：在现有预问诊数据集上对 50—100 例执行 N=5 次推理，计算诊断或转诊建议的一致性，与人工标注的“信息充分性”对比 AUC。建议观察一致性 AUC 是否超过 0.75，以及低一致性病例是否确实对应信息缺失。可能失败原因：预问诊输出可能是开放文本而非离散诊断，语义相似度阈值需要重新校准。

1. **将准确率—覆盖率分诊框架迁移到医疗多模态系统的证据冲突识别**。可复用原则是：不追求单一置信分数，而是用操作曲线评估门控信号在“保留多少病例”与“保留集准确率”之间的权衡。适合迁移到多模态系统中识别影像与文本证据冲突的场景。前提是存在可标注的“证据冲突”金标准。第一步最小验证实验：在含冲突标注的多模态病例集上，比较不同置信信号（如模态间一致性、跨运行一致性）的准确率—覆盖率曲线。建议观察在固定保留集准确率（如 95%）下哪种信号覆盖率更高。可能失败原因：多模态冲突的标注本身主观性强，金标准噪声会压低所有信号的判别上限。

1. **将扰动压力测试作为置信信号校准的通用检验迁移到通用 Agent 研发**。可复用实验原则是：通过移除接地证据制造性能崩溃，检验置信信号绝对值是否随性能下降而下降，而非仅看 AUC。适合迁移到任何声称具有“自知失败能力”的 Agent 系统。前提是任务中存在可移除的接地信息源。第一步最小验证实验：在检索增强问答 Agent 中移除检索结果，观察置信分数是否下降。建议观察 AUC 是否保持但绝对值是否下降，两者分离说明信号判别力与校准质量是不同维度。可能失败原因：某些任务移除接地后模型可能拒绝回答而非给出错误答案，导致性能崩溃模式不同。

1. **将医生裁决作为自动评估器的校准层迁移到医疗 Agent 评测流程**。可复用机制是：对自动评估器判定为错误的子集进行盲法医生裁决，区分“模型错误”与“基准标签局限”。适合迁移到任何使用 EHR 派生标签的医疗 Agent 评测。前提是有可用的临床专家资源。第一步最小验证实验：在现有评测的错误案例中随机抽样 30%，由两名医生独立判断 Agent 输出是否临床有效，计算与自动评估器的一致性。建议观察 Gwet's AC1 是否超过 0.80，以及“Agent 有效但标签无效”的比例。可能失败原因：医生裁决本身存在专业间差异，且回顾性判断与实时临床判断可能不同。