Skip to content

NCCT-CECT image synthesizers and their application to pulmonary vessel segmentation

Pang, Haowen; Qi, Shouliang; Wu, Yanan et al. · 2023 · Computer Methods and Programs in Biomedicine

Metadata

Authors: Pang, Haowen; Qi, Shouliang; Wu, Yanan; Wang, Meihuan; Li, Chen; Sun, Yu; Qian, Wei; Tang, Guoyan; Xu, Jiaxuan; Liang, Zhenyu; Chen, Rongchang

DOI: 10.1016/j.cmpb.2023.107389

摘要概述

本文针对平扫 CT（NCCT）与增强 CT（CECT）之间的双向图像合成及其在肺血管分割中的应用，提出了两个基于 3D Pix2Pix + 深度监督的 GAN 合成器：S1 由 NCCT 生成 SynCECT，S2 由 CECT 生成 SynNCCT。创新点在于三阶段训练流程——先以 LUNA16（888 例）做自监督学习（SSL）预训练 generator，再以 49 例双能 CT（DECT）的 VNCCT–CECT 配对做预训练以规避配准误差，最后以配准的 NCCT–CECT 对做微调。在自建 D1（40 例配对）测试集上，S1 与 S2 在 MAE、MSE、PSNR、SSIM 上全面优于 CycleGAN、Pix2Pix、Pix2PixHD。以肺血管分割为下游应用，提出 ST1（NCCT→SynCECT→Model-CECT）与 ST2（CECT→SynNCCT→Model-NCCT）两种策略；在 D1 上 nnUNet 基线下 ST1（SynCECT 输入 Model-CECT）DSC 达 0.86，而 Model-NCCT-Counter（直接用 NCCT 标注）仅 0.77；在 D2（非配对）上 ST2 反而更优。研究属单中心回顾性方法学验证，未涉及前瞻性临床终点、患者预后或安全性比较，临床外推受限于小样本与单一机型/人群，且未公开代码与数据。

临床问题与研究设计

  • PICO/PECO：P = 需要 CT 评估胸部疾病/肺血管但出于对比剂风险（过敏、严重肾功能不全、CI-AKI）或剂量考虑不宜或难以获得 CECT 的患者；I/E = 使用基于 GAN 的合成器由 NCCT 合成 CECT（或反向合成）；C = 真实 CECT（合成质量评估）或传统基于 NCCT 的直接标注训练（分割策略对照）；O = 合成图像保真度（MAE/MSE/PSNR/SSIM）与肺血管分割性能（DSC/IoU/TPR/FPR）。
  • 研究类型：diagnostic（诊断/图像合成方法学验证，含配对比较与消融实验，回顾性单中心影像数据）。
  • 注册与方案：未报告注册号；研究经 Northeastern University 伦理委员会批准，因回顾性免除知情同意，遵循 Declaration of Helsinki。方案偏离未报告。
  • 中心、时间与随访：D1 来自 General Hospital of the Northern Theater Command（沈阳），D3 来自 The First Affiliated Hospital of Guangzhou Medical University（广州），D2 来自 ISICDM 2021 Challenge 公开数据；采样时间段未报告；无随访（横断面影像分析）。定位见 §2.1 Image datasets（PDF p.2–3）。

研究人群与干预或暴露

  • 纳入与排除标准：纳入标准未以临床条目列示，仅按数据集用途描述——D1 为配对 NCCT–CECT，D2 为非配对 NCCT 与 CECT（来自 ISICDM 2021 Challenge），D3 为 DECT；排除标准未报告。定位见 §2.1（PDF p.2–3，Table 1）。
  • 样本量、基线特征与代表性：D1 40 例配对 CT（性别 28 男/12 女，年龄 47±15 岁，pixel spacing 0.7546±0.0466 mm，层厚 1.0 mm，血管标注 17 CECTs + 10 NCCTs）；D2 14 NCCTs + 14 CECTs（性别/年龄未报告，pixel spacing 0.7285±0.0622 mm，层厚 1.3125±0.2675 mm，全部含血管标注）；D3 49 DECTs（性别 23 男/26 女，年龄 59±14 岁，层厚 0.625 mm，无血管标注）。合计样本量小，且 D1/D3 为两家中国三甲医院数据，代表性受限。定位见 Table 1（PDF p.3）。
  • 干预、对照或暴露定义：暴露 = 经图像合成（S1/S2）或合成驱动的分割策略（ST1/ST2）；对照 = 在合成质量上对比 CycleGAN、Pix2Pix、Pix2PixHD（§2.6, Table 2）；在分割上对比 nnUNet 与 CoTr 两种 backbone，以及 Model-NCCT-Counter（直接用 NCCT 标注训练，§2.4, Table 5/6）。注册方法对比 affine alignment、SyN（ANTs）、Elastix（§2.3.3, Fig.5）。
  • 失访、交叉与依从性：不适用（横断面影像，无随访/依从性概念）；数据划分见 §2.5：S1/S2 用 24 训练 + 8 验证 + 8 测试（D1），分割按数据集分别划分。

终点与统计方法

  • Primary endpoint：合成图像保真度——MAE、MSE、PSNR、SSIM，仅限肺野内计算（Eq.5–8, §2.6, PDF p.5）。无时间窗（单次成像）。定位见 §2.6（PDF p.5）。
  • Secondary/safety endpoints：次要终点为肺血管分割性能——DSC、IoU、TPR、FPR（Eq.9–12, §2.6, PDF p.5），分别在 D1 与 D2 上报告（Table 5、Table 6）。安全性终点未设立（无对比剂实际给药、无患者预后）。
  • 效应量与模型：以均值±标准差报告 MAE/MSE/PSNR/SSIM（Table 2, Table 4）与 DSC/IoU/TPR/FPR（Table 5/6）；未报告 95% CI、未做假设检验或 p 值，比较仅以点估计与百分比变化描述（如"MAE 增加 23.15%"）。定位见 Table 2（PDF p.8）、Table 4（PDF p.9）、Table 5/6（PDF p.10）。
  • 缺失数据、多重比较、亚组与敏感性分析：未报告缺失数据处理；无多重比较校正；消融实验（移除 SSL / DECT / fine-tuning）作为敏感性分析（§3.3, Table 4）；未按性别、年龄、病种做亚组分析。

核心结果与证据

主要发现 1：S1/S2 在合成质量上全面优于 CycleGAN、Pix2Pix、Pix2PixHD

  • 临床结论：所提基于 3D Pix2Pix + 深度监督 + 三阶段训练的合成器，在 NCCT↔CECT 双向合成上均优于三个基线 GAN，支持其在无对比剂条件下生成高质量虚拟增强 CT 的可行性。
  • 证据定位：Table 2（PDF p.8）；Fig. 6（PDF p.8，合成示例）；Fig. 7（PDF p.9，HU 分布直方图）；§3.2 Performance of synthesizers and their counterparts。
  • 效应量：S1（NCCT→CECT）MAE 14.60±2.19、MSE 1644±890、PSNR 34.34±1.91、SSIM 0.94±0.02；S2（CECT→NCCT）MAE 12.52±2.59、MSE 1460±922、PSNR 35.08±2.35、SSIM 0.95±0.02。对比最优基线 Pix2Pix：S1 的 MAE 低约 4.9%（14.60 vs 15.35），MSE 低约 22.7%（1644 vs 2126）；S2 的 MAE 低约 4.4%（12.52 vs 13.10）。样本量 = 8 对测试（D1）。无 95% CI、无 p 值。
  • 临床意义：合成误差较基线降低，但绝对 MAE 仍约 12–15 HU，对于以 HU 阈值定诊（如肺栓塞 50–100 HU 增强阈值）的场景可能仍有诊断影响；作者未给出可接受临床误差范围，意义需下游验证。
  • 不确定性：仅 8 对测试样本，方差大（如 S1 MSE 1644±890）；无统计检验，优劣判断基于点估计；且与既往方法（Table 3, 如 [1] SSIM 0.842、[59] SSIM 0.995）因数据集不同不可直接横比。

主要发现 2：三阶段训练流程（SSL + DECT 预训练 + 微调）缺一不可

  • 临床结论：SSL 预训练、DECT 预训练与最终微调三者各自独立贡献合成质量，移除任一环节合成质量均显著下降，验证了在配对数据稀缺 + 配准误差下的数据高效训练范式。
  • 证据定位：Table 4（PDF p.9，消融结果）；§3.3 Ablation study on the training procedure。
  • 效应量：以 S1 完整流程（MAE 14.60）为参照——移除 SSL（"Pretraining + Fine tuning"行）MAE 升至 16.53（+13.22%）、MSE 2085（+26.82%）；移除 DECT（"SSL + Fine tuning"行）MAE 17.98（+23.15%）、MSE 2381（+44.83%）；移除 fine-tuning（"SSL + Pretraining"行）MAE 20.57（+40.89%）、MSE 3012（+83.21%）。S2 趋势一致。fine-tuning 贡献最大。
  • 临床意义：提示在临床真实场景中（配对 NCCT–CECT 稀缺且常因呼吸错配），可用 DECT 天然配对数据 + 公开 SSL 数据弥补小样本，对资源有限中心具有方法学参考价值。
  • 不确定性：消融仅报告点估计与百分比，无显著性检验；DECT 预训练的增益可能部分来自 VNCCT 与真实 NCCT 间 HU 分布差异的"意外正则化"，作者在 §4.3 承认 VNCCT、DECT、NCCT、单能 CT 间 HU 存在差异需靠微调纠正。

主要发现 3：ST1 策略（NCCT→SynCECT→Model-CECT）使肺血管分割 DSC 由 0.77 提升至 0.86

  • 临床结论：利用 S1 将 NCCT 转为 SynCECT 后输入 CECT 训练的分割模型，可显著优于直接在 NCCT 上标注训练的传统流程，验证了"跨模态合成迁移标注"的临床效用。
  • 证据定位：Table 5（PDF p.10，D1 上的 DSC/IoU/TPR/FPR）；§3.4 Performance of pulmonary vessel segmentation；Fig. 8（PDF p.11，分割示例）。
  • 效应量：D1 上 nnUNet 基线——Model-NCCT（NCCT 输入）DSC 0.77/IoU 0.63；Model-CECT（SynCECT 输入，即 ST1）DSC 0.86/IoU 0.75；Model-CECT（真实 CECT 输入）DSC 0.92；Model-NCCT-Counter（NCCT 输入，直接标注）DSC 0.77。CoTr 基线趋势相同（0.77/0.86/0.91/0.77）。即 ST1 较直接 NCCT 标注训练 DSC 绝对提升约 0.09。
  • 临床意义：在 NCCT 上肺血管与气道壁难区分导致标注易错，而 CECT 标注更准；ST1 借助合成器将 CECT 上的高质量标注迁移到 NCCT 推理，既省标注时间又提升精度，对临床工作流（如肺栓塞、COPD 血管定量）有潜在价值。
  • 不确定性：提升幅度依赖合成质量（ST1 在测试期合成，受 S1 误差影响）；在非配对 D2 上 ST1 反而劣于 ST2（Model-NCCT DSC 0.77 > Model-CECT 0.72，nnUNet），作者归因于合成误差累积或 CECT→NCCT 更易（§3.4）；测试集仅 2–3 例，方差未报告。

安全性、负结果与亚组

  • 安全性：本研究为影像合成方法学，不涉及对比剂实际给药或患者干预，故未设立安全性终点；作者在 §1（PDF p.2）引述对比剂相关风险文献（不良反应率高达 0.12、CI-AKI、过敏）作为合成 CECT 的临床动机，但未在本队列中量化。
  • 负结果：在非配对 D2 上 ST1（SynCECT→Model-CECT）DSC 0.72 低于 ST2（SynNCCT→Model-NCCT）DSC 0.77，与配对 D1 上 ST1 更优的结论相反；作者归因为合成误差或 CECT→NCCT 合成更易，但未做进一步验证（§3.4, Table 6, PDF p.10）。此外合成器无法识别夹层与栓塞，因训练集不含此类病例（§4.5）。
  • 亚组：未按性别、年龄、病种、机型做亚组分析；D1 与 D2 仅按数据集来源分别报告，未做正式的跨数据集统计比较。

关键图表

  • 图表定位：Table 2（GAN 基线对比，PDF p.8）、Table 4（消融，PDF p.9）、Table 5（D1 分割 DSC，PDF p.10）、Table 6（D2 分割 DSC，PDF p.10）、Fig. 5（配准方法对比，PDF p.7）、Fig. 6（合成示例，PDF p.8）、Fig. 7（HU 直方图，PDF p.9）、Fig. 8（D1 分割结果，PDF p.11）、Fig. 9（D2 分割结果，PDF p.11）。
  • 核心数字：S1 MAE 14.60±2.19 / SSIM 0.94±0.02；S2 MAE 12.52±2.59 / SSIM 0.95±0.02；ST1 在 D1 上 DSC 0.86（vs Model-NCCT-Counter 0.77）；消融移除 fine-tuning 后 S1 MAE 升至 20.57±3.75。
  • 阅读陷阱：Table 3 的跨研究对比（如与 [59] SSIM 0.995、[60] PSNR 48.30）所用数据集与预处理不同，作者明确指出"performance was not reproduced for the same dataset"，不可作为同口径优劣排序。Table 5/6 中 nnUNet 与 CoTr 两列的 DSC 高度接近（多处相同 0.77/0.86），需注意 backbone 差异并非本研究主要变量。

偏倚、局限与外部有效性

  • 选择、测量、混杂和报告偏倚：选择偏倚——D1/D3 为两家中国三甲医院便利样本，病种、机型未分层，未报告扫描参数与对比剂方案；测量偏倚——配准质量由影像科医师肉眼评估（§3.1），无量化指标，且图像相似度指标（MSE/NMI）被作者引文献指为不可靠的配准准确度代理；报告偏倚——仅报告最优 Elastix 配准 + 完整三阶段训练的结果，未给中间阶段完整分割下游表现。
  • 因果解释：部分成立。作为方法学验证，可声称"三阶段训练 + 深度监督 + 3D 卷积"是合成质量提升的原因（消融支持）；但不能据此推断合成 CECT 可替代真实 CECT 用于临床诊断，因无诊断准确性终点、无患者层面对照。
  • 适用患者：理论上适用于对比剂禁忌（严重肾功能不全、对比剂过敏）或需减少辐射剂量的患者，以及缺乏 CECT 标注的肺血管分割场景。
  • 不适用患者：需要识别夹层、栓塞等增强特异性征象的患者（合成器未训练此类病例，§4.5）；需要精确 HU 定量（如放疗剂量计算，§1 引 [8]）的患者，因合成 MAE 仍达 12–15 HU。
  • 与指南或标准治疗的关系：本次未核实——文中未引用任何关于合成 CT 用于临床诊断的指南或共识，研究定位为方法学预临床验证。

数据、代码与可复现性

  • 数据：D1（自建，未公开）、D3（自建，未公开）；D2 来自 ISICDM 2021 Challenge（[36–38], 公开但需申请）；SSL 预训练用 LUNA16（888 例，公开）。作者在 Table 3 说明因无法获取对比方法的源码与数据，跨研究复现不可行。
  • 代码：未提供——文中未给出公开仓库或 DOI；仅在 §2.6 说明环境为 Python 3.9.5 + PyTorch 1.9.0 + CentOS 7.9 + RTX 2080Ti。
  • 复现判断：部分可复现。三阶段训练流程、网络结构（3D U-Net generator + 5×5×5 卷积 discriminator）、损失函数（cGAN + L1, λ 可调）、超参（300 epochs, AdamW, lr 1e-3, cosine annealing）描述较详，理论可复现；但数据集（D1/D3）未公开、无代码仓库、且测试集仅 8 对（合成）/2–3 例（分割），结果方差大，定量复现困难。

个人批注

对当前课题的意义

本文展示了一条"跨模态图像合成 + 下游分割"的两阶段流水线范式，核心方法论贡献在于用 DECT 的天然配对（VNCCT–CECT）规避临床 NCCT–CECT 配准误差、用 SSL 缓解小样本——这一思路对任何受限于配对数据稀缺与对齐噪声的医学图像生成任务（不限 CT）都有参考价值。对临床侧，它提示合成增强 CT 在对比剂禁忌患者中的辅助分割价值，但因无诊断终点，尚不能作为诊断替代。

可复用的设计或统计方法

  1. 三阶段训练流程（SSL 公开数据预训练 → DECT 天然配对预训练 → 真实配对微调）可作为小样本医学图像生成任务的通用模板。
  2. 用 DECT 的 VNCCT–CECT 作为"无配准误差的代理配对"来预热 GAN，是规避临床配准噪声的巧思，可迁移到其他有 DECT 的模态对（如心脏、腹部）。
  3. 评估协议（肺野内 MAE/MSE/PSNR/SSIM + 下游 DSC/IoU/TPR/FPR + 消融）可作为图像合成驱动分割任务的标准评估骨架。
  4. 配准方法对比（affine / SyN / Elastix + 影像科医师肉眼复核）提示：图像相似度指标不可作为配准准确度代理，需结合人工质控。

疑问与后续动作

  • 疑问 1：合成 MAE 12–15 HU 在肺栓塞/结节血供定性上是否可接受？作者未给出临床可接受误差阈值。
  • 疑问 2：ST1 在 D1 优于 ST2、在 D2 反劣，是否源于 D2 非配对导致的训练分布偏移？需更大样本验证。
  • 后续动作：检索本文引用的 CyTran（[15]）与 DyeFreeNet（[12]）在更新数据集上的对比；核查是否有后续工作将扩散模型用于 NCCT↔CECT 合成（作者在 §4.5 指出扩散模型为未来方向）；评估该方法在冠脉 CTA 合成或其他血管床的可迁移性。

与上下文的关系

本文建立在

直接方法学上游包括：Pix2Pix（[14], Isola et al., 2017，本文 generator/discriminator 基础架构并扩展为 3D）、CycleGAN（[11], Zhu et al., 2017，基线对比）、Pix2PixHD（[57], Wang et al., 2018，基线对比）、3D U-Net（[41], Ronneberger et al., 2015，generator backbone）、Models Genesis（[45], Zhou et al., 2021，SSL 框架）、nnUNet（[42], Isensee et al., 2021，分割 baseline）、CoTr（[54], Xie et al., 2021，分割 baseline）、Elastix（[48]）与 ANTs/SyN（[47],[50]，配准工具）。临床动机上游引对比剂风险文献（[2] Hinson 急性肾损伤、[4] Hagan 对比剂过敏、[6] Davenport 肾病共识）。肺血管分割上游引 Gu [31]、Cui [32]、She [33]、Xu [34]、Guo [35] 等 CNN 方法。定位见 §1 与 References（PDF p.13–15）。

已核实的后续引用

本次未检索

同类临床证据对比

与同类的 NCCT↔CECT 合成工作对比（Table 3, PDF p.9）：Gu [1] 用 deep subtraction residual network 实现 CECT→NCCT，SSIM 0.842 / PSNR 31.80（数据 25,675 切片），本文 SynNCCT SSIM 0.95 / PSNR 35.08 更优但数据集不同不可同口径比较；Liu [12] DyeFreeNet SSIM 0.74 / PSNR 21.46（4,970 切片）；Choi [13] 3D Pix2Pix MAE 41.72 / SSIM 0.84（62 例）；Hu [5] Aorta-aware GAN MSE 2729.67 / PSNR 16.28（26 例）；Ristea [15] CyTran SynCECT SSIM 0.739 / SynNCCT SSIM 0.668（37,290 切片）；Xiao [59] U-Net + transformer SSIM 0.995 / PSNR 24.63（6,961 切片，SSIM 更高但 PSNR 低于本文）。本文的差异化在于双向合成 + 三阶段训练 + 深度监督的组合，且唯一报告了下游肺血管分割的端到端效果。需注意各研究 MAE/SSIM 的归一化方式（是否除以最大 HU）不同，数值横比存在陷阱。

与本地论文队列的关系

与本地论文队列中以下条目相关：

  • 2020-GAN-Biomedical-Lan — GAN 在生物医学信息学应用的综述，覆盖 Cycle-GAN 跨模态转换（MRI↔CT）与数据增强，本文为其在 NCCT↔CECT 方向的具体实例化。
  • 2020-ScIGANs-Single-Cell-Xu — 另一类 GAN 在生物医学（单细胞 RNA-seq 插补）的应用，与本文共享"GAN 用于数据稀缺/模态转换"的范式但领域不同。
  • 2023-AI-VulnerablePlaque-Foellmer — 心血管影像 AI 的 Roadmap，强调 trustworthy AI 与 RCT 验证缺口；本文恰处于其指出的"研究工具多、商用 RCT 验证为零"阶段，是其路线图的具体案例。

快速判断

  • 一句话结论：本文提出了两个基于生成对抗网络（GAN）的图像合成器 S₁ 和 S₂，分别实现从平扫 CT（NCCT）合成增强 CT（SynCECT）及反向合成（SynNCCT）。
  • 阅读范围：仅 metadata、first page、abstract、最多 3 个 figure/table captions 和 conclusion；未通读正文
  • 处理决定：保留参考
  • 决定理由：该文与数据驱动方法及其在生物医学问题中的适用性相关；受限材料足以保留研究线索，但不足以支持全文级方法或稳健性判断。

摘要概述

本文提出了两个基于生成对抗网络（GAN）的图像合成器 S₁ 和 S₂，分别实现从平扫 CT（NCCT）合成增强 CT（SynCECT）及反向合成（SynNCCT）。训练流程创新性地采用三阶段策略：先以自监督学习（SSL）预训练，再用双能 CT（DECT）预训练以规避配准误差，最后以配准的 NCCT-CECT 图像对微调。两个合成器在 MAE、MSE、PSNR、SSIM 指标上均优于 CycleGAN、Pix2Pix、Pix2PixHD 等基线方法。以肺血管分割为下游应用，设计了 ST₁（NCCT→SynCECT→CECT 分割模型）和 ST₂（CECT→SynNCCT→NCCT 分割模型）两种策略，在 D1 数据集上分别达到 DSC 0.77 和 0.86。消融实验表明 SSL、DECT 预训练和微调三个环节缺一不可，去掉任一环节合成质量均显著下降。

关键证据

  • 证据 1（定位）：Abstract
  • 展示或报告：本文提出了两个基于生成对抗网络（GAN）的图像合成器 S₁ 和 S₂，分别实现从平扫 CT（NCCT）合成增强 CT（SynCECT）及反向合成（SynNCCT）。训练流程创新性地采用三阶段策略：先以自监督学习（SSL）预训练，再用双能 CT（DECT）预训练以规避配准误差，最后以配准的 NCCT-CECT 图像对微调。
  • 支持的结论：本文提出了两个基于生成对抗网络（GAN）的图像合成器 S₁ 和 S₂，分别实现从平扫 CT（NCCT）合成增强 CT（SynCECT）及反向合成（SynNCCT）。
  • 注意事项：仅据受限 quick source；方法细节、完整定量结果与稳健性分析本次未核实。

局限与未核实项

  • 最大局限：当前仅完成 quick triage，不能据此确认正文中的全部实验、模型或统计假设。
  • 未核实项：完整方法、样本或参数设置、敏感性分析、局限讨论及数据与代码可用性。

与我的关联

  • 可复用点：文中的数据分析或机器学习流程可作为方法设计的候选参考；数据依赖、泛化性与实现细节本次未核实。
  • 关联的当前问题：该论文展示了"跨模态图像合成 + 下游分割"的两阶段流水线设计范式，其利用 DECT 预训练规避配准依赖的思路对医学图像生成任务中数据稀缺与对齐噪声问题有方法论参考价值。
  • 下一步动作：保留参考；仅在当前问题需要其完整方法或定量证据时升级为 deep note。