多模态数字病理图像（H&E 与多重荧光）配准方法探索进度报告1

Uncategorized
8.2k words

主题： 多模态数字病理图像（H&E 与多重荧光）配准方法探索进度报告

任务目标：

对齐不同染色模态下的小鼠肝脏组织切片图像，具体包括一张来自 3DHISTECH Pannoramic 扫描仪的 H&E 染色图像（.mrsx 格式）与一张多重荧光染色图像（源文件为 .tiff.tiff 格式，包含 7 个通道）。

想象一下，你有两张部分透明的地图，一张是显示城市轮廓和主干道的“地形图”（H&E苏木精通道，主要显示细胞核的形态），另一张是只标注了所有河流位置的“水文图”（DAPI通道，专门标记细胞核DNA）。这两张图描绘的是同一个区域，但因为是分开绘制的，当你把它们叠在一起时，会发现河流并没有恰好流经城市峡谷，而是有所偏移和旋转。

图像配准（Image Registration） 的任务，就是通过电脑自动地移动、旋转、缩放这张“水文图”，直到它与“地形图”上的对应结构完美重合。

由于涉及全玻片图像（Whole Slide Images, WSI）的巨大尺寸和专有文件格式的读取挑战，本阶段的工作重点首先聚焦于在选定的局部组织区域内探索并实现有效的配准策略，为后续的全玻片级别配准奠定技术基础。

研究方法与实施：

为了规避直接处理复杂 WSI 格式的难题，并控制计算资源，我首先采用数字病理图像处理软件（Imagescope 和 QuPath）提取了两张图像中高度重叠的局部区域。具体操作包括：

  1. 从 H&E 图像（.mrsx）中截取一块代表性组织区域，并导出为标准的 TIFF 格式图像（HCC0-1-HE-1.png）。

alt text

2.从多重荧光图像（.tiff.tiff），特别是聚焦于细胞核染色通道（根据元数据，该通道包含了与 H&E 苏木素染色相对应的细胞核信息，此处使用了导出后可正常显示的 JPG 格式， HCC0-1-IHC-1.jpg），截取与上述 H&E 区域高度对应的局部图像。

alt text

这些局部图像被用作后续配准算法的输入。我探索了两种主流的图像配准策略：

  1. 基于局部特征的配准 (Feature-Based Registration) 探索：

    • 原理： 该方法旨在通过识别两张图像中独特的局部模式（特征点），计算其特征描述符，然后在描述符空间中寻找最相似的匹配对。理想情况下，这些匹配对对应于两张图像中同一物理位置的结构。通过这些对应点，可以计算出将源图像映射到目标图像的最佳几何变换。

    • Python：

      • 我们编写 Python 代码，利用 OpenCV 库实现基于 SIFT (Scale-Invariant Feature Transform) 特征的配准流程。SIFT 因其对尺度和旋转的不变性，常被用于不同视角或模态的图像配准。

      • 首先，对 H&E 局部图像进行颜色解卷积，提取苏木素通道（反映细胞核分布）。荧光局部图像被转换为灰度图，作为代表细胞核信息的输入。

        alt text

      • 使用 cv2.SIFT_create 检测两张灰度图像中的关键点，并计算它们的 SIFT 描述符。

      • 使用 cv2.BFMatcher (Brute Force Matcher) 结合 KNN 算法在描述符空间中进行匹配，并应用比率测试（Ratio Test）筛选出初步的“好”匹配对。

      • 尝试使用 cv2.findHomography 函数结合 RANSAC (Random Sample Consensus) 算法，从筛选后的匹配对中估计一个鲁棒的单应性变换矩阵，同时剔除不符合该模型的“外点”。

      • 调试与输出： 输出显示，两张图像都成功加载（H&E 图像尺寸为 512x535 像素，荧光图像尺寸为 4551x4492 像素）并提取了特征点。经过比率测试后，从上千对潜在匹配中仅筛选出了 1 对符合条件的“好”匹配点。由于计算单应性变换至少需要 4 对对应点，因此配准过程在估计变换矩阵阶段因缺乏足够的有效输入而直接失败。

      alt text

    • Fiji ：

      • 考虑到可能是代码实现细节或库版本问题，我们进一步尝试在广泛用于生物医学图像处理的 Fiji (ImageJ) 软件中，使用其成熟的 SIFT 配准插件进行验证。

      • 我们按照 Fiji 官方推荐的步骤操作：首先使用 Plugins > Feature Extraction > Extract SIFT Correspondences 提取并匹配 SIFT 特征，然后使用 Plugins > Registration > Linear Stack Alignment with SIFT 应用这些匹配进行线性（通常是仿射）对齐。

      • 输出： Fiji 的 SIFT 插件输出了详细的匹配过程信息，与代码中的观察高度一致：

        1
        2
        3
        4
        5
        6
        Processing SIFT ... took 1165ms. 7006 features extracted.
        Processing SIFT ... took 148ms. 382 features extracted.
        Identifying correspondence candidates using brute force ... took 197ms. 52 potentially corresponding features identified.
        Filtering correspondence candidates by geometric consensus ... took 2ms. No correspondences found.
        Processing SIFT ... took 1000ms. 7006 features extracted.
        Done.

        尽管在两张图像中分别提取了 7006 和 382 个特征点，并找到了 52 对潜在匹配，但在进行几何一致性过滤后，没有找到任何一对有效的对应点（”No correspondences found”）。

      • 分析： Fiji 作为成熟的图像处理平台，其 SIFT 插件的失败结果进一步有力地证实了基于 SIFT 特征匹配的方法在当前这对 H&E 与荧光局部图像上确实难以奏效。问题根源不在于 SIFT 算法本身或实现细节，而在于两张图像的内在属性——不同染色模态导致的微观纹理差异过大，使得 SIFT 描述符不足以捕捉到在不同图像间具有一致几何关系的特征，即使少量描述符相似，其空间位置也无法用一个简单的线性变换（如仿射或单应性）来解释。

  2. 基于图像强度的配准 (Intensity-Based Registration)：

    • 原理： 与基于特征的方法不同，该方法不依赖于离散的特征点，而是直接利用图像的像素强度信息。它通过迭代地调整一个预设的几何变换模型的参数（例如平移、旋转、缩放、透视），寻找能够最大化两张图像（源图像变换后与目标图像）之间相似性度量（如增强相关性系数 ECC）的变换参数。

      宏观结构（如组织边界、血管轮廓、大的细胞团块）会在图像中形成显著的像素强度对比和梯度变化区域。如果这些宏观结构在两张图像中都能清晰可见，并且它们形成的强度模式具有一定的相似性，基于强度的算法可能能够利用这些信息进行对齐。可以说它间接利用了宏观结构，因为它处理的是构成这些结构的像素信息。

    • 实施： 我们使用了 OpenCV 库提供的 findTransformECC 函数。为了全面评估该方法在不同形变假设下的性能，我们系统地尝试了多种运动模型，包括：

      • cv2.MOTION_TRANSLATION (仅平移)
      • cv2.MOTION_EUCLIDEAN (平移 + 旋转)
      • cv2.MOTION_AFFINE (平移 + 旋转 + 缩放 + 剪切)
      • cv2.MOTION_HOMOGRAPHY (仿射 + 透视)

    • 输入图像为经过预处理的 H&E 苏木素通道和荧光灰度图。预处理步骤包括直方图均衡化（增强对比度）和高斯模糊（减少噪声），以希望提高算法收敛性。

    • 系统性地尝试了 TRANSLATION, EUCLIDEAN, AFFINE, HOMOGRAPHY 四种运动模型，试图探索不同复杂度的形变模型是否能找到有效的对齐。

    • 分析：两张图像在像素强度层面的局部变化模式仍然存在显著差异，不足以驱动 ECC 算法通过迭代优化找到有效的对齐。预处理（直方图均衡化、高斯模糊）未能弥合这种根本性的模态差异。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    44
    45
    46
    47
    48
    49
    50
    51
    52
    53
    54
    55
    56
    57
    2025-06-26 20:23:07,716 - INFO - 开始增强的图像配准程序
    2025-06-26 20:23:07,717 - INFO - 输出目录: output_patch_registration_enhanced
    2025-06-26 20:23:07,717 - INFO - ==================================================
    2025-06-26 20:23:07,717 - INFO - 步骤 1: 加载图像
    2025-06-26 20:23:07,718 - INFO - 加载 H&E 图像: F:/BaiduNetdiskDownload/HCC0-1/HCC0-1-HE-1.png
    2025-06-26 20:23:07,748 - INFO - H&E RGB 统计信息:
    2025-06-26 20:23:07,748 - INFO -   形状: (512, 535, 3), 类型: uint8
    2025-06-26 20:23:07,748 - INFO -   均值: 204.676, 标准差: 49.826
    2025-06-26 20:23:07,749 - INFO -   范围: [0.000, 255.000]
    2025-06-26 20:23:07,749 - INFO - 加载荧光图像: F:/BaiduNetdiskDownload/HCC0-1/HCC0-1-IHC-3.jpg
    2025-06-26 20:23:07,754 - INFO - 荧光灰度 统计信息:
    2025-06-26 20:23:07,754 - INFO -   形状: (569, 562), 类型: uint8
    2025-06-26 20:23:07,755 - INFO -   均值: 79.511, 标准差: 62.615
    2025-06-26 20:23:07,755 - INFO -   范围: [0.000, 255.000]
    2025-06-26 20:23:07,755 - INFO - ==================================================
    2025-06-26 20:23:07,756 - INFO - 步骤 2: 图像预处理
    2025-06-26 20:23:07,756 - INFO - 开始H&E颜色解卷积处理...
    2025-06-26 20:23:07,771 - INFO - 染色矩阵 ruifrok: 苏木素OD范围 [0.000, 0.150]
    2025-06-26 20:23:07,780 - INFO - 保存调试图像: output_patch_registration_enhanced\debug_he_hematoxylin_ruifrok.png
    2025-06-26 20:23:07,791 - INFO - 染色矩阵 macenko: 苏木素OD范围 [0.000, 0.154]
    2025-06-26 20:23:07,800 - INFO - 保存调试图像: output_patch_registration_enhanced\debug_he_hematoxylin_macenko.png
    2025-06-26 20:23:07,801 - INFO - H&E解卷积完成，返回形状: (512, 535)
    2025-06-26 20:23:07,802 - INFO - 应用直方图均衡化
    2025-06-26 20:23:07,804 - INFO - 应用高斯模糊，核大小: 3
    2025-06-26 20:23:07,806 - INFO - 应用直方图均衡化
    2025-06-26 20:23:07,806 - INFO - 应用高斯模糊，核大小: 3
    2025-06-26 20:23:07,809 - INFO - 预处理后H&E 统计信息:
    2025-06-26 20:23:07,810 - INFO -   形状: (512, 535), 类型: float32
    2025-06-26 20:23:07,810 - INFO -   均值: 133.401, 标准差: 71.034
    2025-06-26 20:23:07,810 - INFO -   范围: [1.000, 255.000]
    2025-06-26 20:23:07,811 - INFO - 预处理后荧光 统计信息:
    2025-06-26 20:23:07,811 - INFO -   形状: (569, 562), 类型: float32
    2025-06-26 20:23:07,812 - INFO -   均值: 128.171, 标准差: 69.131
    2025-06-26 20:23:07,812 - INFO -   范围: [0.000, 255.000]
    2025-06-26 20:23:07,818 - INFO - 预处理图像已保存
    2025-06-26 20:23:07,818 - INFO - ==================================================
    2025-06-26 20:23:07,819 - INFO - 步骤 3: 执行图像配准
    2025-06-26 20:23:07,819 - INFO - 尝试多种运动模型进行配准...
    2025-06-26 20:23:07,819 - INFO - 开始 TRANSLATION 配准...
    2025-06-26 20:23:07,839 - ERROR - TRANSLATION 配准失败: OpenCV(4.10.0) D:\a\opencv-python\opencv-python\opencv\modules\video\src\ecc.cpp:589: error: (-7:Iterations do not converge) The algorithm stopped before its convergence. The correlation is going to be minimized. Images may be uncorrelated or non-overlapped in function 'cv::findTransformECC'

    2025-06-26 20:23:07,839 - INFO - 失败耗时: 0.02秒
    2025-06-26 20:23:07,840 - INFO - 开始 EUCLIDEAN 配准...
    2025-06-26 20:23:07,852 - ERROR - EUCLIDEAN 配准失败: OpenCV(4.10.0) D:\a\opencv-python\opencv-python\opencv\modules\video\src\ecc.cpp:589: error: (-7:Iterations do not converge) The algorithm stopped before its convergence. The correlation is going to be minimized. Images may be uncorrelated or non-overlapped in function 'cv::findTransformECC'

    2025-06-26 20:23:07,852 - INFO - 失败耗时: 0.01秒
    2025-06-26 20:23:07,853 - INFO - 开始 AFFINE 配准...
    2025-06-26 20:23:07,868 - ERROR - AFFINE 配准失败: OpenCV(4.10.0) D:\a\opencv-python\opencv-python\opencv\modules\video\src\ecc.cpp:589: error: (-7:Iterations do not converge) The algorithm stopped before its convergence. The correlation is going to be minimized. Images may be uncorrelated or non-overlapped in function 'cv::findTransformECC'

    2025-06-26 20:23:07,868 - INFO - 失败耗时: 0.01秒
    2025-06-26 20:23:07,869 - INFO - 开始 HOMOGRAPHY 配准...
    2025-06-26 20:23:07,893 - ERROR - HOMOGRAPHY 配准失败: OpenCV(4.10.0) D:\a\opencv-python\opencv-python\opencv\modules\video\src\ecc.cpp:589: error: (-7:Iterations do not converge) The algorithm stopped before its convergence. The correlation is going to be minimized. Images may be uncorrelated or non-overlapped in function 'cv::findTransformECC'

    2025-06-26 20:23:07,894 - INFO - 失败耗时: 0.02秒
    2025-06-26 20:23:07,894 - ERROR - 所有运动模型配准均失败
    2025-06-26 20:23:07,894 - ERROR - 所有配准方法均失败

结果与分析：

尽管我们采用了多种策略并进行了代码增强，当前阶段在所选取的局部图像上实现自动配准的尝试尚未取得成功：

  1. 基于局部特征的配准结果：
    • 在两张局部图像中均成功检测到大量 SIFT 特征点（分别为 3544 和 2793 个特征点）。
    • 初步的描述符匹配识别出 88 对潜在的对应特征。
    • 然而，在进行几何一致性筛选后，未能找到任何一对符合全局几何变换模型的内点（”No correspondences found”）。
    • 分析： 这一结果与我们肉眼观察到的现象吻合——H&E 和荧光图像虽然是同一组织区域，但细胞核在两种染色模态下的微观形态差异显著，导致基于局部纹理的 SIFT 描述符不足以建立可靠的对应关系。即使找到少量描述符相似的特征点，它们在两张图像中的空间分布也缺乏整体的一致性，无法用一个简单的几何变换解释。
  2. 基于图像强度的配准（ECC）结果：
    • 我们系统地尝试了 TRANSLATION, EUCLIDEAN, AFFINE 和 HOMOGRAPHY 四种运动模型进行 ECC 配准。
    • 遗憾的是，所有尝试均未能收敛到有效的变换矩阵，并报告了 (-7:Iterations do not converge) 错误，提示 “Images may be uncorrelated or non-overlapped”。
    • 分析： 尽管使用了 H&E 苏木素通道和荧光灰度图（理论上都突出细胞核），并尝试了直方图均衡化和高斯模糊预处理，两张图像之间的像素强度相关性仍然不足以驱动 ECC 算法收敛。这可能的原因包括：
      • 两张图像的像素强度分布和纹理模式在局部区域差异较大，即使是细胞核，其在 H&E 灰度图和荧光灰度图中的具体像素值变化模式可能差异显著。
      • 虽然整体形状相似，但如果局部存在复杂的非线性形变，超出了 HOMOGRAPHY 模型的表达能力，ECC 也难以找到合适的变换。
      • 所选取的局部区域在像素强度层面可能缺乏足够的、在两张图像中都能稳定对应的变化模式。

下一步计划：

鉴于自动特征匹配和基于强度的 ECC 方法在当前局部图像上均遭遇困难，但我们观察到两张切片的整体形态是相似的，我们将调整策略，重点探索利用宏观结构信息进行配准：

探索基于手动标记点的配准 (Manual Landmark-Based Registration)： 利用我们肉眼识别两张图像中共同宏观结构（如血管分支、组织边界、大的细胞团块边缘等）的能力，在两张图像中手动选取至少四对对应的点。

  • 方法： 可以借助专业的图像处理软件如 ImageJ/Fiji 或 QuPath 的手动标记点功能，导出对应点的坐标。然后使用这些坐标点，通过 cv2.findHomography 或 cv2.getAffineTransform 在 Python 中计算变换矩阵。
  • 优势： 这种方法不受模态差异导致的微观纹理不匹配影响，直接利用了可靠的宏观对应信息，有望获得更准确的初始对齐。
Comments