一种H&E染色显微图像驱动的质谱成像超分辨重构方法

一种h＆e染色显微图像驱动的质谱成像超分辨重构方法
技术领域
1.本发明涉及图像处理技术领域，尤其是涉及一种h＆e染色显微图像驱动的质谱成像超分辨重构方法。


背景技术：

2.质谱成像(msi)技术是一种免标记的高通量分析技术，可实现对生物样品的分子信息进行定性、定量和定位的高通量分析。近年来，msi技术逐渐成为药物开发、肿瘤异质性分析及与疾病有关的生物标志物筛查等研究中的重要分析手段。但由于其较低的空间分辨率和数据采集效率，很难达到单细胞水平的分辨率，从而限制msi技术在医学研究的深入应用。
3.以maldi-msi为例，由于激光扫描光斑、质谱仪器的灵敏度、移动平台的移动步长、数据采集速率等方面的限制，所获得的图像空间分辨率不高，通常分辨率在50～200μm之间。而哺乳动物的细胞直径约为1～20μm，很难利用maldi-msi技术进行单细胞水平的研究。鉴于单细胞水平的研究可以更可靠地揭示疾病的分子机制，识别不同的分子表型，促进靶向药物的开发，提升msi技术的空间分辨率是非常有意义的。
4.目前，提高msi技术空间分辨率主要通过两种方式：一是基于硬件的技术，但硬件的提升由于受物理条件限制，改进空间比较有限。二是融合其它模态的高分辨成像技术的超分辨方法。例如，raf van de plas等人通过构建苏木素-伊红(h＆e)染色显微图像与msi离子图像之间的多元线性回归模型，实现msi离子图像的超分辨重构。但存在一些局限性：首先，该方法利用msi离子图像对h＆e染色图像进行配准，但msi离子图像具有信息量少、信噪比低和空间分辨率低等特点，使得h＆e染色图像的配准误差较大；其次，该方法通过构建h＆e染色图像信息与msi离子图像信息之间的线性回归模型，对msi图像进行超分辨重构，但这种线性模型的泛化能力很差，使得msi的超分辨效果不理想。其他超分辨方法也存在一些问题，例如：技术结果依赖前期的图像配准，忽略了h＆e模态中的全局特征和纹理特征；或者，仅仅基于外部参考信息的方法可能产生与msi模态不同数据分布的结果，使得结果不可靠。因此，迫切需要一种更高效的超分辨技术，实现msi数据全面表征。
5.苏木素-伊红(h＆e)染色显微图像是较为成熟的组织学成像技术，也是临床病理学检查的常用方法。相较于msi数据，h＆e染色显微图像具有丰富的组织学解剖结构信息且空间分辨率较高。如果能结合msi内部信息和h＆e染色显微图像的外部信息，提高msi空间分辨率，不仅有利于医学观测，还有助于分析msi中包含的病理信息，对于临床诊断和疾病治疗有着重要意义。因此，开发以h＆e染色显微图像为驱动的msi超分辨技术具有重要的科学意义和实用价值。


技术实现要素：

6.本发明的目的在于针对现有技术存在的上述问题，提供利用深度学习建立端对端的深度神经网络，实现更好的超分辨重构性能，提高msi数据空间分辨能力的一种h＆e染色
显微图像驱动的质谱成像超分辨重构方法。
7.本发明将质谱成像(msi)原始数据进行谱峰对齐、谱峰提取、归一化、基线校正和压缩降维等预处理，得到msi的离子图像数据和降维数据；基于深度神经网络构建超分辨重构模型；将高分辨h＆e显微图像和msi降维数据作为输入，让模型进行自动配准和自监督学习，实现msi降维数据的超分辨重构；利用迁移学习实现msi离子图像的超分辨重构。
8.本发明包括如下步骤：
9.1)msi数据采集和预处理：利用质谱成像仪采集待分析组织切片在二维点阵上的质谱数据，对所获得的质谱数据预处理后，得到待分析组织切片的msi离子图像x；
10.2)h＆e染色显微图像分析：取待分析组织切片的一个相邻切片，进行清洗、苏木素染色、伊红染色、脱水透明、晾干封片、显微镜镜检，得到高分辨h＆e染色显微图像y；
11.3)msi数据压缩：对msi离子图像x的谱数据进行无监督压缩降维，得到待分析组织切片msi降维数据e；
12.4)超分辨重构模型的构建：构建基于深度神经网络的端到端超分辨重构模型设计模型的损失函数以及相应的模型优化器，对参数进行初始化；
13.5)降维数据超分辨重构模型的训练：超分辨重构模型自监督学习，得到待分析组织切片msi的降维数据e的超分辨重构图像s；
14.6)离子图像超分辨模型的迁移学习：将超分辨重构模型迁移到离子图像xi的超分辨模型中，利用迁移学习实现msi离子图像的超分辨重构。
15.在步骤1)中，所述msi数据采集和预处理的具体步骤包括：
16.①
对待分析样品进行冷冻切片，组织切片解冻后置于冷铟锡氧化物(ito)涂层显微镜载玻片上，并置于真空干燥器中干燥；
17.②
将干燥后的组织切片表面涂上基质，利用质谱成像仪沿着二维点阵方向采集组织切片各像素点的质谱信号；
18.③
对各像素点的质谱信号进行谱峰对齐、谱峰提取、归一化和基线校正等处理，得到待分析组织切片的msi离子图像数据x＝{xi,i＝1,2,
…
,i}。
19.在步骤2)中，所述h＆e染色显微图像分析的具体步骤包括：
20.①
选取msi分析切片的一个相邻组织切片，清洗切片后分别用苏木素(h)和伊红(e)对细胞核和细胞质进行染色；
21.②
对h＆e染色后的组织切片进行脱水透明、晾干和封片；
22.③
对处理后的h＆e染色切片进行显微镜镜检，采集高分辨的h＆e染色图像数据y。
23.在步骤5)中，所述降维数据超分辨模型的训练的具体步骤为：将msi降维数据e和高分辨h＆e染色显微图像y作为训练样本，让超分辨重构模型进行自监督学习，迭代更新模型参数直至损失函数收敛至最优值，得到待分析组织切片msi的降维数据e的超分辨重构图像s。
24.在步骤6)中，所述离子图像超分辨模型的迁移学习的具体方法为：将超分辨重构模型迁移到第i个离子图像xi的超分辨模型中；保持配准模块的参数不变；用离子图像xi和高分辨h＆e图像y训练的其它参数，得到超分辨的离子图像ri，实现组织切片的msi超分辨重构r＝{ri,i＝1,2,
…
,i}。
25.与现有技术相比，本发明的优势在于：
26.1、利用msi降维数据的超分辨图像对h＆e图像进行迭代配准，避免由于离子图像的信息量少、信噪比低和空间分辨率低等因素，影响h＆e图像的配准精度；
27.2、通过迁移学习实现单离子图像的超分辨重构，使得msi超分辨重构结果更鲁棒、更可靠；
28.3、本发明不仅适用于三维msi图像，也能通过迁移学习对msi离子图像进行超分辨重构。将h＆e染色显微图像替换为其它模态的高分辨医学图像，可以将质谱成像与其它模态的信息进行超分辨重构，进一步拓展msi技术在生物医学研究中的应用。
附图说明
29.图1为本发明的系统框架图。
30.图2为对msi降维数据eh×v×3实施本发明后的超分辨重构图及与raf van de plas方法的对比图。
31.图3为对离子图像(xi)h×v实施本发明后的超分辨重构图。
具体实施方式
32.为了使本发明的技术方案优点更加清楚，以下实施例将结合附图对本发明作进一步的说明。
33.本发明实施例包括以下步骤：
34.s1：将待分析的组织样品进行冷冻切片处理，解冻后，放在氧化铟锡(ito)涂层显微镜载玻片上，在真空干燥器中进行干燥等预处理，在干燥后的切片表面涂上基质，利用maldi-tof成像仪进行数据采集，经过基质辅助激光解析电离飞行时间质谱(maldi-tof)分析，得到原始msi数据；对原始的msi谱数据进行谱峰对齐、谱峰提取、归一化和基线校正预处理，在离子强度的10％分位数处，使用样条近似基线对它们进行基线校正，得到待分析组织切片的msi离子图像xh×v×i＝{(xi)h×v，i＝1，2，
…
，i}，其中，h和v分别为横向和纵向的像素点数，i为离子数，xi为第i个离子图像。
35.s2：取待分析组织切片的一个相邻切片进行清洗，分别用苏木素和伊红对切片的细胞核和细胞质进行染色，然后进行脱水、透明、晾干和封片处理，最后进行显微镜镜检，得到高分辨率的h＆e染色显微图像yh×v×3，其中，h和v分别为横向和纵向的像素点数。
36.s3：利用均匀流形逼近和投影(umap)方法，对获取的msi离子图像xh×v×i的谱数据进行压缩降维，得到msi的降维数据eh×v×3。
37.s4：构建基于深度神经网络的超分辨模型设计适当的损失函数采用适当的优化器。
38.s5：采用msi的降维数据eh×v×3和高分辨的h＆e染色显微图像yh×v×3作为训练样本，即超分辨模型的输入，让超分辨模型进行自监督学习，优化模型参数直至损失函数收敛到最优值，得到msi降维数据的超分辨图像sh×v×3。
39.s6：将超分辨模型迁移到离子图像xi(i＝1，2，
…
，i)的超分辨模型中，并保持配准模块的参数不变，用离子图像xi和高分辨h＆e染色图像yh×v×3训练模型的其它参数，得到超分辨的离子图像(ri)h×v，实现msi的超分辨重构r＝{ri，i＝1，2，
…
，i}。
40.以下给出具体实施例，具体步骤为：
41.1、样品制备和msi数据采集及预处理
42.(1)将组织样品进行冷冻切片(12μm厚)，解冻后安装在ito涂层显微镜载玻片上，并在真空干燥器中进行干燥(～2h)。
43.(2)在干燥后的切片表面涂上基质，使用flexcontrol 3.3软件在bruker autoflex speed tof质谱正线性模式上进行maldi-tof msi析，在1khz的重复频率下，每个点采集100次，分辨率为100μm，质荷比范围为：m/z 4500～m/z 14400。
44.(3)谱峰对齐：将原始的msi数据中，各个像素的离子谱峰与参考峰进行对齐，校正各离子峰的质荷比漂移。其中，将谱峰中与其他离子峰具有最高相关性的谱峰选作参考峰。
45.(4)谱峰提取：保留满足以下两个条件的谱峰，实现谱峰提取：一是谱峰的强度是噪声强度的两倍以上，其中，噪声强度通过中位数绝对偏差方法来确定；二是在10ppm的窗口内，该谱峰处于局部最大值。
46.(5)对各像素点上的谱数据进行归一化。
47.(6)在离子强度的10％分位数处，使用样条近似基线对它们进行基线校正，得到msi离子图像数据xh×v×i。
48.2、h＆e染色显微图像数据采集
49.(1)对msi分析切片的相邻切片进行清洗。
50.(2)分别用苏木素(h)和伊红(e)对细胞核和细胞质进行染色，对h＆e染色后的组织切片进行脱水透明、晾干和封片，对处理后的h＆e染色切片进行显微镜镜检，完成数据采集。其中，h＆e染色显微图像yh×v×3用mirax扫描仪获得，分辨率为5μm。
51.3、利用均匀流形逼近和投影(umap)对步骤1中获取的msi离子图像数据xh×v×i进行降维，得到msi降维数据eh×v×3。
52.4、构建基于深度神经网络的端对端的超分辨重构模型设计适当的损失函数选择适当的优化器并对参数进行初始化：
53.(1)构建基于stn的配准网络，以消除h＆e染色显微图像yh×v×3与msi降维数据eh×v×3间的位置偏移。
54.配准网络包含局部网络、网格生成器、采样器三部分。局部网络通过提取h＆e染色显微图像yh×v×3的特征学习变换参数θ。然后网格生成器利用θ对输入h＆e染色显微图像yh×v×3中的点进行采样变换，并利用插值方法生成配准后的h＆e染色图像其中，局部网络由2个卷积神经网络(cnn)模块、1个flatten层以及1个全连接模块组成，每个cnn模块由1个卷积核为3
×
3的2d cnn层、1个池化核为2
×
2的池化层、1个relu激活层组成；flatten层用于cnn与全连接层的过渡；全连接模块由1个节点为32的全连接层、1个relu激活层以及1个节点为6的全连接层组成。
55.(2)构建映射网络，基于配准后的h＆e染色图像映射生成msi预测图e
fh
×v×3。该转换网络由4个cnn模块构成，前三个cnn模块由1个卷积核为3
×
3的2d cnn层、1个批次归一化(bn)层、1个relu激活层组成，最后的cnn模块由1个卷积核为3
×
3的2d cnn层、1个bn层组成。
56.(3)构建融合网络，以h＆e染色图像和msi降维数据eh×v×3的空间特征为基
2080ti gpu来进行训练。
69.(8)把模型迁移到离子图像xi的超分辨模型中，并保持配准模块的参数不变；用离子图像xi和高分辨h＆e图像yh×v×3训练模型的其它参数，得到超分辨的离子图像(ri)h×v，实现msi的超分辨重构r＝{ri，i＝1，2，
…
，i}。
70.图1给出本发明的系统框架图。其中，yh×v×3为h＆e染色显微图像，为配准后的h＆e染色图像，e
fh
×v×3为基于配准后的h＆e染色图像映射生成的msi预测图，eh×v×3为msi降维数据，e
uh
×v×3为eh×v×3的上采样结果，zh×v×3为e
uh
×v×3和的融合结果，sh×v×3是eh×v×3的超分辨重构结果，(xi)h×v为第i个离子图像，为xi的上采样结果，(ri)h×v为xi的超分辨重构结果，r为msi离子图像x的超分辨重构结果。
71.根据本发明的实施例，对老鼠大脑的msi数据和h＆e染色显微图像进行超分辨重构，生成的图像在具有msi数据高分子信息的同时，也具有高分辨率的优势。图2为对msi降维数据eh×v×3实施本发明后的超分辨重构图及与rafvan de plas方法的对比图，结果说明相比raf van de plas的方法，本发明通过配准网络能够使得h＆e图像准确矫正，同时本发明通过神经网络实现非线性，并且超分辨重构结果与降维数据eh×v×3的空间结构趋于一致，滤除了h＆e染色图像中特有的特征，因此本发明能够实现更好的超分辨重构性能。图3为对离子图像(xi)h×v实施本发明后的超分辨重构图，结果说明本发明不仅仅适用于三维msi图像，也能通过迁移学习对msi离子图像进行超分辨重构。
72.综上，本发明开发一种h＆e染色显微图像驱动的质谱成像超分辨重构方法，利用深度学习建立端对端的深度神经网络，提高了msi数据的空间信息；利用msi降维数据的超分辨图像对h＆e图像进行迭代配准，避免由于离子图像的信息量少、信噪比低和空间分辨率低等因素，使得h＆e图像难于准确校正，造成msi超分辨重构的误差。此外，本发明通过迁移学习实现单离子图像的超分辨重构，使得msi超分辨重构结果更鲁棒、更可靠，并且将h＆e染色显微图像替换为其它模态的高分辨医学图像，可以将质谱成像与其它模态的信息进行超分辨重构，进一步拓展msi技术在生物医学研究中的应用。

技术特征：
1.一种h&e染色显微图像驱动的质谱成像超分辨重构方法，其特征在于包括如下步骤：1)msi数据采集和预处理：利用质谱成像仪采集待分析组织切片在二维点阵上的质谱数据，对所获得的质谱数据预处理后，得到待分析组织切片的msi离子图像x；2)h&e染色显微图像分析：取待分析组织切片的一个相邻切片，进行清洗、苏木素染色、伊红染色、脱水透明、晾干封片、显微镜镜检，得到高分辨h&e染色显微图像y；3)msi数据压缩：对msi离子图像x的谱数据进行无监督压缩降维，得到待分析组织切片msi降维数据e；4)超分辨重构模型的构建：构建基于深度神经网络的端到端超分辨重构模型设计模型的损失函数以及相应的模型优化器，对参数进行初始化；5)降维数据超分辨重构模型的训练：超分辨重构模型自监督学习，得到待分析组织切片msi的降维数据e的超分辨重构图像s；6)离子图像超分辨模型的迁移学习：将超分辨重构模型迁移到离子图像x
i
的超分辨模型中，利用迁移学习实现msi离子图像的超分辨重构。2.如权利要求1所述一种h&e染色显微图像驱动的质谱成像超分辨重构方法，其特征在于在步骤1)中，所述msi数据采集和预处理的具体步骤包括：
①
对待分析样品进行冷冻切片，组织切片解冻后置于冷铟锡氧化物(ito)涂层显微镜载玻片上，并置于真空干燥器中干燥；
②
将干燥后的组织切片表面涂上基质，利用质谱成像仪沿着二维点阵方向采集组织切片各像素点的质谱信号；
③
对各像素点的质谱信号进行谱峰对齐、谱峰提取、归一化和基线校正等处理，得到待分析组织切片的msi离子图像数据x＝{x
i
,i＝1,2,
…
,i}。3.如权利要求1所述一种h&e染色显微图像驱动的质谱成像超分辨重构方法，其特征在于在步骤2)中，所述h&e染色显微图像分析的具体步骤包括：
①
选取msi分析切片的一个相邻组织切片，清洗切片后分别用苏木素(h)和伊红(e)对细胞核和细胞质进行染色；
②
对h&e染色后的组织切片进行脱水透明、晾干和封片；
③
对处理后的h&e染色切片进行显微镜镜检，采集高分辨的h&e染色图像数据y。4.如权利要求1所述一种h&e染色显微图像驱动的质谱成像超分辨重构方法，其特征在于在步骤5)中，所述降维数据超分辨模型的训练的具体步骤为：将msi降维数据e和高分辨h&e染色显微图像y作为训练样本，让超分辨重构模型进行自监督学习，迭代更新模型参数直至损失函数收敛至最优值，得到待分析组织切片msi的降维数据e的超分辨重构图像s。5.如权利要求1所述一种h&e染色显微图像驱动的质谱成像超分辨重构方法，其特征在于在步骤6)中，所述离子图像超分辨模型的迁移学习的具体方法为：将超分辨重构模型迁移到第i个离子图像x
i
的超分辨模型中；保持配准模块的参数不变；用离子图像x
i
和高分辨h&e图像y训练的其它参数，得到超分辨的离子图像r
i
，实现组织切片的msi超分辨重构r＝{r
i
,i＝1,2,
…
,i}。

技术总结
一种H&E染色显微图像驱动的质谱成像超分辨重构方法，涉及图像处理。将MSI原始数据进行谱峰对齐、谱峰提取、归一化、基线校正和压缩降维等预处理，得到MSI的离子图像数据和降维数据；基于深度神经网络构建超分辨重构模型；将高分辨H&E显微图像和MSI降维数据作为输入，让模型自动配准和自监督学习，实现MSI降维数据的超分辨重构；利用迁移学习实现MSI离子图像的超分辨重构。利用MSI降维数据的超分辨图像对H&E图像进行迭代配准，避免由于单离子图像信息量少、信噪比低和空间分辨率低等因素造成H&E图像的矫正误差；将H&E染色显微图像替换为其它模态的高分辨医学图像，可实现其它模态驱动的质谱成像超分辨重构。动的质谱成像超分辨重构。动的质谱成像超分辨重构。


技术研发人员：董继扬 先后松 郭磊 朱晋宇
受保护的技术使用者：厦门大学
技术研发日：2022.06.24
技术公布日：2022/11/1