1.本发明涉及图像处理的技术领域，尤其是涉及荧光图像处理模型训练方法及荧光图像处理方法。
背景技术：2.绝大部分的光学显微镜具有各向异性的三维分辨率，其轴向分辨率一般是比横向分辨率差2-3倍。各向异性的光学分辨率会导致物体三维重建时在轴向上出现模糊的伪影，影响其三维结构的精准分析和测量。为了提升三维成像的轴向分辨率，早期的很多方法是从硬件上进行改良，如多视角光片显微镜，共聚焦4pi显微镜等，但这些方法依赖精心校准的光路以及复杂昂贵的器件，导致其适用性不高。
3.随着计算机视觉以及深度学习的发展，有一些方法尝试使用神经网络来实现轴向分辨率的提升。由于三维图像的横向数据和轴向数据是天然不对应的，这给监督型网络的训练带来了困难。因此他们采用合成数据的方法，通过对成像过程进行物理建模，将横向数据降质到和轴向数据相接近，然后利用合成的配对数据训练神经网络，最后将该网络应用于真实的轴向数据上。这种方法的缺陷在于模型的性能十分依赖于建模的性能，并且建模过程也只是对真实场景的一种模拟，其不可避免的会和真实的情况产生偏差，因此会导致训练出来的模型在真实场景中的应用性能受限。
技术实现要素：4.本发明为了克服上述技术不足，提出了荧光图像处理模型训练方法及荧光图像处理方法，该方法无需金标准训练数据，也不需要对成像过程进行复杂的物理建模，极大的提升了模型性能和适用性，可以有效的恢复各类荧光成像的三维数据。
5.为实现上述目的，本发明公开了一种荧光图像处理模型训练方法，具体包括如下步骤：
6.搭建无监督神经网络模型，所述无监督神经网络模型包括图像转换模块和图像恢复模块，所述图像转换模块用于非配对地学习图像的真实降质过程，所述图像恢复模块用于学习图像的分辨率提升过程；
7.获取样本的三维荧光图像，制作非配对的训练数据集；
8.设置训练参数，以最小化损失函数为目标训练无监督神经网络模型，获得荧光图像处理模型。
9.上述技术方案中，由于三维荧光图像的横向数据和轴向数据是天然不对应的，采用无监督网络模型对非配对的训练数据集进行训练，其中，图像转换模块可以非配对地学习横向数据到轴向数据的真实降质过程，然后利用图像恢复模块学习图像的分辨率提升过程，因此，该无监督神经网络模型可以直接学习到真实数据的分布特征，而无需对成像过程进行建模估计，避免了因建模误差而导致的模型性能下降问题，获得的荧光图像处理模型可以适用于无法形成配对训练集的荧光图像的处理。
10.本发明还公开了一种荧光图像处理方法，包括：
11.获取待处理的三维荧光图像；
12.将所述待处理的三维荧光图像进行切片，然后利用前述的荧光图像处理模型进行处理，获得轴向分辨率提升的三维荧光图像。
13.本方法基于前述的荧光图像处理模型实现，可以从算法层面上实现了荧光图像三维数据的轴向分辨率提升，克服了硬件条件的制约，其性能和适用性都要优于已有的神经网络方法。
附图说明
14.图1是一种荧光图像处理模型训练方法的流程图。
15.图2是无监督神经网络模型的训练流程图。
16.图3是一种荧光图像处理方法的流程图
17.图4是应用本技术处理方法提升三维荧光图像轴向分辨率的效果对比图。
具体实施方式
18.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
19.本发明的基于无监督深度学习的荧光图像轴向分辨率提升方法无需配对的训练数据，也不需要对成像过程进行复杂的物理建模，极大的提升了模型性能和适用性，可以有效的恢复各类荧光成像的三维数据。
20.如图1所示，本发明提出一种荧光图像处理模型训练方法，包括以下步骤：
21.s101，搭建无监督神经网络模型，所述无监督神经网络模型包括图像转换模块和图像恢复模块，所述图像转换模块用于非配对地学习图像的真实降质过程，所述图像恢复模块用于学习图像的分辨率提升过程；
22.s102，获取样本的三维荧光图像，制作非配对的训练数据集；
23.s103，设置训练参数，使用非配对的训练数据集，以最小化损失函数为目标训练无监督神经网络模型，获得荧光图像处理模型。
24.具体地，s101中图像转换模块为基于生成对抗网络的图像转换模块，包含两个结构相同的生成网络ga、gb和两个结构相同的判别网络da、db。生成网络ga、gb的结构可以是带有残差连接的残差神经网络或含有降采样路径和升采样路径的u型网络；判别网络da、db均为由多个卷积层串联组成的卷积神经网络。
25.s101中图像恢复模块为基于卷积神经网络的图像恢复模块h，其结构可以是带有残差连接的残差神经网络或是含有降采样路径和升采样路径的u型网络。
26.具体地，s102制作训练数据集具体包括：
27.将获取的三维荧光图像分别沿横向和轴向进行切片，获得其横向切面和轴向切面，横向切面即横向高分辨数据x；
28.将横向高分辨数据x沿着图像的列方向先降采样，再升采样，获得横向低分辨数据y，将所述轴向切面沿着图像的列方向进行升采样，获得轴向低分辨数据z；
29.将横向高分辨数据x、横向低分辨数据y和轴向低分辨数据z进行拆分，形成一系列尺寸相同的非配对图像块。
30.其中横向高分辨数据x和横向低分辨数据y中的图像块像素一一对应，横向高分辨数据x和轴向低分辨数据z中的图像块像素不对应，横向低分辨数据y和轴向低分辨数据z中的图像块像素不对应。
31.s102获取的三维荧光图像利用荧光显微镜获得。由于这类显微光学成像下，物镜的收光孔径角无法达到90度，这是天然存在的物理限制，因此，这一限制会导致物镜轴向接收的空间频率要远小于横向的空间频率，因此轴向的图像分辨率要比横向差。在三维采集过程中，同一物体轴向上的图像内容和横向上的图像内容是完全不对应的，这意味着s102中制作的训练数据集虽然能同时获得高低分辨率的图像，但它们是非配对的，因此无法应用常规的监督型神经网络进行训练，而需采用本技术的方法对无监督神经网络模型进行训练。
32.具体地，横向切面和轴向切面直接从采集的三维荧光图像中获得。而由于横向和轴向的采样率一般不相等，因此需要对所有的轴向切面沿着列方向插值升采样，使其像素分辨率和横向高分辨数据x一致，从而获得轴向低分辨数据z，而横向低分辨数据y则由横向高分辨数据x按一定的倍率沿着图像的列方向先降采样，再升采样获得，使横向低分辨数据y的像素分辨率和横向高分辨数据x一致。假设显微镜的横向采样率为a，轴向采样率为b，那么其升采样倍率为b/a。轴向低分辨数据z由直接采集的三维荧光图像的轴向切面按b/a倍率沿着图像的列方向升采样获得，横向低分辨数据y由横向高分辨数据x按一定的倍率沿着图像的列方向先降采样再升采样获得，降采样和升采样倍率均为b/a。s2还包括将x，y，z中的数据进行拆分，形成一系列尺寸为64
×
64的图像块。
33.在一些实施例中，本发明选择利用荧光显微光学切片断层成像系统，以0.32
×
0.32
×
2μm的采样率获取小鼠肝脏的三维荧光图像。选择其中1600
×
1600
×
256体素(对应实际大小为512
×
512
×
512μm)的三维数据块制作训练数据集。将该数据块分为横向和轴向两部分，横向数据为256张1600
×
1600像素大小的图像，对应分辨率为0.32
×
0.32μm，构成横向高分辨数据x。将x的所有图像沿着列方向降采样，降采样倍率为2/0.32，获得256张1600
×
256像素的图像。紧接着，将该图像沿着列方向插值升采样2/0.32倍，获得256张1600
×
1600的低分辨图像，构成横向低分辨数据y。轴向数据为1600张1600
×
256像素大小的图像，对应分辨率为0.32
×
2μm。将轴向图像沿着列方向进行插值升采样，升采样倍率为2/0.32，得到1600张1600
×
1600像素大小的图像，构成轴向低分辨数据z。最后将x，y，z中的图像数据进行拆分，形成一系列尺寸为64
×
64大小的图像块。其中x和y数据集中的图像块是像素一一对应的，x和z以及y和z中的图像块都是像素不对应的。
34.如图2所示，s103中训练时，在每个迭代优化周期内，先优化所述图像转换模块，然后再优化所述图像恢复模块，且所述图像转换模块以循环一致的方式进行训练。即，s103中无监督神经网络模型的训练包含图像转换模块和图像恢复模块的交替优化。图像转换模块由基于循环一致的生成对抗网络组成，以循环一致的方式进行训练，即横向低分辨数据y经过生成器ga和gb后，需要和其自身一致，并且轴向低分辨数据z经过gb和ga后需要和自身一致。其中，ga负责将横向低分辨数据y中的图像块yi转换为轴向低分辨数据z中的图像块zi。而gb负责将轴向低分辨数据z中的图像块zi转换为横向低分辨数据y中的图像块yi。判别器
da负责区分真实图像块zi和网络生成的图像块ga(yi)，判别器db负责区分真实图像块yi和网络生成的图像块gb(zi)，由于本技术使用的是非配对的训练数据集进行学习，因此图像转换模块用于非配对地学习横向低分辨数据y到轴向低分辨数据z的真实降质过程。
35.在实现循环一致训练时，以最小化损失函数为目标，s3中的损失函数l包括，循环一致损失l
cycle
，生成对抗损失l
gan
，内容损失l
con
，和反馈损失l
feed
，即：
36.l＝l
cycle
+λl
gan
+ρl
con
+σl
feed
ꢀꢀꢀ
(1)
37.其中λ，ρ和σ分别表示生成对抗损失l
gan
，内容损失l
con
，和反馈损失l
feed
所占的权重，λ∈(0，1]，ρ∈(0，10]和σ∈(0，1]。
38.循环一致损失l
cycle
定义为：
[0039][0040]
其中yi，zi分别表示横向低分辨数据y和轴向低分辨数据z中的图像块，n为图像块的总数，其目的是保证图像转换过程中结构的一致性。
[0041]
为了防止网络学习到恒等映射，引入了生成对抗损失来强制生成器ga和gb生成对应图像数据中的图像块。生成对抗损失l
gan
由生成损失l
gen
和对抗损失l
dis
组成：
[0042]
l
gan
＝l
gen
+l
dis
ꢀꢀꢀ
(3)
[0043]
l
gen
表示生成损失，l
dis
表示对抗损失，其中生成损失l
gen
定义为：
[0044][0045]
对抗损失l
dis
定义为：
[0046][0047]
图像恢复模块由基于残差连接的卷积神经网络h构成，负责将轴向低分辨图像块zi恢复成横向高分辨图像块xi，即学习轴向低分辨数据z到横向高分辨数据x的映射。由于xi和zi也是像素不对应的，无法直接训练学习。而xi和yi是像素对应的，因此本技术利用图像转换模块训练的生成网络ga将yi转换为轴向低分辨数据z中的图像这时xi和是像素对应的，具体地，可以通过最小化内容损失l
con
进行训练。内容损失定义为：
[0048][0049]
其中xi表示横向高分辨数据x中的图像块，表示冻结权重后的生成网络ga。
[0050]
图像恢复模块的训练效果可以对图像转换模块形成反馈，因此引入了反馈损失，来让生成网络ga更好的学习横向低分辨数据y到轴向低分辨数据z的映射。反馈损失l
feed
定义为：
[0051]
[0052]
更具体地，由于总的损失函数由这四部分损失函数按一定的权重进行组合：
[0053]
l＝l
cycle
+λl
gan
+ρl
con
+σl
feed
ꢀꢀꢀ
(1)
[0054]
在一些实施例中，可以取λ＝0.1，ρ＝1和σ＝0.1。s103中设置的训练参数具体可以选择：最小化损失函数的优化器选用adam优化方法，初始学习率为0.0001，每经过15轮迭代，学习率衰减一半，总共训练60轮，最终获得训练后的无监督神经网络模型。
[0055]
如图3所示，本发明还提出一种荧光图像处理方法，包括：
[0056]
s201，获取待处理的三维荧光图像；
[0057]
s202，将待处理的三维荧光图像进行切片，然后利用前述的荧光图像处理模型进行处理，获得轴向分辨率提升的三维荧光图像。
[0058]
具体地，将所述待处理的三维荧光图像进行切片，包括：
[0059]
将待处理的三维荧光图像沿着x方向和y方向进行重切片，获得xz和yz两个方向的轴向切面；然后将xz和yz两个方向的轴向切面依次输入到荧光图像处理模型中的图像恢复模块h中，得到轴向分辨率提高的xz和yz切面图；最后将这两个方向的切面图重切片回原始的xy方向，并进行平均，最终获得轴向分辨率提升的三维荧光图像。
[0060]
在一些实施例中，任意选择小鼠肝脏三维图像中一块800
×
1000
×
100体素的数据块(包含100张800
×
1000像素大小的横向图像)，体素分辨率0.32
×
0.32
×
2μm，三维荧光图像数据块对应实际大小为256
×
320
×
200μm。将该三维荧光图像数据块分别沿着x和y方向进行重切片，获得xz和yz两个方向的轴向切面数据块。xz方向的轴向切面数据块包含1000张800
×
100像素大小的轴向低分辨图像，yz方向的轴向切面数据块包含800张1000
×
100像素大小的轴向低分辨图像。将xz和yz三维荧光图像数据块中的每一张轴向图像沿着列方向升采样2/0.32倍，分别得到1000张800
×
625像素大小的轴向低分辨图像，和800张1000
×
625像素大小的轴向低分辨图像。将这些轴向低分辨图像依次输入到步骤s3中训练好的图像恢复模块h中，分别获得xz方向1000张800
×
625像素大小的轴向高分辨图像以及yz方向800张1000
×
625像素大小的轴向高分辨图像。将这两个方向的数据块重切片，还原到xy方向，得到两个大小为800
×
1000
×
625体素的数据块，数据块的体素分辨率提升到0.32
×
0.32
×
0.32μm。将这两个数据块算术平均，最终得到轴向分辨率提升的三维荧光图像数据。
[0061]
图4展示了恢复前(左)和恢复后(右)的轴向图像，可以从视觉上明显看出，恢复前的肝脏轴向图像十分模糊，脉管结构难以分辨。经过恢复后的轴向图像分辨率有了很大提升，原来模糊的伪影得到去除，高频的图像细节得以恢复，脉管结构变得清晰锐利。采用该方法对三维荧光图像数据的轴向分辨率进行提升可以极大帮助我们对三维荧光图像进行精细的形态解析。
[0062]
以上所述本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。
技术特征：1.一种荧光图像处理模型训练方法，其特征在于，包括如下步骤：搭建无监督神经网络模型，所述无监督神经网络模型包括图像转换模块和图像恢复模块，所述图像转换模块用于非配对地学习图像的真实降质过程，所述图像恢复模块用于学习图像的分辨率提升过程；获取样本的三维荧光图像，制作非配对的训练数据集；设置训练参数，使用非配对的训练数据集，以最小化损失函数为目标训练所述无监督神经网络模型，获得荧光图像处理模型。2.根据权利要求1所述的训练方法，其特征在于，所述图像转换模块为基于生成对抗网络的图像转换模块，包含两个结构相同的生成网络g
a
、g
b
和两个结构相同的判别网络d
a
、d
b
；生成网络的结构是带有残差连接的残差神经网络或含有降采样路径和升采样路径的u型网络；判别网络的结构是由多个卷积层串联组成的卷积神经网络。3.根据权利要求2所述的训练方法，其特征在于，所述图像恢复模块为基于卷积神经网络的图像恢复模块h，结构是带有残差连接的残差神经网络或含有降采样路径和升采样路径的u型网络。4.根据权利要求1所述的训练方法，其特征在于，制作所述非配对的训练数据集具体包括：将获取的三维荧光图像分别沿横向和轴向进行切片，获得其横向切面和轴向切面，所述横向切面即横向高分辨数据x；将所述横向高分辨数据x沿着图像的列方向先降采样，再升采样，获得横向低分辨数据y，将所述轴向切面沿着图像的列方向进行升采样，获得轴向低分辨数据z；将所述横向高分辨数据x、所述横向低分辨数据y和所述轴向低分辨数据z进行拆分，形成一系列尺寸相同的非配对图像块。5.根据权利要求4所述的训练方法，其特征在于，所述横向高分辨数据x和所述横向低分辨数据y中的图像块像素一一对应，所述横向高分辨数据x和所述轴向低分辨数据z中的图像块像素不对应，所述横向低分辨数据y和所述轴向低分辨数据z中的图像块像素不对应。6.根据权利要求5所述的训练方法，其特征在于，训练时，在每个迭代优化周期内，先优化所述图像转换模块，然后再优化所述图像恢复模块，且所述图像转换模块以循环一致的方式进行训练。7.根据权利要求6所述的训练方法，其特征在于，损失函数l包括循环一致损失l
cycle
，生成对抗损失l
gan
，内容损失l
con
，和反馈损失l
feed
，即：l＝l
cycle
+λl
gan
+ρl
con
+σl
feed
ꢀꢀꢀꢀ
(1)其中λ，ρ和σ分别表示生成对抗损失l
gan
，内容损失l
con
，和反馈损失l
feed
所占的权重，λ∈(0，1]，ρ∈(0，10]和σ∈(0，1]。8.一种荧光图像处理方法，其特征在于，包括：获取待处理的三维荧光图像；将所述待处理的三维荧光图像进行切片，然后利用如权利要求1-7任一所述的荧光图像处理模型进行处理，获得轴向分辨率提升的三维荧光图像。9.根据权利要求8所述的荧光图像轴向分辨率提升方法，其特征在于，将所述待处理的
三维荧光图像进行切片，包括：将所述待处理的三维荧光图像沿着x方向和y方向进行重切片，获得xz和yz两个方向的轴向切面。10.根据权利要求9所述的荧光图像轴向分辨率提升方法，其特征在于，利用荧光图像处理模型进行处理，获得轴向分辨率提升的三维荧光图像，包括：将xz和yz两个方向的轴向切面依次输入到所述荧光图像处理模型中的图像恢复模块中，得到轴向分辨率提高的xz和yz切面图，然后将这两个方向的切面图重切片回原始的xy方向，并进行平均，最终获得轴向分辨率提升的三维荧光图像。
技术总结本发明提供了荧光图像处理模型训练方法及荧光图像处理方法，包括：搭建无监督神经网络模型，所述无监督神经网络模型包括图像转换模块和图像恢复模块；获取样本的三维荧光图像，制作训练数据集；设置训练参数，以最小化损失函数为目标训练无监督神经网络模型，获得荧光图像处理模型。本发明公开的基于无监督深度学习的荧光图像轴向分辨率提升方法无需金标准训练数据，也不需要对成像过程进行复杂的物理建模，极大的提升了模型性能和适用性，可以有效的恢复各类荧光成像的三维数据。有效的恢复各类荧光成像的三维数据。有效的恢复各类荧光成像的三维数据。
技术研发人员：袁菁 龚辉 宁可夫 卢渤霖 张小宇
受保护的技术使用者：华中科技大学苏州脑空间信息研究院
技术研发日：2022.07.13
技术公布日：2022/11/1
