一种基于髋关节dr图像的骨折识别模型及方法
技术领域
1.本发明涉及胸部dr医学图像处理技术领域，具体涉及一种基于髋关节dr图像的骨折识别模型及方法。
背景技术：2.据估计，每年发生130万例髋部骨折，髋部骨折是发病率和死亡的主要原因，尽管近年来经年龄调整后的髋部骨折发生率有所下降，但由于人口老龄化，到2030年，髋部骨折的数量预计将增加12％。x线平片是骨折的主要检查方法，在x射线无法确诊的情况下，再进一步考虑通过ct检查，但是为了减少辐射剂量，目前临床中只有很少的患者进行ct检查。据统计，x线平片骨折的漏诊率高于15％，一旦漏诊，就会延误治疗时间，影响愈后及功能恢复。基于深度学习的自动病灶检测方法可以在较短的时间内找出骨折区域，辅助影像科医生降低骨折漏诊率。
3.目前，基于深度学习算法对髋关节骨折进行检测，通常会训练一个深度学习模型对于每一张x线图像进行骨折区域的检测，输出不同大小的检测框，并且在不同的检测框上输出一个概率值，用来表示该位置是骨折区域的概率。
4.现有的方案存在的缺点；绝大多数采用的非极大值抑制法仅依据边界框的置信度评价边界框的质量好坏，而在目标检测任务中需要的是能准确框出目标的边界，边界框的置信度与其是否框得准确这二者之间并没有强相关，可能会出现框的更准但置信度低的边界框被其他置信度更高但框不准的边界框抑制掉；如果目标之间出现大面积重叠，目标a边界框的置信度大于目标b边界框的置信度，它们之间的iou大于阈值，那么目标b的边界框就会被抑制，导致目标b被漏检，从而导致骨折识别准确率低。
技术实现要素：5.针对现有技术存在的不足，本发明提出一种基于髋关节dr图像的骨折识别模型及方法，以解决现有技术中存在的存留的骨折检测框准确度低，导致目标漏检的技术问题。
6.一种基于髋关节dr图像的骨折识别模型，包括：编码器组和解码器组，其中，所述编码器组中包括多个编码器，每个编码器中包括第一多头自注意力层、第一求和与归一化层、第一前馈神经网络层；所述解码器组中包括多个解码器，每个解码器中包括第二多头自注意力层、第二求和与归一化层、多头注意力层、第二前馈神经网络层、第三前馈神经网络层；其中，所述编码器的参数包括目标特征图，所述目标特征图的位置编码，以及所述目标特征图的标记；所述解码器的输入参数包括编码器的输出，编码器的位置编码，目标检测框的编码，以及目标检测框的位置编码。
7.在一个实施例中，在所述编码器中：所述第一多头自注意力层用于，接收三个通道输入的向量，并输出第一特征图，其中，第一通道v为值向量，输入的是目标特征图，第二通道k为键向量，第三通道q为查询向量，第二通道k和第三通道q均为目标特征图与目标特征图的位置编码相加得到的向量；所述第一求和与归一化层用于，接收所述第一特征图，将所
述第一特征图与所述目标特征图相加短接，得到第二特征图；所述第一前馈神经网络层用于，对当前编码器进行线性激活，并将所述第二特征图作为下一个编码器输入的目标特征图。
8.在一个实施例中，在所述解码器中：所述第二多头自注意力层用于，接收向量q1、向量k1以及向量v1，并输出第三特征图，其中，向量q1为目标检测框的编码与目标检测框的位置编码相加得到的向量，向量k1分别为最后一个编码器或者上一个解码器的输出与目标检测框的位置编码得到的向量，向量v1为最后一个编码器或者上一个解码器的输出；所述第二求和与归一化层用于，稳定每一层的分布；所述多头注意力层用于，对目标检测框进行学习；所述第二前馈神经网络层用于，根据对目标检测框学习的结果，获取预测框的标准化中心坐标，高度和宽度；所述第三前馈神经网络层用于，将输入的图像通过线性层后使用softmax函数预测类标签，对当前解码器进行线性激活，并将当前解码器的输出作为下一个解码器的输入。
9.一种基于髋关节dr图像的骨折识别模型优化方法，包括：获取待处理髋关节骨折的dr图像，对所述dr图像进行预处理，得到目标dr图像；采用标注工具对所述目标dr图像中髋关节骨折区域进行标记，得到目标图像；通过inception resnetv2算法对所述目标图像进行特征提取，得到目标特征图；将所述目标特征图作为基于髋关节dr图像的骨折识别模型的输入，对基于髋关节dr图像的骨折识别模型进行迁移学习和训练，得到目标骨折识别模型。
10.在一个实施例中，获取待处理髋关节骨折的dr图像，对所述dr图像进行预处理，得到目标dr图像步骤，包括：获取待处理髋关节骨折的dr图像，转换所述dr图像格式；采用clahe算法对转换格式的所述dr图像进行处理，突出所述dr图像中的骨折部分，抑制噪音，得到目标dr图像。
11.在一个实施例中，所述采用clahe算法对转换格式的所述dr图像进行处理步骤，包括：对所述dr图像进行分块处理，得到单块图像，对所述单块图像进行计算直方图、修剪直方图和均衡处理，得到预处理单块图像；对所述预处理单块图像进行块间线性插值处理，得到目标单块图像；将所述目标单块图像组合并与所述dr图像进行图层滤色混合，得到目标dr图像。
12.一种基于髋关节dr图像的骨折识别方法，包括：获取待处理的髋关节骨折的dr图像，对所述dr图像进行预处理，得到目标dr图像；使用基于髋关节dr图像的骨折识别模型对所述目标dr图像进行骨折识别。
13.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述各个实施例中所述的一种基于髋关节dr图像的骨折识别模型优化及识别方法的步骤。
14.一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述各个实施例中所述的一种基于髋关节dr图像的骨折识别模型优化及识别方法的步骤。
15.由上述技术方案可知，本发明的有益技术效果如下：
16.1.本发明充分的结合了骨折区域的信息，本专利提出的算法网络对于骨折区域的召回率有着显著的提升，并且骨折的假阳数量也有明显的下降，从而提高骨折识别的准确性。
17.2.骨折识别模型利用多头自注意力层和多头注意力层来捕获全局的上下文信息，从而对目标建立起远距离的依赖，从而提取出更强有力的特征。
附图说明
18.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
19.图1为一个实施例中一种基于髋关节dr图像的骨折识别模型的结构框图；
20.图2为一个实施例中一种基于髋关节dr图像的骨折识别模型优化方法的流程示意图；
21.图3为一个实施例中一种基于髋关节dr图像的骨折识别方法的流程示意图；
22.图4为一个实施例中一种计算机设备的结构框图。
具体实施方式
23.下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只作为示例，而不能以此来限制本发明的保护范围。
24.需要注意的是，除非另有说明，本技术使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。
25.本发明中采集的待处理的髋关节dr图像中的dr，是digital radiography的英文缩写，即数字射线摄影。它使x光照相方式发生了根本改变，由传统的模拟式成像向数字式成像转换，将影像以数字形式输入计算机进行存储、处理、传输和显示。通俗地说，dr照片就是数字化的x光照片。dr照片的主要优点是：
①
图像比普通x光照片更清晰，更容易发现病变，从而减少漏诊和误诊；
②
显示图像时间很短，有利于医生及时采取或调整治疗措施；
③
病人接受x光照射剂量大大减少，对身体的危害也随之下降；
④
影像存储电子化，更方便可靠，可以节省空间，查找更容易，便于远程会诊；
⑤
同一张照片可复制多份，便于病人多处就诊；
⑥
省去胶片冲洗的环节，废片率极低，可节省资源，减少环境污染。髋关节(dr)也就是使用dr机器给患者照片。
26.在一个实施例中，如图1所示，提供一种基于髋关节dr图像的骨折识别模型，包括：编码器组和解码器组，其中，编码器组中包括多个编码器，每个编码器中包括第一多头自注意力层、第一求和与归一化层、第一前馈神经网络层；解码器组中包括多个解码器，每个解码器中包括第二多头自注意力层、第二求和与归一化层、第二前馈神经网络层、多头注意力层；其中，编码器的参数包括目标特征图，目标特征图的位置编码，以及目标特征图的标记；解码器的参数包括编码器的输出，编码器的位置编码，anchor的编码，以及anchor的位置编码。
27.具体地，骨折识别模型主要由两个模块组合成：编码器部分和解码器部分。编码器部分主要包括前馈神经网络和多头自注意力机制，解码器部分相比较编码器部分多一个多头注意力机制。(1)编码器部分：一共包含6层(多层的设置是为了让输出更加准确，可以是6层也可以是5层或7层，层数的设置根据承载模型的终端的运算能力和对输出的准确性的要
求共同决定)，每一层部分分别是multi-head self-attention(sa)层(即第一多头自注意力层)、add&norm模块(即第一求和与归一化层)和feed forward neural network(ffn)层(即第一前馈神经网络层)。(2)解码器部分：解码器的结构与编码器的结构非常相似，相比编码器每层多了一个多头注意力机制，解码器也是6层(解码器的层数与编码器相对应，满足对称性)，每一层输入除了上一层的输出以外，还要单独重新加入编码器和解码器各自对应的位置编码向量。
28.在一个实施例中，在编码器中：第一多头自注意力层用于，接收三个通道输入的向量，并输出第一特征图，其中，第一通道v为值向量，输入的是目标特征图，第二通道k为键向量，第三通道q为查询向量，第二通道k和第三通道q均为目标特征图与目标特征图的位置编码相加得到的向量；第一求和与归一化层用于，接收第一特征图，将第一特征图与目标特征图相加短接，得到第二特征图；第一前馈神经网络层用于，对当前编码器进行线性激活，并将第二特征图作为下一个编码器输入的目标特征图。具体地，进入编码器的参数有三个：步骤s13最后一层输出的髋关节特征图；最后一层的特征图的位置编码；步骤3最后一层输出的髋关节特征图对应的mask。整个特征图分成三个通道输入，第一个通道直接作为v(值向量)，其余两份与位置编码向量直接相加，分别作为k(键向量)，q(查询向量)。将kvq三个向量输入多头自注意力模块，输出一个特征图(即第一特征图)，将该特征图与原特征图直接相加短接，得到第二特征图，最后将第二特征图作为下一个编码器的输入。
29.在一个实施例中，在解码器中：第二多头自注意力层用于，接收向量q1目标检测框、向量k1以及向量v1，并输出第三特征图，其中，向量q1为目标检测框的编码与目标检测框的位置编码相加得到的向量，向量k1分别为最后一个编码器或者上一个解码器的输出与目标检测框的位置编码得到的向量，向量v1为最后一个编码器或者上一个解码器的输出；
30.第二求和与归一化层用于，稳定每一层的分布；
31.多头注意力层用于，对目标检测框进行学习；多设置一层“多头注意力层”的意义在于从多角度提取特征，让模型考虑到不同位置的注意力，在不同的子空间表示不一样的关联关系；
32.第二前馈神经网络层用于，根据对目标检测框学习的结果，获取预测框的标准化中心坐标、高度和宽度；
33.第三前馈神经网络层用于，将输入的图像通过线性层后使用softmax函数预测类标签，对当前解码器进行线性激活，并将当前解码器的输出作为下一个解码器的输入。
34.具体地，进入解码器的参数有四个：编码器的输出向量；主要对目标检测框进行编码，具体表现形式是query embeding(查询嵌入)；query embeding(查询嵌入)中的位置编码，编码器的位置编码。query embeding(第一次输入是query embeding，第二次是上一个解码器的输出out)与位置编码相加得到向量q1、k1；将向量q1与向量k1输入以及out(作为值向量)输入第一个多头注意力模块，得到输出。将上层输出随机删除网络中的一些隐藏神经元，保持输入输出神经元不变后与out相加输出；将out和位置编码相加作为向量q1，将编码器的输出与位置编码相加作为向量k1，编码器的输出向量v1作为输入，进入第二个多头注意力模块，依次遍历循环，经过6个解码器后输出向量。将输出堆叠成一个向量后输出，最后通过ffn(前馈神经网络)，利用两个全连接层，实现对髋关节骨折类型的分类和标注框坐标的回归功能。
35.解码器在结构上相比编码器每层多了一个多头注意力机制模块(即多头注意力层)，目的是对目标检测框进行学习，最终的解码器输出通过两个前馈神经网络进行计算，通过解码器中的第一个前馈神经网络(即第二前馈神经网络层)得到预测框的标准化中心坐标，高度和宽度；解码器中的第二个前馈神经网络(即第三前馈神经网络层)将输入的图像通过线性层后使用softmax函数预测类标签。
36.在一个实施例中，如图2所示，提供一种基于髋关节dr图像的骨折识别模型优化方法，其特征在于，包括：
37.s11获取待处理髋关节骨折的dr图像，对dr图像进行预处理，得到目标dr图像。
38.具体地，将获取的髋关节x射线图像全部转换为jpeg格式，利用clahe算法对髋关节骨折x射线图像进行预处理，突出骨折图像内部的病灶信息，抑制噪声。
39.在一个实施例中，步骤s11包括：获取待处理髋关节骨折的dr图像，转换dr图像格式；采用clahe算法对转换格式的dr图像进行处理，突出dr图像中的骨折部分，抑制噪音，得到目标dr图像。具体地，clahe(contrast limited adaptive histogram equalization)限制对比度自适应直方图均衡算法。
40.在一个实施例中，步骤采用clahe算法对转换格式的dr图像进行处理步骤，包括：对dr图像进行分块处理，得到单块图像，对单块图像进行计算直方图、修剪直方图和均衡处理，得到预处理单块图像；对预处理单块图像进行块间线性插值处理，得到目标单块图像；将目标单块图像组合并与dr图像进行图层滤色混合，得到目标dr图像。
41.s12采用标注工具对目标dr图像中髋关节骨折区域进行标记，得到目标图像。
42.具体地，利用labelimg标注工具对髋关节骨折区域进行标注；将髋关节骨折图像数据集制作成pascal voc数据集格式；将转化格式后的数据集利用labelimg标注工具进行标注，并在标注好的区域注明髋关节骨折图像所属的具体类别。
43.s13通过inception resnet v2算法对目标图像进行特征提取，得到目标特征图。
44.具体地，在inception算法中加入batch normalization(批量归一化)层，标准结构为：卷积-bn-relu；借鉴vgg的架构，使用两个3*3的卷积串联来代替inception模块中的5*5卷积模块。因为两个3*3的卷积与一个5*5的卷积具有相同的感受野，但是参数量却少于5*5的卷积的参数量。使用非对称卷积对3*3的卷积进一步分解为3*1和1*3的卷积。感受野的计算公式如下：
[0045][0046]
在上式中，r
n-1
为上一层感受野的大小，kn为本层卷积核尺寸，si为卷积步幅大小。
[0047]
在inception v2的基础上引入了resnet残差网络的思想，将浅层特征通过另外一条分支加到高层特征中，达到特征复用的目的，同时也避免深层网络的梯度消失问题。
[0048]
h(x)＝f(x)+x
[0049]
在上式中，x为神经网络的输入，f(x)为输入经过残差模块卷积运算之后得到的结果，h(x)为残差模块的输出结果。
[0050]
s14将目标特征图作为基于髋关节dr图像的骨折识别模型的输入，对基于髋关节dr图像的骨折识别模型进行迁移学习和训练，得到目标骨折识别模型。
[0051]
具体地，通过transformer模型对提取的髋关节dr图像特征生成候选区域，将大量的目标特征图作为训练集，对骨折识别模型进行训练和优化，从而得到目标骨折识别模型。
[0052]
在一个实施例中，如图3所示，提供一种基于髋关节dr图像的骨折识别方法，其特征在于，包括：s21获取待处理的髋关节骨折的dr图像，对dr图像进行预处理，得到目标dr图像；s22使用基于髋关节dr图像的骨折识别模型对目标dr图像进行骨折识别。具体地，使用上述实施例汇总的目标骨折识别模型对处理后的髋关节骨折的dr图像进行识别，能够检测出dr图像中的骨折区域，从而保证骨折区域识别的准确性。
[0053]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储配置模板，还可用于存储目标网页数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于髋关节dr图像的骨折识别模型优化及识别方法。
[0054]
本领域技术人员可以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0055]
在一个实施例中，还提供一种存储介质，存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被计算机执行时使计算机执行如前述实施例的方法，计算机可以为上述提到的一种基于髋关节dr图像的骨折识别模型的一部分。
[0056]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。
技术特征：1.一种基于髋关节dr图像的骨折识别模型，其特征在于，包括：编码器组和解码器组，其中，所述编码器组中包括多个编码器，每个编码器中包括第一多头自注意力层、第一求和与归一化层、第一前馈神经网络层；所述解码器组中包括多个解码器，每个解码器中包括第二多头自注意力层、第二求和与归一化层、多头注意力层、第二前馈神经网络层、第三前馈神经网络层；其中，所述编码器的参数包括目标特征图，所述目标特征图的位置编码，以及所述目标特征图的标记；所述解码器的输入参数包括编码器的输出，编码器的位置编码，目标检测框的编码，以及目标检测框的位置编码。2.根据权利要求1所述的模型，其特征在于，在所述编码器中：所述第一多头自注意力层用于，接收三个通道输入的向量，并输出第一特征图，其中，第一通道v为值向量，输入的是目标特征图，第二通道k为键向量，第三通道q为查询向量，第二通道k和第三通道q均为目标特征图与目标特征图的位置编码相加得到的向量；所述第一求和与归一化层用于，接收所述第一特征图，将所述第一特征图与所述目标特征图相加短接，得到第二特征图；所述第一前馈神经网络层用于，对当前编码器进行线性激活，并将所述第二特征图作为下一个编码器输入的目标特征图。3.根据权利要求2所述的模型，其特征在于，在所述解码器中：所述第二多头自注意力层用于，接收向量q1、向量k1以及向量v1，并输出第三特征图，其中，向量q1为目标检测框的编码与目标检测框的位置编码相加得到的向量，向量k1分别为最后一个编码器或者上一个解码器的输出与目标检测框的位置编码得到的向量，向量v1为最后一个编码器或者上一个解码器的输出；所述第二求和与归一化层用于，稳定每一层的分布；所述多头注意力层用于，对目标检测框进行学习；所述第二前馈神经网络层用于，根据对目标检测框学习的结果，获取预测框的标准化中心坐标，高度和宽度；所述第三前馈神经网络层用于，将输入的图像通过线性层后使用softmax函数预测类标签，对当前解码器进行线性激活，并将当前解码器的输出作为下一个解码器的输入。4.一种基于髋关节dr图像的骨折识别模型优化方法，其特征在于，包括：获取待处理髋关节骨折的dr图像，对所述dr图像进行预处理，得到目标dr图像；采用标注工具对所述目标dr图像中髋关节骨折区域进行标记，得到目标图像；通过inception resnetv2算法对所述目标图像进行特征提取，得到目标特征图；将所述目标特征图作为基于髋关节dr图像的骨折识别模型的输入，对基于髋关节dr图像的骨折识别模型进行迁移学习和训练，得到目标骨折识别模型。5.根据权利要求4所述的方法，其特征在于，获取待处理髋关节骨折的dr图像，对所述dr图像进行预处理，得到目标dr图像步骤，包括：获取待处理髋关节骨折的dr图像，转换所述dr图像格式；采用clahe算法对转换格式的所述dr图像进行处理，突出所述dr图像中的骨折部分，抑制噪音，得到目标dr图像。6.根据权利要求5所述的方法，其特征在于，所述采用clahe算法对转换格式的所述dr
图像进行处理步骤，包括：对所述dr图像进行分块处理，得到单块图像，对所述单块图像进行计算直方图、修剪直方图和均衡处理，得到预处理单块图像；对所述预处理单块图像进行块间线性插值处理，得到目标单块图像；将所述目标单块图像组合并与所述dr图像进行图层滤色混合，得到目标dr图像。7.一种基于髋关节dr图像的骨折识别方法，其特征在于，包括：获取待处理的髋关节骨折的dr图像，对所述dr图像进行预处理，得到目标dr图像；使用基于髋关节dr图像的骨折识别模型对所述目标dr图像进行骨折识别。8.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求4至7中任一项所述方法的步骤。9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求4至7中任一项所述的方法的步骤。
技术总结本发明提供一种基于髋关节DR图像的骨折识别模型及方法，其中通过骨折识别模型中的多头自注意力层和多头注意力层来捕获全局的上下文信息，从而对目标建立起远距离的依赖，从而提取出更强有力的特征；且充分的结合了骨折区域的信息，本专利提出的算法网络对于骨折区域的召回率有着显著的提升，并且骨折的假阳数量也有明显的下降，从而提高骨折识别的准确性。性。性。
技术研发人员：刘晨 王薪钢 李晓明 程琳 王健 温茹 陈辉
受保护的技术使用者：中国人民解放军陆军军医大学第一附属医院
技术研发日：2022.06.15
技术公布日：2022/11/1
