本发明属于图像识别领域,具体是一种基于图像识别的智能护理贴边定位与调整系统。
背景技术:
1、护理贴边定位是医疗护理中的关键步骤之一,其指的是在医疗领域中用于定位和固定护理用品,旨在确保护理用品在患者身上的正确位置,并有效固定,以保证治疗效果和患者舒适度,但是现有的护理贴边定位通常为人工方式,效率低下且定位准确性较低,现有的辅助定位方法通常为简单的医学图像分割,单模态的医学图像分割无法为贴边定位提供更为全面的定位信息,简单的多模态图像融合无法在全局一致性和局部精度之间取得平衡,定位精度低下。
技术实现思路
1、针对上述问题,为克服现有技术的缺陷,本发明创造性的提供了一种基于图像识别的智能护理贴边定位与调整系统,针对人工贴边定位方式,效率低下且定位准确性较低的问题,本发明采用基于计算机视觉的图像识别方法,通过对患者病灶图像的识别与分割定位,增加定位的准确性与效率;针对现有的定位方法无法为贴边定位提供更为全面的定位信息,且无法在全局一致性和局部精度之间取得平衡的问题,本发明创造性的采用一种基于多维动态卷积的多尺度特征融合方法,通过多维动态卷积提取患者病灶图像的详细特征,并通过多种通道注意力对特征进行激活与融合,增强特征上下文信息的连接,增强融合图像的视觉真实性与感知细节,同时学习病灶的结构纹理,提高贴边定位的准确性;本发明创造性的采用一种基于多维信息提取的双编码器网络,通过卷积注意编码捕捉融合图像的空间和通道之间的相关性信息,通过swin-unet的编码器捕捉融合图像的全局与局部信息,并将两种信息进行转置卷积后进行连接解码,得到更准确的病灶部位并用于精准的贴边定位。
2、本发明提供的一种基于图像识别的智能护理贴边定位与调整系统,包括图像采集模块、智能图像融合模块、智能图像分割模块、贴边定位调整模块和用户界面模块;
3、所述图像采集模块,使用彩色相机拍摄患者病灶的rgb图像,使用深度相机采集患者病灶的深度图像,并将rgb图像与深度图像发送至智能图像融合模块;
4、所述智能图像融合模块,使用一种基于多维动态卷积的多尺度特征融合方法,对rgb图像与深度图像进行融合,得到灰度融合图并发送至智能图像分割模块;
5、所述智能图像分割模块,使用一种基于多维信息提取的双编码器网络,通过卷积注意编码捕捉融合图像的空间和通道之间的相关性信息,通过swin-unet的编码器捕捉融合图像的全局与局部信息,并将两种信息进行转置卷积与特征选择后进行连接解码得到分割图像,最终将分割图像发送至贴边定位调整模块;
6、所述贴边定位调整模块,根据分割图像确定贴边的位置和调整方向,得到贴边定位调整结果;
7、所述用户界面模块,供医护人员查看贴边定位调整结果,医护人员根据该结果对患者病灶进行准确的贴边,同时供技术人员对所有模块进行参数调整控制与信息查看。
8、进一步的,在智能图像融合模块中,一种基于多维动态卷积的多尺度特征融合方法,具体包括以下步骤:
9、步骤s1:图像转换,将rgb图像转换到ycbcr空间,得到rgb图像的亮度分量图y、色差分量图cb和色差分量图cr,将深度图像以深度转亮度的转换方式进行转换,得到深度图像的亮度图d;
10、步骤s2:多维动态卷积,对亮度分量图y与亮度图d分别进行多维注意力动态卷积,分别得到亮度分量卷积图与亮度卷积图:
11、;
12、式中,代表高斯误差线性单元激活函数,代表归一化操作,代表多维注意力动态卷积,其中包括四个维度的注意力动态卷积,分别为空间维度、输入通道维度、输出通道维度和卷积核数量维度,空间维度对应每个卷积核的空间位置,输入通道维度对应输入数据的通道维度,输出通道维度对应输出数据的通道维度,卷积核数量维度对应不同卷积核之间的权重,代表输入图像,即亮度分量图y与亮度图d,代表输出图像,即亮度分量卷积图与亮度卷积图;
13、步骤s3:多模态特征激活,对亮度分量卷积图与亮度卷积图分别进行多模态特征激活,分别得到亮度分量激活特征与亮度激活特征;
14、步骤s4:图像融合,将亮度分量激活特征与亮度激活特征进行融合并激活,得到亮度融合图;
15、步骤s5:灰度图转换,将亮度融合图以亮度转灰度的转换方式进行转换,得到灰度融合图,其维度为(w,h,c)。
16、进一步的,步骤s3,具体包括以下步骤:
17、步骤s31:将亮度分量卷积图与亮度卷积图统称为输入图像,将输入图像进行ln归一化处理,并分别进行基于窗口的多头自注意力处理与通道注意模块处理,将两个处理结果与原输入图像进行相加,得到初级注意特征:
18、;
19、式中,代表输入图像,即亮度分量卷积图与亮度卷积图,代表ln归一化,代表基于窗口的多头自注意力处理,代表通道注意模块处理,代表初级注意特征;
20、步骤s32:将初级注意特征进行ln归一化处理,并进行多层感知机处理,将处理结果与初级注意特征进行相加,得到初步激活特征:
21、;
22、式中,代表多层感知机处理,代表初步激活特征;
23、步骤s33:将初步激活特征进行ln归一化处理,并进行重叠注意模块处理,将处理结果与初步激活特征进行相加,得到次级注意特征:
24、;
25、式中,代表重叠交叉注意模块处理,代表次级注意特征;
26、步骤s34:将次级注意特征进行ln归一化处理,并进行多层感知机处理,将处理结果与次级注意特征进行相加,得到次级激活特征:
27、;
28、式中,代表多层感知机处理,代表次级激活特征,即亮度分量激活特征与亮度激活特征。
29、进一步的,在智能图像分割模块中,一种基于多维信息提取的双编码器网络,具体包括以下处理步骤:
30、步骤q1:cbam编码,使用基于卷积块注意力机制的编码器cbam对灰度融合图进行n层编码,得到卷积编码特征;
31、步骤q2:swin编码,使用swin-unet的编码器对灰度融合图进行n层编码,得到变压编码特征;
32、步骤q3:特征融合译码,对卷积编码特征进行转置卷积后与变压编码特征进行连接,并进行1*1卷积与批量归一化,得到初级解码结果;
33、步骤q4:特征选择,使用通道注意se模块(squeeze-and-excitation模块)对初级解码结果进行特征选择,得到初级选择特征;
34、步骤q5:多层解码,对初级选择特征进行n-1层上采样,得到最终解码特征,使用激活函数对最终解码特征进行激活,得到分割图像。
35、采用上述方案本发明取得的有益成果如下:
36、(1)针对人工贴边定位方式,效率低下且定位准确性较低的问题,本发明采用基于计算机视觉的图像识别方法,通过对患者病灶图像的识别与分割定位,增加定位的准确性与效率;
37、(2)针对现有的定位方法无法为贴边定位提供更为全面的定位信息,且无法在全局一致性和局部精度之间取得平衡的问题,本发明创造性的采用一种基于多维动态卷积的多尺度特征融合方法,通过多维动态卷积提取患者病灶图像的详细特征,并通过多种通道注意力对特征进行激活与融合,增强特征上下文信息的连接,增强融合图像的视觉真实性与感知细节,同时学习病灶的结构纹理,提高贴边定位的准确性;
38、(3)本发明创造性的采用一种基于多维信息提取的双编码器网络,通过卷积注意编码捕捉融合图像的空间和通道之间的相关性信息,通过swin-unet的编码器捕捉融合图像的全局与局部信息,并将两种信息进行转置卷积后进行连接解码,得到更准确的病灶部位并用于精准的贴边定位。
1.一种基于图像识别的智能护理贴边定位与调整系统,其特征在于:
2.根据权利要求1所述的一种基于图像识别的智能护理贴边定位与调整系统,其特征在于:
3.根据权利要求2所述的一种基于图像识别的智能护理贴边定位与调整系统,其特征在于: