本发明涉及基于姿态识别的精准定位领域,尤其是涉及一种基于姿态识别的精准定位方法及系统。
背景技术:
1、常见的医疗扫描设备,比如x射线机、γ射线机以及核磁共振设备等,其在对患者进行扫描时,很难保证患者的姿势完全符合检测要求,这就导致有时因患者的姿势及角度的不正确,所拍摄出来的报告片子因部分器官错位或者不清楚等原因使其不符合要求,因此有时需要重新拍摄检测,这就较为繁琐,且导致成本升高,因此,为了精准的对患者的不同姿势下的各器官进行精准定位,发明了一种基于姿态识别的精准定位方法及系统。
技术实现思路
1、为了对患者在不同姿势下的各器官进行精准定位,本发明提供了一种基于姿态识别的精准定位方法及系统,其通过利用摄像头对特定区域进行扫描,然后构建精准定位模型,并对精准定位模型进行训练、验证以及优化,最后利用优化后的模型对患者的原始患者全身图图像进行姿势识别,从而精准定位患者的各器官的位置。
2、第一方面,本发明提供的一种基于姿态识别的精准定位方法,采用如下的技术方案:
3、一种基于姿态识别的精准定位方法,包括以下步骤:
4、s1、设备安装:
5、在床的两侧设置等间距的标志点,并在床的正上方设置摄像头,使摄像头能够对正下方以及斜下方区域内进行拍摄;
6、s2、图像采集处理:
7、图像采集,匀速移动床,使摄像头采集患者全身图,并生成原始患者全身图图像,原始患者全身图图像包括患者仰卧姿势原始患者全身图图像和俯卧姿势原始患者全身图图像;
8、图像处理:
9、器官标注,对原始患者全身图图像的各个器官进行标注;
10、格式转换,先后对原始患者全身图图像进行格式转换和数据归一化,归一化患者全身图图像;
11、图像增强,对归一化患者全身图图像进行颜色变换、高级变换及组合增强,得到增强患者全身图图像;
12、s3、模型构建:基于增强患者全身图图像构建精准定位模型;
13、精准定位模型包括:
14、1)、输入层;
15、输入图像格式:输入层接受固定大小的图像,图像通过预处理归一化到相同的大小和分辨率;
16、输入通道:通常输入图像包含三个通道,三个通道分别为宽度通道、高度通道和颜色通道;
17、2)、卷积层;
18、特征提取:卷积层通过卷积核进行特征提取,提取低层次的边缘、纹理特征,再逐层提取高层次的语义特征;
19、卷积核尺寸:使用3x3或5x5的卷积核;
20、激活函数:使用非线性激活函数增加网络的非线性表示能力;
21、3)、池化层;
22、下采样:池化层通过最大池化或平均池化操作,对特征图进行下采样,减少计算量,保留重要特征;
23、池化窗口:使用2x2的池化窗口,通过逐步下采样压缩特征图的空间尺寸;
24、4)、跳跃连接;
25、残差连接:在特定层之间添加残差连接,直接将前一层的输出加到后一层的输入上;
26、5)、全连接层;
27、特征映射:若干个全连接层将卷积层提取的特征映射到具体的输出空间,生成各个器官的预测区域;
28、输出维度:根据需要预测的边界框数量和每个边界框的参数,确定全连接层的输出维度;
29、6)、输出层;
30、边界框预测:输出层通过多个边界框预测器,预测每个器官的具体位置和范围,边界框通常以(x,y,w,h)的形式表示,其中,(x,y)为中心坐标,(w,h)为宽度和高度;
31、置信度分数:每个边界框还会输出一个置信度分数,表示该预测的可信度;
32、类别概率:输出每个边界框所属的类别概率分布,确定具体的器官类别;
33、s4、给精准定位模型设计损失函数;
34、损失函数包括:
35、1)、位置损失;
36、回归损失:使用l1与l2的损失加权来计算预测边界框与真实边界框之间的误差,其中,位置损失的公式为:
37、位置损失=∑i∣pi-gi∣\text{位置损
38、失}=\sum_{i}\left|p_i-g_i\right|位置损失=∑i∣pi-gi∣;或者,
39、位置损失=∑i(pi-gi)2\text{位置损
40、失}=\sum_{i}\left(p_i-g_i\right)^2位置损失=∑i(pi-gi)2,其中,pip_ipi为预测边界框参数,gig_igi为真实边界框参数;
41、2)、分类损失;
42、交叉熵损失:使用交叉熵损失计算预测类别与真实类别之间的误差,交叉熵损失用于衡量两个概率分布之间的差异;其中,分类损失的公式为:
43、分类损失=-∑igilog(pi),其中,pip_ipi为预测类别概率,gig_igi为真实类别的one-hot编码;
44、3)、置信度损失;
45、均方误差:使用均方误差计算预测置信度与真实置信度之间的误差,均方误差用于衡量预测值与真实值之间的平方差;置信度损失的公式为:
46、置信度损失=1n∑i(pi-gi)2\text{置信度损失}=\frac{1}{n}\sum_{i}\left(p_i-g_i\right)^2置信度损失=n1∑i(pi-gi)2,其中,pip_ipi为预测置信度,gig_igi为真实置信度,nnn为样本数量;
47、4)、总损失;
48、加权总损失:综合位置损失、分类损失和置信度损失,形成总损失,对位置损失、分类损失和置信度损失进行加权,用于指导模型的优化,总损失可以根据具体需求进行对各部分损失进行加权组合;其中,总损失的公式为:
49、总损失=α位置损失+β分类损失+γ置信度损失\text{总损失}
50、=\alpha\cdot\text{位置损失}+\beta\cdot\text{分类损失}+\gamma\cdot\text{置信度损失}总损失=α位置损失+β分类损失+γ置信度损失,其中,α\alphaα、β\betaβ和γ\gammaγ为加权系数,调整各部分损失在总损失中的权重;
51、s5、对精准定位模型进行训练,得到精准定位训练模型;
52、对精准定位模型进行训练包括以下步骤:
53、1)、数据预处理;
54、图像归一化:将输入图像的像素值归一化到0-1范围,标准化图像数据,确保输入一致性;
55、数据增强:在训练过程中,对图像进行随机裁剪、旋转、翻转和缩放操作,增加数据的多样性;
56、2)、批量训练;
57、小批量训练:将训练数据分成若干小批次,每批次输入模型进行前向传播和反向传播,更新精准定位模型参数;
58、批量大小:选择合适的批量大小,使训练过程中gpu/cpu的高效利用;
59、3)、优化算法;
60、随机梯度下降:使用sgd优化算法最小化损失函数,通过逐步调整精准定位模型权重和偏置,对精准定位模型的参数进行优化;
61、动量方法:引入动量项,结合前几次梯度的方向,平滑梯度更新,减少振荡,加速收敛;
62、adam优化器:使用adam优化器结合动量和自适应学习率调整;
63、4)、超参数调整;
64、学习率:选择合适的学习率,使精准定位模型参数的稳定更新;
65、正则化:引入正则化项防止精准定位模型过拟合,增强精准定位模型的泛化能力;
66、批量大小:调整批量大小,平衡训练速度和稳定性,使精准定位模型有效训练;
67、得到精准定位训练模型;
68、s6、对精准定位训练模型进行验证,对精准定位训练模型进行验证包括以下步骤:
69、1)、验证数据集;
70、独立验证集:使用独立于训练集的数据集评估精准定位训练模型性能,使精准定位训练模型在未见过的数据上具有良好的泛化能力;
71、验证数据准备:对验证数据进行与训练数据相同的预处理和归一化操作,确保输入数据的一致性;
72、2)、指标评估;
73、准确率:衡量精准定位训练模型预测结果的准确性,计算正确预测的比例;
74、召回率:衡量精准定位训练模型对真实正样本的召回能力,计算正确预测的正样本比例;
75、f1分数:结合准确率和召回率的综合指标,衡量精准定位训练模型的整体性能;
76、iou交并比:计算预测边界框与真实边界框的重叠区域与联合区域的比值,衡量边界框预测的准确性;
77、3)、早停策略;
78、验证损失监控:监控验证集上的损失变化,若验证损失在若干轮训练后不再降低,则提前终止训练,防止精准定位训练模型过拟合;
79、模型保存:保存验证损失最低时的模型参数,确保最终精准定位训练模型的最佳性能;
80、s7、对精准定位训练模型进行优化,对精准定位训练模型剪枝,得到精准定位优化模型;
81、对精准定位训练模型进行优化包括以下步骤:
82、1)、权重剪枝:根据权重的重要性,对权重进行剪枝,去除低重要性的权重;
83、权重重要性评估:计算每个权重的绝对值或平方值,衡量绝对值或平方值对模型输出的影响;
84、剪枝策略:设置剪枝阈值,将低于阈值的权重置零,保留高重要性的权重;
85、微调训练:剪枝后对模型进行微调训练,恢复模型性能,确保剪枝对模型精度的影响最小;
86、2)、滤波器剪枝:根据卷积核的重要性,对卷积层的滤波器进行剪枝,减少卷积操作的计算量;
87、滤波器重要性评估:计算每个滤波器的l1范数或l2范数,衡量l1范数或l2范数对特征提取的贡献;
88、剪枝策略:设置剪枝比例,去除贡献较小的滤波器,保留主要特征的滤波器;
89、微调训练:剪枝后对模型进行微调训练,恢复模型性能,确保剪枝对特征提取能力的影响最小;
90、s8、利用精准定位优化模型对采集到的原始患者全身图图像进行处理分析,以对患者的各器官进行精准定位。
91、优选的,所述对精准定位模型进行训练还包括采用量化技术,量化技术包括以下步骤:
92、1)、静态量化:在模型训练完成后,对模型参数进行量化;
93、量化步骤:将浮点数权重和激活值转换为整数表示,常用方法包括线性量化和非线性量化;
94、量化校准:使用校准数据集计算量化参数,确保量化后的模型精度不受显著影响;
95、2)、动态量化:在模型推理过程中,对模型参数进行动态量化;
96、动态量化步骤:在推理过程中,动态地将浮点数参数转换为低精度表示,减少内存占用和计算复杂度;
97、适用场景:动态量化适用于推理过程中计算量较大的模型部分,包括全连接层和rnn层;
98、3)、量化感知训练qat:在模型训练过程中加入量化操作,使模型适应量化后的低精度表示;
99、在训练过程中,模拟量化操作,将浮点数权重和激活值转换为低精度表示,并计算损失进行反向传播。
100、第二方面,本发明提供的一种基于姿态识别的精准定位系统,采用如下的技术方案:
101、一种基于姿态识别的精准定位系统,应用于上述所述的一种基于姿态识别的精准定位方法,包括:
102、带扫描功能及可移动床位的设备,用于患者躺在床上以便采集患者全身图;
103、摄像头,用于采集患者全身图并生成原始患者全身图上传;
104、图像处理模块,用于对原始患者全身图进行器官、格式转换以及图像增强处理;
105、模型构建模块,用于构建精准定位模块;
106、损失函数模块,用于给精准定位模块设计损失函数;
107、模型训练模块,用于对精准定位模型进行训练,得到精准定位训练模型;
108、模型验证模块,用于对精准定位训练模型进行验证,并得到精准定位验证模型;
109、模型优化模块,用于对精准定位训练模块进行优化,并得到精准定位优化模型;
110、模型精准定位模块,用于基于精准定位优化模型对患者的各器官进行精准定位。
111、优选的,所述图像处理模块包括:
112、器官标注单元,用于对原始患者全身图图像的各个器官进行标注,
113、格式转换单元,用于先后对原始患者全身图图像进行格式转换和数据归一化,归一化患者全身图图像;
114、图像增强单元,用于对归一化患者全身图图像进行颜色变换、高级变换及组合增强,得到增强患者全身图图像。
115、优选的,所述损失函数模块包括:
116、位置损失计算单元,用于计算位置损失;
117、分类损失计算单元,用于计算分类损失;
118、置信度计算单元,用于计算置信度;
119、总损失计算单元,用于计算总损失。
120、优选的,所述模型训练模块包括:
121、数据预处理单元,用于对图像进行预处理,预处理包括图像归一化及数据增强;
122、批量训练单元,用于对图像进行批量训练,批量训练包括小批量训练和选择合适的批量大小;
123、优化算法单元,用于优化算法,优化算法包括随机梯度下降和动量方法;
124、超参数调整单元,用于超参数调整,超参数调整包括选择合适的学习率、引入正规化项以及调整批量大小。
125、优选的,所述模型验证模块包括:
126、数据集验证单元,用于验证数据集;
127、指标评估单元,用于评估指标;
128、早停策略单元,用于策略早停。
129、优选的,所述模型优化模块包括:
130、权重剪枝单元,用于对权重进行剪枝;
131、滤波器剪枝单元,对用对卷积层的滤波器进行剪枝。
132、优选的,还包括量化技术模块,用于对精准定位训练模型的参数进行静态量化、动态量化及量化感知训练qat。
133、综上所述,本发明包括以下有益技术效果:
134、1.本发明通过利用摄像头对特定区域进行扫描,然后构建精准定位模型,并对精准定位模型进行训练、验证以及优化,最后利用优化后的模型对患者的原始患者全身图图像进行姿势识别,从而精准定位患者的各器官的位置。
135、2.本发明通过对构建的精准定位模型进行训练、验证以及优化,从而提高了对患者的各器官精准定位的精准度,并且提高了精准定位模型的精准定位能力。
136、3.本发明通过理由精准定位模型对患者的不同姿势下的各器官进行精准识别定位,从而提高了检测设备拍摄的片子的用途,减少了反复拍摄的成本。
137、4.本发明通过剪枝和量化技术,压缩了模型大小,减少了存储和计算需求,且通过结合剪枝和量化技术,生成轻量化的模型版本,适合部署在资源受限的设备上。
1.一种基于姿态识别的精准定位方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的一种基于姿态识别的精准定位方法,其特征在于,所述对精准定位模型进行训练还包括采用量化技术,量化技术包括以下步骤:
3.一种基于姿态识别的精准定位系统,特征在于,应用于权利要求1或2所述的一种基于姿态识别的精准定位方法,包括:
4.根据权利要求3所述一种基于姿态识别的精准定位系统,其特征在于,所述图像处理模块包括:
5.根据权利要求3所述一种基于姿态识别的精准定位系统,其特征在于,所述损失函数模块包括:
6.根据权利要求3所述一种基于姿态识别的精准定位系统,其特征在于,所述模型训练模块包括:
7.根据权利要求3所述一种基于姿态识别的精准定位系统,其特征在于,所述模型验证模块包括:
8.根据权利要求3所述一种基于姿态识别的精准定位系统,其特征在于,所述模型优化模块包括:
9.根据权利要求3所述一种基于姿态识别的精准定位系统,其特征在于,还包括量化技术模块,用于对精准定位训练模型的参数进行静态量化、动态量化及量化感知训练qat。