本发明属于船舶与海洋工程,涉及一种基于图像识别的海冰厚度检测装置及其检测方法。
背景技术:
1、由于南北极特殊的地理位置和丰富的自然资源,世界各国积极推进极地航线发展。而作为南北极航道开辟、自然资源开采的必要装备,极地破冰船具有重要的战略地位。而海冰对破冰船的航运、海洋作业、科学考察和其他相关活动构成威胁。其中海冰厚度作为海冰检测的关键参数,海冰厚度检测可以帮助船员合理安排破冰作业,优化资源配置,确保任务顺利完成。
2、已公知的文献有:一种适用于船舶冰区走航测试的海冰厚度识别系统及海冰厚度识别方法cn112614177b,于2022年11月18日授权;基于深度学习的船基视频图像海冰厚度测量方法及系统cn112700489b,于2023年4月18日授权。
3、现有的海冰厚度测量方法仅针对完全翻转海冰,即翻转角度90°以上,但在实际航行过程中难以保证海冰的完全翻转,因而导致识别精度较低,并且仅挑选完全翻转海冰进行厚度识别,难以保证数据的连续性。
技术实现思路
1、针对现有技术存在的问题,本发明提供一种基于图像识别的海冰厚度检测装置及方法。
2、本发明要解决的技术问题是:
3、(1)在破冰船航行中通过海冰厚度检测装置提供连续的海冰厚度实时参数。
4、(2)特别的,能够测量海冰翻转角度,包括未完全翻转海冰时的翻转角度,实现对未翻转海冰的厚度检测和识别。
5、为达到以上目的,本发明的技术方案是:
6、一种基于图像识别的海冰厚度检测装置,包括一jetson nano处理器、一装置主体、以及安装于所述装置主体的一激光雷达模块、一摄像模块和一led模块,其中,所述jetson nano处理器设置于所述装置主体的内部,所述激光雷达模块、所述摄像模块和所述led模块均与所述jetson nano处理器通信连接。
7、led模块位于摄像模块正下方,工作时点亮用以辅助摄像模块进行拍摄。
8、所述激光雷达模块用以发射激光束,形成点云数据。
9、所述摄像模块位于激光雷达模块的正下方,用以获取连续的船侧海冰图像p0。
10、所述摄像模块所采集的连续的船侧海冰图像p0与所述激光雷达模块所测得的所述点云数据通过导线传输至所述jetson nano处理器;所述jetson nano处理器对所述海冰图像p0和点云数据进行处理,获得实际的冰厚l3和雪厚l4。
11、进一步的,所述jetson nano处理器利用最小二乘法拟合所述点云数据的平面模型,获得所述平面模型的倾斜角度θ。
12、进一步的,所述jetson nano处理器利用神经网络算法训练的像素级的海冰厚度模型识别出所述海冰图像p0中翻转的冰厚截面p1和雪厚截面p2,将所述冰厚截面p1、所述雪厚截面p2的每个像素点与世界坐标系中的坐标对应,得到冰厚、雪厚的真实尺寸;通过对所述冰厚截面p1和所述雪厚截面p2做内接圆,求得最大内接圆的直径能够得到所述冰厚截面的宽度l1和所述雪厚截面的宽度l2;利用所述冰厚截面的宽度l1、所述雪厚截面的宽度l2以及海冰的倾斜角度θ,获得实际的所述冰厚l3和雪厚l4。
13、进一步的,所述摄像模块包括一个摄像头。
14、进一步的,所述led模块包括一个led装置。
15、进一步的,所述装置主体还连接一线缆,通过所述线缆向所述jetson nano处理器、所述激光雷达模块、所述摄像模块和所述led模块供电。
16、进一步的,所述jetson nano处理器通过以太网模式与一上位机通信连接。
17、一种基于图像识别的海冰厚度检测方法,包括以下步骤:
18、step1:通过摄像模块实时采集破冰船航行过程中船侧海冰图像,所采集的图像为p0;
19、step2:通过神经网络算法识别出所述图像p0中翻转的冰厚截面为p1和雪厚截面为p2;
20、step3:将所述冰厚截面p1和所述雪厚截面p2的每个像素点与世界坐标系中的坐标对应,得到冰厚、雪厚的真实尺寸;
21、step4:通过对所述冰厚截面p1和所述雪厚截面p2做内接圆,求得最大内接圆的直径能够得到所述冰厚截面p1的宽度l1和所述雪厚截面p2的宽度l2;
22、step5:通过激光雷达模块向船侧海冰发射激光束,获得海冰表面的点云数据;
23、step6:对获取的所述点云数据进行预处理;
24、step7:使用拟合算法对所述点云数据中的平面进行拟合;
25、step8:获取拟合平面单位法向量;
26、step9:获得平面倾斜角度θ;
27、step10:获得实际的冰厚l3和雪厚l4:利用所述冰厚截面p1的宽度l1、雪厚截面p2的宽度l2以及所述倾斜角度θ,获得实际的所述冰厚l3和所述雪厚l4,具体计算公式如下:
28、
29、进一步的,所述step2中的神经网络算法的步骤为:
30、step2a:搜集船侧海冰图像:对每张图像进行冰厚截面和雪厚截面的标定,形成神经网络模型数据集。
31、step2b:将所述神经网络模型数据集的数据分为训练集和测试集,所述训练集和所述测试集的比例设置为4:1。
32、step2c:基于训练集数据,对语义分割算法的神经网络模型进行训练。
33、step2d:使用测试集数据验证神经网络模型。若验证精度不满足要求,则调整参数继续训练;如果验证精度满足要求,则完成训练,形成像素级的海冰厚度模型。
34、进一步的,所述step7中的使用拟合算法对点云数据中的平面进行拟合包括:利用最小二乘法拟合所述点云数据的平面模型,使得该平面与所有点的距离之和最小化,拟合平面方程为ax+by+cz+d=0。
35、本发明效果和益处是:通过船载摄像模块和激光雷达模块对船侧海冰进行厚度参数的实时识别,特别是针对未完全翻转海冰可实现海冰厚度参数的识别,不仅可以提升航行安全和效率,还能为环境保护、科学研究和其他船只提供重要支持,具有广泛的社会和经济意义。
1.一种基于图像识别的海冰厚度检测装置,其特征在于,包括一jetson nano处理器(1)、一装置主体(3)、以及安装于所述装置主体(3)的一激光雷达模块(4)、一摄像模块(5)和一led模块(6),其中,所述jetson nano处理器(1)设置于所述装置主体(3)的内部,所述激光雷达模块(4)、所述摄像模块(5)和所述led模块(6)均与所述jetson nano处理器(1)通信连接;
2.根据权利要求1所述的装置,其特征在于,所述jetson nano处理器(1)利用最小二乘法拟合所述点云数据的平面模型,获得所述平面模型的倾斜角度θ。
3.根据权利要求2所述的装置,其特征在于,所述jetson nano处理器(1)利用神经网络算法训练的像素级的海冰厚度模型识别出所述海冰图像p0中翻转的冰厚截面p1和雪厚截面p2,将所述冰厚截面p1、所述雪厚截面p2的每个像素点与世界坐标系中的坐标对应,得到冰厚、雪厚的真实尺寸;通过对所述冰厚截面p1和所述雪厚截面p2做内接圆,求得最大内接圆的直径能够得到所述冰厚截面的宽度l1和所述雪厚截面的宽度l2;利用所述冰厚截面的宽度l1、所述雪厚截面的宽度l2以及海冰的倾斜角度θ,获得实际的所述冰厚l3和雪厚l4。
4.根据权利要求1所述的装置,其特征在于,所述摄像模块(5)包括一个摄像头。
5.根据权利要求1所述的装置,其特征在于,所述led模块(6)包括一个led装置。
6.根据权利要求1所述的装置,其特征在于,所述装置主体(3)还连接一线缆(2),通过所述线缆(2)向所述jetson nano处理器(1)、所述激光雷达模块(4)、所述摄像模块(5)和所述led模块(6)供电。
7.根据权利要求1所述的装置,其特征在于,所述jetson nano处理器(1)通过以太网模式与一上位机(7)通信连接。
8.一种基于图像识别的海冰厚度检测方法,其特征在于,包括以下步骤:
9.根据权利要求8所述的方法,其特征在于,所述step2中的所述神经网络算法的步骤为:
10.根据权利要求8所述的方法,其特征在于,所述step9中的获得平面倾斜角度θ包括:首先计算单位法向量n和单位水平方向向量r的内积,内积公式如下式所示: