本发明涉及导航，具体为一种盲人导航方法及设备。
背景技术：
1、目前，深度学习算法在盲人导航方面可以帮助盲人更轻松地自主导航并增强他们的生活质量。主要体现在以下方面：可以用于实时图像识别、物体检测和场景理解，使导航系统能够帮助盲人识别路面障碍物、交通标志、人行道等，并提供实时导航指引；可以分析历史数据、交通情况和地形信息，帮助盲人规划最佳路径并避开交通拥堵或危险区域。
2、即时定位与地图构建(simultaneous localization and mapping，slam)技术是一种结合深度学习算法的典型技术。通过采集传感器数据，slam算法能够同时定位设备的位置并构建周围环境的地图，而无需提前已知地图或位置信息。
3、传统盲人导航方法通常涉及使用传感器(如超声波传感器或红外线传感器)来探测周围环境，并通过声音、触觉或震动等非视觉信息来引导盲人避开障碍物并导航到目的地。由于传感器类型的限制，传统方法的环境感知能力通常有限，对于复杂环境或细节信息的获取能力比较弱，难以应对复杂的交叉口或障碍物布局。
4、目前，在现有技术文献对盲人导航算法中仍存在一些缺陷，如专利申请号为cn202210489717.1的中国专利提出了一种基于视觉slam的盲人避障导航系统；该专利使用rgbd传感器采集的图像信息与距离信息用以计算方向计算和目标检测；同时，该专利使用yolo模型进行目标检测，用以提供物体的种类以及位置信息。
5、由于传统rgbd传感器的精度限制，该专利的方法对于复杂环境或细节信息的获取能力比较弱，获得的图像和距离信息与实际结果之间会有误差，降低目标检测的准确性，造成盲人导航的路径偏移和错误提示信息。同时，由于卷积网络性能有限，yolo检测模型无法精准检测到复杂场景下的物体。
6、为了解决以上的问题，本发明提出一种盲人导航方法及设备。
技术实现思路
1、本发明的目的在于提供一种盲人导航方法及设备，包括：首先，本发明提出了一种基于混合网络的图像深度预测模型，将摄像头实时捕获的图像数据输入至模型，通过采取特征融合的策略，提高深度信息的输出质量；其次，提出一种基于深度引导的图像检测模型，该模型将深度预测模型的输出特征嵌入到传统检测模型中，通过使用深度信息引导的方案准确得到物体的类别和位置信息；最后，整合深度信息、类别和位置信息后转换为真实三维坐标信息用于判别行径路线和障碍物。
2、为实现上述目的，本发明提供如下技术方案：
3、一种盲人导航方法，包括：
4、利用摄像头实时获取周围环境的图像数据；其中，所述图像数据包括连续的多帧图像；
5、利用定位与地图构建算法对所述图像数据进行处理，得到摄像头的位姿信息；
6、将所述图像数据通过基于混合网络的图像深度预测模型进行图像深度处理，得到所述图像数据中每个像素的深度信息；其中，所述图像深度预测模型借助特征融合模块能够融合局部和全局特征；
7、利用基于深度引导的图像检测模型对所述图像数据进行检测，得到所述图像数据中物体的类别和位置信息；
8、整合所述摄像头的所述位姿信息、每个所述像素的所述深度信息以及所述物体的类别和位置信息，按照针孔相机模型公式推算障碍物的世界坐标位置信息；
9、根据预测的行径轨迹以及结合实际路径判断用户是否偏离行走路线，同时根据障碍物检测的位置信息向用户发出是否有障碍物的信号。
10、所述定位与地图构建算法是由专利申请号为cn201711401325.0的中国专利提出的，是基于orb特征提取的定位与地图构建算法。
11、进一步地，所述将通过基于orb特征提取的定位与地图构建算法得到所述摄像头位姿信息过程包括旋转矩阵r和平移向量t。
12、所述基于混合网络的图像深度预测模型是基于传感器特征嵌入的混合网络算法，根据所述基于传感器特征嵌入的混合网络算法对输入图像进行预先训练，输出所述图像数据中的像素深度信息。
13、进一步地，所述基于传感器特征嵌入的混合网络算法包括：卷积层、下采样和上采样、跳跃连接、残差块、transformer块以及特征融合模块。
14、所述基于传感器特征嵌入的混合网络算法的具体实现过程包括：
15、对输入图像至所述卷积层进行特征提取，得到初始特征图；
16、残差卷积网络的编码端先将所述初始特征图输入至多个串行残差块，然后进行两次所述下采样操作，得到局部特征；
17、transformer网络的编码端将所述初始特征图分别进行两次所述下采样操作，利用多个串行transformer块提取全局特征；
18、所述残差卷积网络的解码端首先利用特征融合模块来结合所述局部特征与所述全局特征，得到融合特征；然后对所述融合特征进行两次所述上采样操作，接着每次操作前采用相同数量的残差块，同时在跳跃连接前嵌入传感器特征，最终得到图像的深度信息。
19、进一步地，所述残差卷积网络算法中的特征融合模块具体实现过程包括：所述局部特征图经通道维度融合，得到与所述全局特征结合的融合特征图；所述融合特征图经尺寸为3×3的卷积核，得到卷积中间特征图；所述卷积中间特征图经通道融合和非线性激活函数，得到加权特征图掩膜；将所述加权特征图掩膜作用于所述卷积中间特征图并与所述局部特征图求和，得到深度增强特征；所述特征融合模块的具体公式为：
20、m＝conv(concat(x,y))；
21、f(x,m)＝m*sigmoid(concat(x,m))+x；
22、其中，f()表示为所述特征融合模块的合并函数；x表示为所述局部特征图；y表示为所述全局特征图；m表示为所述融合特征图；sigmoid()表示为非线性激活函数；conv()表示为卷积核大小为3×3的卷积运算；concat()表示为通道合并操作。
23、所述基于深度引导的图像检测模型是基于深度信息特征嵌入的卷积网络算法，实现过程包括：
24、卷积网络对输入图像应用卷积层进行特征提取，得到初始特征图；
25、编码端将所述初始特征图分别进行多次下采样操作，用以降低特征分辨率与增大输出感受野，每次操作前采用多个特征提取模块来提高图像特征捕获能力，编码得到高级语义特征；
26、解码端对所述高级语义特征进行多次上采样操作，用以增加特征分辨率与编码器同级分辨率保持一致，每次操作前同样采用相同数量的特征提取模块来提高网络检测的准确性，同时下采样前的卷积特征使用跳跃连接与上采样后的特征进行相加来弥补因下采样和特征提取而导致丢失的信息，接着在跳跃连接前嵌入深度增强特征，利用深度特征图中场景对象的相对位置关系帮助定位检测目标的位置，解码端最终得到的是图像类别和位置信息；
27、得到所述图像类别和位置信息的过程可由以下公式表示为：
28、inf＝c(x,d)；
29、其中，c()表示为所述嵌入深度信息特征的卷积网络；x表示为所述初始特征图；d表示为所述深度增强特征图；inf表示为所述图像类别和位置信息。
30、一种盲人导航设备，包括：数据获取模块、信息处理模块和导航模块；
31、所述数据获取模块用于通过摄像头实时获取盲人视野环境下的图像信息，所述图像信息包括连续的多帧图像数据；
32、所述信息处理模块可分为算法单元和转换单元；
33、所述算法单元用于将所述图像信息通过定位与地图构建算法、基于混合网络的图像深度预测算法和基于深度引导的图像检测算法处理得到摄像头的所述位姿信息、每个像素的所述深度信息以及图像信息中所述物体的类别和位置信息；
34、所述转换单元用于将摄像头的所述位姿信息、每个像素的所述深度信息以及图像信息中所述物体的类别和位置信息整合后转换为场景对象在三维坐标系中的空间位置，以及对摄像头的所述位姿信息进行处理后得到预测的行径轨迹；
35、所述导航模块用于根据所述预测的行径轨迹以及结合实际路径判断用户是否偏离行走路线，以及根据所述障碍物检测的位置信息向用户发出是否有障碍物的信号；
36、进一步地，所述图像检测模型是基于深度信息特征嵌入的卷积网络算法，过程包括：
37、卷积网络对输入图像应用卷积层进行特征提取，得到初始特征图；
38、编码端将所述初始特征图分别进行多次下采样和特征提取操作，编码得到高级语义特征；
39、解码端对所述高级语义特征进行多次上采样、特征提取和跳跃连接操作，同时在跳跃连接操作之前嵌入深度增强特征，利用深度特征图中场景对象的相对位置关系帮助定位检测目标的位置，解码端最终得到的是图像类别和位置信息；
40、得到所述图像类别和位置信息的过程可由以下公式表示为：
41、inf＝c(x,d)；
42、其中，c()表示为所述嵌入深度信息特征的卷积网络；x表示为所述初始特征图；d表示为图像深度预测模型输出的所述深度增强特征图；inf表示为所述图像类别和位置信息。
43、进一步地，所述图像深度预测模型是基于传感器特征嵌入的混合网络算法，包括：卷积层、下采样和上采样、跳跃连接、残差块以及特征融合模块；
44、其中，所述基于传感器特征嵌入的混合网络算法具体实现过程可表示为：
45、对输入图像至所述卷积层进行特征提取，得到初始特征图；
46、残差卷积网络的编码端先将所述初始特征图输入至多个串行残差块，然后进行两次所述下采样操作，得到局部特征；
47、transformer网络的编码端将所述初始特征图分别进行两次所述下采样操作，利用多个串行transformer块提取全局特征；
48、所述残差卷积网络的解码端首先利用特征融合模块来结合所述局部特征与所述全局特征，得到融合特征；然后对所述融合特征进行两次所述上采样操作，接着每次操作前采用相同数量的残差块，同时在跳跃连接前嵌入传感器特征，最终得到图像的深度信息；
49、其中，所述特征融合模块的具体实现过程可表示为：
50、所述局部特征图经通道维度融合全局特征，得到融合特征图；
51、所述融合特征图经尺寸为3×3的卷积核，得到卷积中间特征图；
52、所述卷积中间特征图经通道融合和非线性激活函数，得到加权特征图掩膜；
53、将所述加权特征图掩膜作用于所述卷积中间特征图并与所述局部特征图求和，得到深度增强特征；
54、所述特征融合模块的具体公式为：
55、m＝conv(concat(x,y))；
56、f(x,m)＝m*sigmoid(concat(x,m))+x；
57、其中，f()表示为所述特征融合模块的合并函数；x表示为所述局部特征图；y表示为所述全局特征图；m表示为所述融合特征图；sigmoid()表示为非线性激活函数；conv()表示为卷积核大小为3×3的卷积运算；concat()表示为通道合并操作。
58、所述基于深度预测和引导的盲人导航设备包括：设置有摄像头的数据获取模块；设置有算法单元和转换单元的信息处理模块，其中所述算法单元包括定位与地图构建算法、基于混合网络的图像深度预测算法和基于深度引导的图像检测算法；设置有提供导航信息以及避障信息的导航模块。
59、与现有技术相比，本发明的有益效果为：
60、1、本发明提出一种基于混合网络的图像深度预测模型，通过将摄像头捕获的图像数据输入至该模型，采取传感器特征嵌入的策略，提高模型的环境感知能力。该模型是基于传感器特征嵌入的混合网络算法，根据所述基于传感器特征嵌入的混合网络算法对输入图像进行预先训练，并准确输出图像像素中的深度信息，提高了检测模型和三维坐标转换的准确性。
61、2、本发明提出了一种特征融合模块，通过改进传统通道合并方法，增加了基于混合网络的图像深度预测模型的整体感受野，提高了深度信息预测的准确性。该模块通过通道维度融合操作得到局部特征与全局特征结合的融合特征图，接着所述融合特征图通过卷积运算与加权特征图掩膜操作来筛选特征图中的信息，避免冗余信息对深度预测的干扰，提高图像深度预测模型的输出质量。
62、3、本发明提出一种基于深度引导的图像检测模型，该模型将深度预测模型的输出特征嵌入到传统检测模型中，通过使用深度信息引导的方案准确得到物体的类别和位置信息；该模型是基于深度信息特征嵌入的卷积网络算法，通过在解码器下采样操作前嵌入深度预测模型输出的所述深度增强特征，利用深度特征图中场景对象的相对位置关系帮助定位检测目标的位置，解码端最终得到的是更加准确的图像类别和位置信息。
1.一种盲人导航方法，其特征在于，包括：
2.根据权利要求1所述的一种盲人导航方法，其特征在于，所述定位与地图构建算法是基于orb特征提取的算法。
3.根据权利要求2所述的一种盲人导航方法，其特征在于，所述定位与地图算法获得的摄像头位姿信息包括旋转矩阵r和平移向量t。
4.根据权利要求1所述的一种盲人导航方法，其特征在于，所述基于混合网络的图像深度预测模型是基于传感器特征嵌入的混合网络算法，根据所述基于传感器特征嵌入的混合网络算法对输入图像进行预先训练，输出所述图像数据中的像素深度信息。
5.根据权利要求4所述的一种盲人导航方法，其特征在于，所述基于传感器特征嵌入的混合网络算法包括：卷积层、下采样和上采样、跳跃连接、残差块、transformer块以及特征融合模块；
6.根据权利要求5所述的一种盲人导航方法，其特征在于，所述混合网络算法中的特征融合模块具体实现过程包括：所述局部特征图经通道维度融合，得到与所述全局特征结合的融合特征图；所述融合特征图经尺寸为3×3的卷积核，得到卷积中间特征图；所述卷积中间特征图经通道融合和非线性激活函数，得到加权特征图掩膜；将所述加权特征图掩膜作用于所述卷积中间特征图并与所述局部特征图求和，得到深度增强特征；所述特征融合模块的具体公式为：
7.根据权利要求1所述的一种盲人导航方法，其特征在于，所述基于深度引导的图像检测模型是基于深度信息特征嵌入的卷积网络算法，具体实现过程包括：
8.一种盲人导航设备，其特征在于，包括：数据获取模块、信息处理模块和导航模块；
9.根据权利要求8所述的一种盲人导航设备，其特征在于，算法单元利用图像深度预测模型处理所述多帧图像数据，得到每个所述像素的深度信息；
10.根据权利要求8所述的一种盲人导航设备，其特征在于，所述算法单元利用图像检测模型处理所述多帧图像数据，得到所述物体的类别和位置信息；
