1.本发明涉及智能导盲技术领域，尤其涉及一种基于激光雷达的智能导盲方法、装置及系统。
背景技术：2.如何安全行走，是盲人生活中面临的最大问题。盲人一般都是依靠一根手杖，或者再带上导盲犬出行，但是这样的方式并不可靠，局限性很大，长时间的拄杖点地会造成人的疲劳，而且探索范围小，导盲犬容易受外界因素的诱惑，从而误导盲人。
3.对于盲人在生活或者外出环境中，缺少一种相应的实时导盲设备，例如在室内环境中能够准确的告知盲人该如何避让障碍物，而在室外环境中同样能够准确的进行障碍物的识别，并提前告知盲人进行避让，然而在现实中，对于患有视觉障碍的人群而言，缺乏一种能实时对其周边物体有效识别，并向使用者准确的提供物体的名称以及各种信息，由此导致盲人在出行或者生活中对于周边的环境感知力较差，无法获取更多的周边信息以供参考，并且无法预知可能存在的障碍物的位置等等，因此导致视觉障碍患者对于周边环境的安全程度受到影响，无法满足视觉障碍患者的日常出行需求。
技术实现要素：4.针对现有技术的不足，本发明提供了一种基于激光雷达的智能导盲方法、装置及系统，解决了目前缺乏一种能实时对其周边物体有效识别，并向使用者准确的提供物体的名称以及各种信息的技术问题，本发明能够对盲人出行进行导盲并提供准确的路径以及环境的引导，从而提高了盲人出行的安全、便利，并实现精准的实时在线导盲效果。
5.为解决上述技术问题，本发明提供了如下技术方案：一种基于激光雷达的智能导盲方法，包括以下步骤：
6.s1、获取被探测物体的反馈信息；
7.s2、根据反馈信息构建被探测物体的点云图；
8.s3、根据点云图计算得出被探测物体的真实信息；
9.s4、通过真实信息判断并识别被探测物体的名称；
10.s5、将被探测物体的名称以及相应的物体信息转化为人机接口的可感应信息发送至人机接口器件。
11.进一步地，在步骤s3中，真实信息包括被探测物体与人的坐标、被探测物体的形状、大小、距离、速度以及材质数据。
12.进一步地，在步骤s4和s5之间，还包括步骤s410，根据真实信息进行场景识别，并自动切换与当前场景下相对应的工作模式，具体包括以下步骤：
13.s411、接收若干个被探测物体的真实信息；
14.s412、根据若干个被探测物体的真实信息得出人员所处位置的环境信息，环境信息包括室外环境信息以及室内环境信息；
15.s413、通过环境信息进行场景识别；
16.s414、根据场景识别结果自动切换相应的工作模式，工作模式包括室外工作模式、室内工作模式。
17.进一步地，在步骤s4中，通过真实信息判断并识别被探测物体的名称包括以下步骤：
18.s41、提取被探测物体真实信息的第一特征信息；
19.s42、根据第一特征信息从物体模型数据库中提取与其相应物体模型的第二特征信息；
20.s43、比较第一特征信息与第二特征信息的特征差异；
21.s44、根据特征差异判断被探测物体与物体模型是否匹配，若被探测物体与物体模型相匹配，则得出物体识别结果并给出物体名称，若否，则返回步骤s42。
22.进一步地，在步骤s42中，若提取出了多个与第一特征信息相匹配的第二特征信息，则由步骤s44进入下一步；
23.s45、将第一特征信息分别与多个第二特征信息进行相似性逐一比较，分别得出每次相似性比较的结果值，若相似度结果值大于预设阈值则得出物体识别结果并给出物体名称，若相似度结果值小于预设阈值，则给出与相似度结果值最大相对应第二特征信息的物体名称。
24.本发明还提供了一种用于实现上述智能导盲方法的装置，该装置包括：
25.反馈信息获取模块，所述反馈信息获取模块用于获取被探测物体的反馈信息；
26.点云图构建模块，所述点云图构建模块用于根据反馈信息构建被探测物体的点云图；
27.真实信息计算模块，所述真实信息计算模块用于根据点云图计算得出被探测物体的真实信息；
28.物体名称识别模块，所述物体名称识别模块用于通过真实信息判断并识别被探测物体的名称；
29.物体名称发送模块，所述物体名称发送模块用于将被探测物体的名称以及相应的物体信息转化为人机接口的可感应信息发送至人机接口器件。
30.进一步地，该装置还包括：工作模式切换模块，所述工作模式切换模块用于根据真实信息进行场景识别，并自动切换与当前场景下相对应的工作模式。
31.本发明还提供了一种用于实现上述智能导盲方法的系统，该系统包括：
32.探测系统，所述探测系统用于对使用人员所处周边环境中所存在的各种物体进行探测并得到各物体相应的特征信息；
33.数据处理系统，所述数据处理系统接收探测系统所探测到的各物体相应的特征信息，用于通过特征信息识别各物体的名称以及相应的物体信息，并将其转化为人机接口的可感应信息；
34.人机交互系统，所述人机交互系统接收数据处理系统输出的人机接口的可感应信息，用于将可感应信息传递给使用人员进行引导。
35.进一步地，该系统还包括：场景模式切换系统，
36.所述场景模式切换系统接收数据处理系统中的识别各物体的名称以及相应的物
体信息，用于根据物体的名称以及相应的物体信息进行场景识别，并根据识别结果自动切换与当前场景下相对应的工作模式。
37.进一步地，该系统还包括：
38.蓝牙模块，所述蓝牙模块用于探测系统和数据处理系统之间建立无线网络连接并实时传输数据信息；
39.gps/北斗定位模块，所述gps/北斗定位模块用于对使用人员所处位置进行精准定位，并将定位信息传输至数据处理系统；
40.4g/5g模块，所述4g/5g模块用于连接网络并与外部建立通信；
41.系统供电模块，所述系统供电模块用于为智能导盲系统提供额定的直流电源。
42.借由上述技术方案，本发明提供了一种基于激光雷达的智能导盲方法、装置及系统，至少具备以下有益效果：
43.1、本发明能够识别障碍物并告知视觉障碍人员障碍物的类别和大小以实现避障，同时针对出行限界进行测量，避免误报或者多报信息，简单易用，并且能够对障碍物的速度进行测量，提前预知障碍物的运动方向和速度，有效提醒视觉障碍人员提前避让。
44.2、本发明能够主动对盲人周边的物体进行识别并给出相应的物体名称，能够有助于盲人通过听觉的可感知信息对周边环境进行了解，并准确地得到周边物体所处的位置，因此能够对盲人出行进行导盲并提供准确的路径以及环境的引导，从而提高了盲人出行的安全、便利，并实现精准的实时在线导盲效果。
45.3、本发明能够主动识别使用人员所处的场景，并根据场景的不同自动切换相应的室内工作模式或室外工作模式，以此能够使不同的场景相匹配不同的工作模式，从而能够更加准确的与导盲场景相贴合，不仅提高对于使用人员的导盲效果，同时还提高了导盲引导的精准性，并结合实际情况为盲人提供更为精确的引导信息。
46.4、本发明能够更为精准的提高对于物体名称的识别以及判断，在识别物体过程中出现多个与数据库中相匹配的物体模型，此时能够再次进行相似性的比较，并增设相似度结果阈值，能够给出与相似度值最大的一个物体名称，使被探测物体的名称与现实中最为接近，从而提高了对于物体的识别能力。
附图说明
47.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
48.图1为本发明实施例一中智能导盲方法的流程图；
49.图2为本发明实施例一中判断并识别被探测物体的名称的流程图；
50.图3为本发明实施例一中智能导盲装置的原理框图；
51.图4为本发明实施例一中横向测量视场角的原理示意图；
52.图5为本发明实施例一中垂直(纵向)测量视场角的原理示意图；
53.图6为本发明实施例一中角度变换计算原理示意图；
54.图7为本发明实施例一中物体形状计算原理示意图；
55.图8为本发明实施例一中物体识别的流程图；
56.图9为本发明实施例一中光脉冲工作的原理框图；
57.图10为本发明实施例一中测距的电路工作原理图；
58.图11为本发明实施例一中测距的工作过程原理图；
59.图12为本发明实施例一中被探测物体速度的计算示意图；
60.图13为本发明实施例一中被探测物体材质的反射率曲线图；
61.图14为本发明实施例一中地面积水深度计算的原理示意图；
62.图15为本发明实施例一中被探测物体的点云图和实物图；
63.图16为本发明实施例一中tof模组结构示意图；
64.图17为本发明实施例一中的成像原理图；
65.图18为本发明实施例一中目标对应像元成像的原理图；
66.图19为本发明施例一中智能导盲系统的交互示意图；
67.图20为本发明实施例二中智能导盲方法的流程图；
68.图21为本发明实施例二中切换工作模式方法的流程图；
69.图22为本发明实施例二中智能导盲装置的原理框图；
70.图23为本发明实施例四中智能导盲系统的交互示意图；
71.图24为本发明实施例五中智能导盲系统的原理框图。
72.图中：100、反馈信息获取模块；200、点云图构建模块；300、真实信息计算模块；400、物体名称识别模块；500、物体名称发送模块；401、工作模式切换模块；10、探测系统；20、数据处理系统；30、人机交互系统；40、景模式切换系统；50、蓝牙模块；60、gps/北斗定位模块；70、4g/5g模块；80、系统供电模块。
具体实施方式
73.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。借此对本技术如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
74.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
75.实施例一
76.请参照图1-图18，示出了本实施例的一种实施方式，本实施例能够识别障碍物并告知视觉障碍人员障碍物的类别和大小以实现避障，同时针对出行限界进行测量，避免误报或者多报信息，简单易用，并且能够对障碍物的速度进行测量，提前预知障碍物的运动方向和速度，有效提醒视觉障碍人员提前避让。
77.请参照图1，一种基于激光雷达的智能导盲方法，包括以下过程：
78.s1、获取被探测物体的反馈信息，反馈信息由fot激光雷达探测物体提供，其中包含物体所反馈的坐标信息、距离信息以及物体的材质信息等，fot激光雷达；
79.s2、根据反馈信息构建被探测物体的点云图；
80.在fot激光雷达探测其前面的物体时，激光发射器所发射的多线束激光照射到物
体点，物体表面的点反射光回到fot激光雷达的接收器上，得到反射点的坐标(x，y，z)、距离(z)、速度(多次脉冲z的变化)、反射点的反射效率(不同反射材料的反射率)等相关信息。将多点组成的面反射多点数据融合就是fot激光雷达的点云信息，将点云信息进行点云成像得到被探测物体的点云图，点云图上的每一个点都是携带了反射点的坐标(x，y，z)、距离、速度、反射点的反射效率等信息，如图15所示，为被探测物体的实物图和点云图的示例。
81.点云图上每一个点携带了位置角度，距离，反射光强度等信息，根据位置角度信息可以转换为以人为中心的坐标信息可用于识别物体与人之间的距离。距离信息转换为物体的外形尺寸信息用于对物体的识别如人、树、车等。光强度信息转换为物体表面的材质信息用于识别路面状态、水坑、马路、泥土、路等。
82.s3、根据点云图计算得出被探测物体的真实信息；
83.在步骤s3中，真实信息包括被探测物体与人的坐标、被探测物体的形状、大小、距离、速度以及材质数据。
84.探测物体与人的坐标的计算为：
85.请参照图4和图5，fot激光雷达辅助出行限界探测，对于行人在路上行走人行宽度探测约为1.5m，探测人前方30cm位置如图4，根据三角关系可计算得到探测的横向视场为：
[0086][0087]
探测高度为2.5m，探测人前方30cm位置如图5，根据三角关系可计算得到探测的垂直视场为：
[0088][0089]
在图4和图5中采用垂直于地面的设计为参考物，以此为坐标的原点，计算标定探测物体到远点的距离坐标。
[0090]
请参照图6，设tof雷达某一点的读数为(ρ，α，θ)，其中ρ为距离值，α和θ分别为此光线对应的水平和俯仰方向的角度。
[0091]
则该数据点的空间坐标(x，y，z)为：
[0092]
z＝ρcos(α)
[0093]
x＝ρsin(α)cos(θ)
[0094]
y＝ρsin(α)sin(θ)
[0095]
对于点云图像我们将得到无数个点，每一个点的坐标都为(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)
…
(xn，yn，zn)，得到这n个坐标值，那么对于同一个反射平面内的物体其(x，y，z)在滤波后为连续变化，规定其坐标突变值大于某一个阈值后，认为其为两个物体，此时可以算出物体的边界，将这个物体所有的(x，y，z)坐标取一个平均得到这个物体的中心位置坐标(xm，ym，zm)，同时也可以得到距离最近的坐标(xd，yd，zd)。
[0096]
具体算法如下：
[0097]
a、假设一个边长为a的立方体，其内部包含5个点，定义为细胞点，这个细胞点内的坐标变化最大值即为a，当5个坐标的变化在《＝a，认为此坐标变化连续。当前的坐标为(x1，y1，z1)，中心坐标为：
[0098][0099]
b、延伸坐标再进行一次a的计算得到一个(x
m+1
，y
m+1
，z
m+1
)，与前一个(xm，ym，zm)相邻比较判断坐标变化是否连续，如果连续，坐标继续延伸。
[0100]
c、直到坐标突变发生，当坐标任意(x，y，z)一个值发生突变，则认为此方向已经到达一个边沿，此边沿为物体边沿特征点，物体三个维度，三个维度通过相同的方法，将三个方向的突变点找到，得到三个方向的突变点坐标。
[0101]
d、将物体距离激光发射点最近的坐标点给出(xd，yd，zd)。
[0102]
被探测物体形状的计算过程为：
[0103]
请参照图7，通过上述探测物体与人的坐标的计算过程中所涉及的中心坐标，可以得到如图7的
①②③④⑤⑥
几个物体界面的不连续突变坐标点。如
①
坐标为(x1，y1，z1)其突变点在z坐标，但是与其连续的z坐标一直延伸至点(x2，y2，z2)，z再变化就发生突变不连续，认为是物体的上边沿，以此可以计算物体的高度，同理可以计算物体的宽度和长度。
[0104]
从图7可以得到
①②③④⑤⑥
条光线返回的物体上的点的坐标分别为(x1，y1，z1)、(x2，y2，z2)、(x3，y3，z3)、(x4，y4，z4)、(x5，y5，z5)和(x6，y6，z6)。
[0105]
其中
①②
的x1＝x2，y1＝y2，物体的高度为：
[0106]
h＝z
2-z1[0107]
由
③④
点坐标(x3，y3，z3)、(x4，y4，z4)中z3＝z4，计算得到物体的宽度为：
[0108][0109]
由
⑤⑥
点坐标(x5，y5，z5)、(x6，y6，z6)中z5＝z6计算得到物体的长度为：
[0110][0111]
以上公式只是从边沿特殊点的计算，实际在成像过程中一个物体上有很多个这样的点，通过多个点的计算得出被探测物体的数据，将所有连续点的坐标进行平滑滤波处理得到整个被探测物体上面点坐标的光滑分布，即可得出被探测物体表面的形状特性。
[0112]
对点云数据来说，不同设备的采集、光线强度的影响，都会造成不同程度的点云数据缺陷。如点云数据的噪声点，在因采集设备距离采样地物较远时，采集到的点云数据存在着不连续块状孔洞、遮挡物如树木植被等对真实点的遮挡等。因此在对实测三维数据进行相关数字几何处理和应用之前必须对其进行去噪滤波。点云的去噪滤波是三维数据预处理和建模的重要环节，目的是有效剔除噪声点、使重建表面模型光顺平滑，并保持采样表面原有的拓扑和几何特征不变。
[0113]
数据平滑滤波处理通常采用标准的高斯滤波法、平均值滤波法或中值滤波算法。
[0114]
高斯滤波法：该方法以高斯滤波器在指定区域内将高频的噪声滤除。高斯滤波法在指定域内的权重为高斯分布，其平均效果较小，在滤波的同时，能较好的保持原数据形貌。
[0115]
平均值滤波法：该方法将采样点的值去滤波窗口内各数据点的统计平均值来取代原始点，改变点云的位置，使点云平滑。
[0116]
中值滤波法：该方法将相邻的三个点取平均值来取代原始点，实现滤波。中值滤波
法采样点的值，取滤波窗口内各数据点的统计中值，故这种方法在消除毛刺方面效果较好。假设相邻的3点分别是p0，p1，p2，通过中值滤波法得到的新点p＝(p1+p2+p3)/3。
[0117]
请参照图8，数据点云是复杂稀疏的，从众多角度中都不足以识别出物体的形态，所以必须找到一种基于复杂点云的三维重建方法，如图8的算法执行逻辑。
[0118]
将待重建的三维物体表面微分为一个个元胞(可以是小三角形或者立方体形状)形面，如果这些元胞形面数量越多，那么显示出来的图形效果将越精致、光滑。其中，每个元胞形面就成为构成三维复杂物体的基本图元，它有几个顶点，这样，三维物体的重建工作就转换为逼近的微小元胞形面的重建，而三维物体的图形方位数据就可以用元胞形面的顶点坐标来存储。本质上讲，这些元胞形面实际上反映了离散点间正确的拓扑连接关系，从而有效地揭示了离散数据集所表现的重建物体表面的形状和拓扑结构。
[0119]
在点云拓扑数据来连接中数据点之间的连接进行求导计算数据变化的梯度，梯度的变化设置阈值，阈值大于某一个数值认为既是物体的变化边沿，得到物体边沿变化的特征点进行网络连接，完成物体形状的描绘，物体上的图面和形状也可以用此方法得到，经过网格化的拼接得到物体的形状，物体的形状得到后与数据库中的物体模型进行对比，进行物体的识别。
[0120]
被探测物体大小的计算为：
[0121]
通过上述被探测物体的形状计算可得到其高度h、宽度w和长度l，被探测物体的大小v为：
[0122]
v＝h
×w×
l
[0123]
在得到被探测物体的大小后，将所有连续点的坐标进行平滑滤波处理得到整个被探测物体上面点坐标的光滑分布，既可以得到物体的形状特性。
[0124]
被探测物体与人之间距离的计算过程为：
[0125]
fot激光雷达利用激光在空气中传播的速度特性，通过测试激光脉冲在被测目标距离走一个往返的时间来测定目标的距离，fot激光测距雷达对目标发射一个或一列很窄的光脉冲，测量自发射光脉冲起始，到达目标并由目标返回到接收机的时间，由此计算出目标距离。
[0126]
请参照图16、图17和图18，tof激光雷达包括间接测距的tof和直接测距的tof，测距模组如图16所示。
[0127]
激光发射器为是半导体激光器，包括边发射激光器或者面发射激光器和激光光束整形与匀化等，激光照射物体表面。
[0128]
激光驱动器是激光发射器的开关控制，可以是连续波调制也可以是脉冲调制激光器的发射。
[0129]
激光接收器为激光照射到物体表面后，反射光携带了物体相关信息被激光接收器接收到，并对反射的激光进行处理成像得到物体的基本散点图像。
[0130]
tof模组的发射光部分发射的光经过光学整形或者调制后为面光源或者多点光源，光直接照射的物体的表面，如图17所示，物体表面反射的光经过接收镜头到接收芯片成像，每一个芯片的像元对应一个物体照射区域，如图18所示，多分辨率的像元组成物体的点云图像，如图15所示。
[0131]
设目标距离为r，激光脉冲往返经过的时间为t，激光在空气中传播速度为c，则目
标距离r的计算公式为：
[0132][0133]
上式中，r单位是m，t单位是秒，c是光速。
[0134]
根据在使用环境的不同，接收的激光功率与探测距离的平方成反比与发射光能量成正比，所以当为了得到同样的接收功率情况下探测更远距离可以调节发射光能量大小来实现。例如室外工作模式，室内工作模式，夜间工作模式等，调节tof的工作方式来对探测距离的远近进行调节：
[0135]
1、工作为高频和低频，当高频时测试距离近，低频时测试距离远。
[0136]
2、调节发射光能量，发射光能量大可探测距离远，能量小可探测距离近。当测试为远距离时实现提前预警，人为或者智能模式控制测试的远近模式。
[0137]
tof测距的脉冲调制方案的原理如图9所示，它直接根据脉冲发射和接收的时间差来测算距离。
[0138]
脉冲调制方案的光源按照方波脉冲调制，接收端的买个像都是由一个感光单元组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关(图10中的g0，g1)，将把电流导入不同的可以存储电荷的电容里(图10中的s0，s1)。
[0139]
激光光源打开发射一个光脉冲然后再关闭，在同一时刻，控制单元打开和关闭接收端的电子快门，接收端接收到的电荷s0被存储在感光元件中。然后，控制单元第二次打开关闭电源。这次快门打开时间较晚，即在光源被关闭的时间点打开，新接收的电荷s1也被存储起来，具体过程如图11所示为tof激光雷达测距工作过程的原理示意图。
[0140]
因为单个光脉冲的持续时间非常短，此过程会重复多次，直到达到曝光时间。然后感光传感器的值会被读出，实际距离可以根据这些值来计算。
[0141]
标记光的速度为c，t
p
为光脉冲的持续时间，s0表示较早的快门收集的电荷，s1表示延迟的快门收集的电荷，那么距离d可以由公式计算为：
[0142][0143]
最小的可测量距离是：在较早的快门期间s0中收集了所有的电荷，而在延迟的快门期间s1没有收集到电荷，即s1＝0，代入公式会得出最小可测量距离d＝0。
[0144]
最大的可测量的距离是：在s1中收集了所有电荷，而在s0中根本没有收集到电荷，然后该公式得出，因此最大可测量距离是通过光脉冲宽度来确定的。如t
p
＝100ns，代入可得到测量距离为15m。
[0145]
被探测物体速度的计算为：
[0146]
请参照图12，设被探测物体朝向tof激光雷达的速度为v，tof激光雷达接收发射的第一个脉冲时间为t1，可以得到被探测物体的距离为d1，tof激光雷达发射第二个脉冲，接收的时间为t2，可以得到被探测物体的距离为d2，两次的距离差就是被探测物体前进的距离
△
d，也就是两次脉冲探测物体距离的变化，所以可以计算被探测物体的前进速度为：
[0147]
v＝(d1-d2)/(t1-t2)
[0148]
被探测物体材质的确认为：
[0149]
请参照图13，从图中可以看到对于不同的材料表面光的反射率不同，所以对于每
一个产品在出厂前对不同表面的物体反射率进行标定，当物体反射回来的光波能量和标定的反射率数据进行对比后判断反射物体的材质。
[0150]
s4、通过真实信息判断并识别被探测物体的名称；
[0151]
请参照图2，在步骤s4中，通过真实信息判断并识别被探测物体的名称包括以下步骤：
[0152]
s41、提取被探测物体真实信息的第一特征信息，被探测物体的第一特征信息为提取物体的特征点几何属性、形状属性、结构属性或者多种属性的组合等；
[0153]
s42、根据第一特征信息从物体模型数据库中提取与其相应物体模型的第二特征信息，在物体模型数据库中存储大量带有相应特征信息的物体模型，第二特征信息是预先将不同物体的特征点几何属性、形状属性、结构属性或者多种属性的组合等存储在数据库中，并对各项物体根据其所属种类进行分类储存，例如家具、家电、装饰品、交通设施等，由此构成各种类别下的各种物体模型。
[0154]
同时基于图像的物体模型数据库创建方法可以大致分为图像数据采集、三维信息提取、三维模型构建和纹理映射等四个阶段。图像数据采集主要是拍摄日常生活中室内以及室外所常见的各种物体图片，从图片中提取其中物体的三维信息，包括图片像素点的三维坐标，根据2d的rgb图和物体对应的binary mask预测像素点的三维坐标(x，y，z)，三维模型构建为点云融合这一过程，将大量的三维坐标进行点云融合得到物体的3d模型，纹理映射阶段则是根据3d模型生成新的2d投影，跟groundtruth比对计算loss，而其中的关键就是把从图像中获取的这些原始的、可能含有噪声的三维信息转化为一个特定的真实感的三维物体模型。以桌子为例，需要使用雷达模组拍摄不同的形状的桌子，建立多种桌子的三维数据库，分类完成后存储在桌子特性数据库内。
[0155]
s43、比较第一特征信息与第二特征信息的特征差异；
[0156]
s44、根据特征差异判断被探测物体与物体模型是否匹配，若被探测物体与物体模型相匹配，则得出物体识别结果并给出物体名称，若否，则返回步骤s42；
[0157]
在本实施例中，首先利用图割的方法对点云场景进行分割，然后提取每个物体的位置、离最近路边的距离等特征信息，最后利用支持向量完成物体的分类和识别，在识别时采用神经网络算法先对特定的室外场景物体例如树，台阶，车子进行训练。同时也对室内物品，桌子，椅子，沙发，碗筷等进行训练，建立离线物体特征数据库，当在外面遇到既有相同特征数据点的物体时，调用数据库内容进行特征点的对比，进行匹配和相似度比较，然后将多个模型进行验证后再给出与数据库最相近的物体名称。
[0158]
s5、将被探测物体的名称以及相应的物体信息转化为人机接口的可感应信息发送至人机接口器件，可感应信息主要为语音形式的信息提供给盲人，人机接口器件包括但不限于智能手杖、可穿戴设备以及应用于自动驾驶领域中的引导器件，可穿戴设备包括但不限于眼镜、手环、脚环、帽子、智慧轮椅以及智慧平衡车等。
[0159]
在本实施例所提供的导盲方法中，能够主动对盲人周边的物体进行识别并给出相应的物体名称，能够有助于盲人通过听觉的可感知信息对周边环境进行了解，并准确地得到周边物体所处的位置，因此能够对盲人出行进行导盲并提供准确的路径以及环境的引导，从而提高了盲人出行的安全、便利，并实现精准的实时在线导盲效果。
[0160]
请参照图3，本实施例还提供了一种用于实现上述智能导盲方法的装置，该装置包
括：
[0161]
反馈信息获取模块100，反馈信息获取模块100用于获取被探测物体的反馈信息；
[0162]
点云图构建模块200，点云图构建模块200用于根据反馈信息构建被探测物体的点云图；
[0163]
真实信息计算模块300，真实信息计算模块300用于根据点云图计算得出被探测物体的真实信息；
[0164]
物体名称识别模块400，物体名称识别模块400用于通过真实信息判断并识别被探测物体的名称；
[0165]
物体名称发送模块500，物体名称发送模块500用于将被探测物体的名称以及相应的物体信息转化为人机接口的可感应信息发送至人机接口器件。
[0166]
请参照图19，本实施例还提供了一种用于实现上述智能导盲方法的系统，该系统包括：
[0167]
探测系统10，探测系统10用于对使用人员所处周边环境中所存在的各种物体进行探测并得到各物体相应的特征信息；
[0168]
数据处理系统20，数据处理系统20接收探测系统10所探测到的各物体相应的特征信息，用于通过特征信息识别各物体的名称以及相应的物体信息，并将其转化为人机接口的可感应信息；
[0169]
人机交互系统30，人机交互系统30接收数据处理系统20输出的人机接口的可感应信息，用于将可感应信息传递给使用人员进行引导。
[0170]
通过本实施例能够主动对盲人周边的物体进行识别并给出相应的物体名称，能够有助于盲人通过听觉的可感知信息对周边环境进行了解，并准确地得到周边物体所处的位置，因此能够对盲人出行进行导盲并提供准确的路径以及环境的引导，从而提高了盲人出行的安全、便利，并实现精准的实时在线导盲效果。
[0171]
实施例二
[0172]
请参照图20-图22，示出了本实施例二的一种实施方式。
[0173]
请参照图20，一种基于激光雷达的智能导盲方法，包括以下步骤：
[0174]
s1、获取被探测物体的反馈信息；
[0175]
s2、根据反馈信息构建被探测物体的点云图；
[0176]
s3、根据点云图计算得出被探测物体的真实信息；
[0177]
s4、通过真实信息判断并识别被探测物体的名称；
[0178]
s410、根据真实信息进行场景识别，并自动切换与当前场景下相对应的工作模式；
[0179]
s5、将被探测物体的名称以及相应的物体信息转化为人机接口的可感应信息发送至人机接口器件。
[0180]
请参照图21，根据真实信息进行场景识别，并自动切换与当前场景下相对应的工作模式，具体包括以下过程：
[0181]
s411、接收若干个被探测物体的真实信息，真实信息包括被探测物体与人的坐标、被探测物体的形状、大小、距离、速度以及材质数据；
[0182]
s412、根据若干个被探测物体的真实信息得出人员所处位置的环境信息，环境信息包括室外环境信息以及室内环境信息，其中室外环境信息以马路场景为例，所涵盖的被
探测物体包括但不限于树木、行人、台阶、车辆、动物、斑马线、路灯、垃圾桶、交叉路口、红绿灯、指示牌等；
[0183]
室内环境信息所涵盖的被探测物体包括但不限于桌椅、凳子、餐具、厨房、开关、门把手、人脸、电视、各种食材以及相应的各类家用电器等设备；
[0184]
s413、通过环境信息进行场景识别，通过fot激光雷达对人员所处环境中的各种被探测物体的识别之后，能够根据这些物体在该环境中出现的次数或数量等信息进行场景识别，由此能够确定使用人员是处在室外环境中或者室内环境中；
[0185]
s414、根据场景识别结果自动切换相应的工作模式，工作模式包括室外工作模式、室内工作模式，在室外工作模式中以马路场景工作模式为例，同时室外工作模式和室内工作模式都包含相应的夜晚工作模式，根据场景中光线的强弱自动进行识别，配合光线感应相关模块即可实现。
[0186]
在本实施例中，主动工作可以根据环境选择不同的场景工作模式，比如马路工作模式，夜晚工作模式，室内工作模式等。每个场景对激光雷达的信号发射和接收处理不同，得到不同的反馈，实现人员的主动控制，但是对于系统内部来说基本的流程相同。
[0187]
室内工作模式：室内的信号探测距离短、干扰光信号弱、探测距离短，激光雷达工作在低功率模式，发射的光频率也处于较低的频率。例如可以发射较低频率的脉冲光信号，较低能量的光脉冲峰值。或者较低频率变化的连续光信号，低的平均光能量。
[0188]
室外工作模式：干扰大、探测距离远同时需要判断物体的移动速度，就需要发射高频的脉冲，高的光能量峰值，或者高的平均功率能量，以避免光的衰减。同时由于信号的干扰采用编码信号进行抗干扰设计。
[0189]
主动工作模式基于人走入不同的环境来自主进行选择：
[0190]
当人进入室内环境即可通过按钮或者声音控制使其进入室内环境的工作模式。在室内环境工作模式中，室内环境光线没有外界环境强，光线干扰少，信号噪声小，室内距离小，工作探测距离也小，所以fot激光雷达工作中需要发射的激光信号就弱。同时室内的环境变换较大，室内物品较多，此时fot激光雷达根据探测物体的距离和形状，识别物体告诉盲人物体的位置和名称，同时根据slam算法建立整个室内的基本地图。
[0191]
当人到外部环境遇到的数目、人流、车流，此时主动选择户外工作模式。在户外的干扰较大，fot激光雷达通过发射光波的能量也提升，需要探测的距离和速度参数范围较大，fot激光雷达的工作频率也提高，同时结合gps定位来给出人的位置信息已经周围环境信息。
[0192]
人员在走入不同的环境时，环境的变化导致工作模式的变化：当天气的变化，比如降雨环境，当fot激光雷达发现光进入有雨的环境中，雨水导致fot激光雷达探测光的衰减，控制湿度的增加，降雨的声音判断进入了雨水环境，此时地面有积水，地面湿滑，给到可穿戴设备的信息微雨水环境工作模式，此工作模式下要求雷达对地面积水进行判断，积水的判断可以基于摄像头的图像识别积水的面积，同时雷达的光具有穿透水的能量，当光穿透水面经过水的底面反射回来，就有两个反射一个是水面反射的光(实线)，一个是地面反射的光(虚线)，如图14所示，反射的光程差即可计算水坑的深度。
[0193]
请参照图22，本实施例还提供了一种用于实现上述智能导盲方法的装置，该装置包括：
[0194]
反馈信息获取模块(100)，所述反馈信息获取模块(100)用于获取被探测物体的反馈信息；
[0195]
点云图构建模块(200)，所述点云图构建模块(200)用于根据反馈信息构建被探测物体的点云图；
[0196]
真实信息计算模块(300)，所述真实信息计算模块(300)用于根据点云图计算得出被探测物体的真实信息；
[0197]
物体名称识别模块(400)，所述物体名称识别模块(400)用于通过真实信息判断并识别被探测物体的名称；
[0198]
工作模式切换模块(401)，所述工作模式切换模块(401)用于根据真实信息进行场景识别，并自动切换与当前场景下相对应的工作模式；
[0199]
物体名称发送模块(500)，所述物体名称发送模块(500)用于将被探测物体的名称以及相应的物体信息转化为人机接口的可感应信息发送至人机接口器件。
[0200]
通过本实施例能够主动识别使用人员所处的场景，并根据场景的不同自动切换相应的室内工作模式或室外工作模式，以此能够使不同的场景相匹配不同的工作模式，从而能够更加准确的与导盲场景相贴合，不仅提高对于使用人员的导盲效果，同时还提高了导盲引导的精准性，并结合实际情况为盲人提供更为精确的引导信息。
[0201]
实施例三
[0202]
通过真实信息判断并识别被探测物体的名称包括以下步骤：
[0203]
s41、提取被探测物体真实信息的第一特征信息，被探测物体的第一特征信息为提取物体的特征点几何属性、形状属性、结构属性或者多种属性的组合等；
[0204]
s42、根据第一特征信息从物体模型数据库中提取与其相应物体模型的第二特征信息，在物体模型数据库中存储大量带有相应特征信息的物体模型，第二特征信息是预先将不同物体的特征点几何属性、形状属性、结构属性或者多种属性的组合等存储在数据库中，并对各项物体根据其所属种类进行分类储存，例如家具、家电、装饰品、交通设施等，由此构成各种类别下的各种物体模型。
[0205]
同时基于图像的物体模型数据库创建方法可以大致分为图像数据采集、三维信息提取、三维模型构建和纹理映射等四个阶段。图像数据采集主要是拍摄日常生活中室内以及室外所常见的各种物体图片，从图片中提取其中物体的三维信息，包括图片像素点的三维坐标，根据2d的rgb图和物体对应的binary mask预测像素点的三维坐标(x，y，z)，三维模型构建为点云融合这一过程，将大量的三维坐标进行点云融合得到物体的3d模型，纹理映射阶段则是根据3d模型生成新的2d投影，跟groundtruth比对计算loss，而其中的关键就是把从图像中获取的这些原始的、可能含有噪声的三维信息转化为一个特定的真实感的三维物体模型。以桌子为例，需要使用雷达模组拍摄不同的形状的桌子，建立多种桌子的三维数据库，分类完成后存储在桌子特性数据库内。
[0206]
s43、比较第一特征信息与第二特征信息的特征差异；
[0207]
s44、根据特征差异判断被探测物体与物体模型是否匹配，若被探测物体与物体模型相匹配，则得出物体识别结果并给出物体名称，若否，则返回步骤s42，若在步骤s42中，提取出了多个与第一特征信息相匹配的第二特征信息，则进入下一步；
[0208]
s45、将第一特征信息分别与多个第二特征信息进行相似性逐一比较，分别得出每
次相似性比较的结果值，若相似度结果值大于预设阈值则得出物体识别结果并给出物体名称，若相似度结果值小于预设阈值，则给出与相似度结果值最大相对应第二特征信息的物体名称，预设阈值为95％的相似度；
[0209]
在本实施例中，首先利用图割的方法对点云场景进行分割，然后提取每个物体的位置、离最近路边的距离等特征信息，最后利用支持向量完成物体的分类和识别，在识别时采用神经网络算法先对特定的室外场景物体例如树，台阶，车子进行训练。同时也对室内物品，桌子，椅子，沙发，碗筷等进行训练，建立离线物体特征数据库，当在外面遇到既有相同特征数据点的物体时，调用数据库内容进行特征点的对比，进行匹配和相似度比较，然后将多个模型进行验证后再给出与数据库最相近的物体名称。
[0210]
本实施例能够更为精准的提高对于物体名称的识别以及判断，在识别物体过程中出现多个与数据库中相匹配的物体模型，此时能够再次进行相似性的比较，并增设相似度结果阈值，能够给出与相似度值最大的一个物体名称，使被探测物体的名称与现实中最为接近，从而提高了对于物体的识别能力。
[0211]
实施例四
[0212]
请参照图23，本实施例提供了一种用于实现上述智能导盲方法的系统，该系统包括：
[0213]
探测系统10，探测系统10用于对使用人员所处周边环境中所存在的各种物体进行探测并得到各物体相应的特征信息；
[0214]
数据处理系统20，数据处理系统20接收探测系统10所探测到的各物体相应的特征信息，用于通过特征信息识别各物体的名称以及相应的物体信息，并将其转化为人机接口的可感应信息；
[0215]
人机交互系统30，人机交互系统30接收数据处理系统20输出的人机接口的可感应信息，用于将可感应信息传递给使用人员进行引导；
[0216]
场景模式切换系统40，场景模式切换系统40接收数据处理系统20中的识别各物体的名称以及相应的物体信息，用于根据物体的名称以及相应的物体信息进行场景识别，并根据识别结果自动切换与当前场景下相对应的工作模式。
[0217]
本实施例的智能导盲系统用于实现前述方法实施例中相应的智能导盲方法，并具有相应的方法实施例的有益效果，在此不再赘述。
[0218]
通过本实施例，能够主动识别使用人员所处的场景，并根据场景的不同自动切换相应的室内工作模式或室外工作模式，以此能够使不同的场景相匹配不同的工作模式，从而能够更加准确的与导盲场景相贴合，不仅提高对于使用人员的导盲效果，同时还提高了导盲引导的精准性，并结合实际情况为盲人提供更为精确的引导信息。
[0219]
实施例五
[0220]
请参照图24，本实施例提供了一种用于实现上述智能导盲方法的系统，该系统包括：
[0221]
探测系统10，探测系统10用于对使用人员所处周边环境中所存在的各种物体进行探测并得到各物体相应的特征信息；
[0222]
数据处理系统20，数据处理系统20接收探测系统10所探测到的各物体相应的特征信息，用于通过特征信息识别各物体的名称以及相应的物体信息，并将其转化为人机接口
的可感应信息；
[0223]
人机交互系统30，人机交互系统30接收数据处理系统20输出的人机接口的可感应信息，用于将可感应信息传递给使用人员进行引导；
[0224]
场景模式切换系统40，场景模式切换系统40接收数据处理系统20中的识别各物体的名称以及相应的物体信息，用于根据物体的名称以及相应的物体信息进行场景识别，并根据识别结果自动切换与当前场景下相对应的工作模式。
[0225]
蓝牙模块50，蓝牙模块50用于探测系统10和数据处理系统20之间建立无线网络连接并实时传输数据信息；
[0226]
gps/北斗定位模块60，gps/北斗定位模块60用于对使用人员所处位置进行精准定位，并将定位信息传输至数据处理系统20；
[0227]
4g/5g模块70，4g/5g模块70用于连接网络并与外部建立通信；
[0228]
系统供电模块80，系统供电模块80用于为智能导盲系统提供额定的直流电源。
[0229]
本实施例的智能导盲系统用于实现前述方法实施例中相应的智能导盲方法，并具有相应的方法实施例的有益效果，在此不再赘述。
[0230]
本发明能够主动对盲人周边的物体进行识别并给出相应的物体名称，能够有助于盲人通过听觉的可感知信息对周边环境进行了解，并准确地得到周边物体所处的位置，因此能够对盲人出行进行导盲并提供准确的路径以及环境的引导，从而提高了盲人出行的安全、便利，并实现精准的实时在线导盲效果。
[0231]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同或相似的部分互相参见即可。对于以上各实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0232]
以上实施方式对本发明进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
技术特征：1.一种基于激光雷达的智能导盲方法，其特征在于，包括以下步骤：s1、获取被探测物体的反馈信息；s2、根据反馈信息构建被探测物体的点云图；s3、根据点云图计算得出被探测物体的真实信息；s4、通过真实信息判断并识别被探测物体的名称；s5、将被探测物体的名称以及相应的物体信息转化为人机接口的可感应信息发送至人机接口器件。2.根据权利要求1所述的智能导盲方法，其特征在于：在步骤s3中，真实信息包括被探测物体与人的坐标、被探测物体的形状、大小、距离、速度以及材质数据。3.根据权利要求1所述的智能导盲方法，其特征在于：在步骤s4和s5之间，还包括步骤s410，根据真实信息进行场景识别，并自动切换与当前场景下相对应的工作模式，具体包括以下步骤：s411、接收若干个被探测物体的真实信息；s412、根据若干个被探测物体的真实信息得出人员所处位置的环境信息，环境信息包括室外环境信息以及室内环境信息；s413、通过环境信息进行场景识别；s414、根据场景识别结果自动切换相应的工作模式，工作模式包括室外工作模式、室内工作模式。4.根据权利要求1所述的智能导盲方法，其特征在于：在步骤s4中，通过真实信息判断并识别被探测物体的名称包括以下步骤：s41、提取被探测物体真实信息的第一特征信息；s42、根据第一特征信息从物体模型数据库中提取与其相应物体模型的第二特征信息；s43、比较第一特征信息与第二特征信息的特征差异；s44、根据特征差异判断被探测物体与物体模型是否匹配，若被探测物体与物体模型相匹配，则得出物体识别结果并给出物体名称，若否，则返回步骤s42。5.根据权利要求4所述的智能导盲方法，其特征在于：在步骤s42中，若提取出了多个与第一特征信息相匹配的第二特征信息，则由步骤s44进入下一步；s45、将第一特征信息分别与多个第二特征信息进行相似性逐一比较，分别得出每次相似性比较的结果值，若相似度结果值大于预设阈值则得出物体识别结果并给出物体名称，若相似度结果值小于预设阈值，则给出与相似度结果值最大相对应第二特征信息的物体名称。6.一种用于实现上述权利1-5任一项所述的智能导盲方法的装置，其特征在于，该装置包括：反馈信息获取模块(100)，所述反馈信息获取模块(100)用于获取被探测物体的反馈信息；点云图构建模块(200)，所述点云图构建模块(200)用于根据反馈信息构建被探测物体的点云图；真实信息计算模块(300)，所述真实信息计算模块(300)用于根据点云图计算得出被探测物体的真实信息；
物体名称识别模块(400)，所述物体名称识别模块(400)用于通过真实信息判断并识别被探测物体的名称；物体名称发送模块(500)，所述物体名称发送模块(500)用于将被探测物体的名称以及相应的物体信息转化为人机接口的可感应信息发送至人机接口器件。7.根据权利要求6所述的智能导盲方法的装置，其特征在于，该装置还包括：工作模式切换模块(401)，所述工作模式切换模块(401)用于根据真实信息进行场景识别，并自动切换与当前场景下相对应的工作模式。8.一种用于实现上述权利1-5任一项所述的智能导盲方法的系统，其特征在于，该系统包括：探测系统(10)，所述探测系统(10)用于对使用人员所处周边环境中所存在的各种物体进行探测并得到各物体相应的特征信息；数据处理系统(20)，所述数据处理系统(20)接收探测系统(10)所探测到的各物体相应的特征信息，用于通过特征信息识别各物体的名称以及相应的物体信息，并将其转化为人机接口的可感应信息；人机交互系统(30)，所述人机交互系统(30)接收数据处理系统(20)输出的人机接口的可感应信息，用于将可感应信息传递给使用人员进行引导。9.根据权利要求7所述的一种基于激光雷达的智能导盲系统，其特征在于，该系统还包括：场景模式切换系统(40)，所述场景模式切换系统(40)接收数据处理系统(20)中的识别各物体的名称以及相应的物体信息，用于根据物体的名称以及相应的物体信息进行场景识别，并根据识别结果自动切换与当前场景下相对应的工作模式。10.根据权利要求7所述的一种基于激光雷达的智能导盲系统，其特征在于，该系统还包括：蓝牙模块(50)，所述蓝牙模块(50)用于探测系统(10)和数据处理系统(20)之间建立无线网络连接并实时传输数据信息；gps/北斗定位模块(60)，所述gps/北斗定位模块(60)用于对使用人员所处位置进行精准定位，并将定位信息传输至数据处理系统(20)；4g/5g模块(70)，所述4g/5g模块(70)用于连接网络并与外部建立通信；系统供电模块(80)，所述系统供电模块(80)用于为智能导盲系统提供额定的直流电源。
技术总结本发明涉及智能导盲技术领域，解决了目前缺乏一种能实时对其周边物体有效识别，并向使用者准确的提供物体的名称以及各种信息的技术问题，尤其涉及一种基于激光雷达的智能导盲方法，包括以下步骤：S1、获取被探测物体的反馈信息；S2、根据反馈信息构建被探测物体的点云图；S3、根据点云图计算得出被探测物体的真实信息；S4、通过真实信息判断并识别被探测物体的名称；S5、将被探测物体的名称以及相应的物体信息转化为人机接口的可感应信息发送至人机接口器件。本发明能够对盲人出行进行导盲并提供准确的路径以及环境的引导，从而提高了盲人出行的安全、便利，并实现精准的实时在线导盲效果。盲效果。盲效果。
技术研发人员：何钰 李勇旗
受保护的技术使用者：西安客都荟商贸有限公司
技术研发日：2022.07.12
技术公布日：2022/11/1
