本发明是基于一种神经辐射场建图的的双目视觉三维重建与定位方法。
背景技术：
1、无人车间的智能化就是实现设备、物料搬运和生产过程的智能化，其中，物料搬运既是重要的辅助生产过程，又是车间物流的重要节点。智能无人车间的物料搬运系统优化了仓库与生产线之间的环节，实现了各个生产环节的物料自动化运输，使生产过程更加高效化、自动化、智能化，而机器人对环境感知是投入实际应用的基础，所以同步定位和三维环境重建变得越来越重要。
2、而传统的无人搬运车(agv)物料搬运面临复杂的室内环境下，获取场景的信息受到多种干扰因素的影响，由于计算资源受限，通过较少的传感器信息去构建高精度的地图重建比较困难，反过来依靠大量的传感信息又会在采集和处理功耗方面产生不可避免的成本。在视觉方面，目前主流是建立二维地图实现导航，采用三维建图的方式应用到路径规划领域需要考虑真实环境元素复杂，所以面对怎样达到高质量的三维重建以及根据三维场景下机器人导航定位问题，如何确定机器人的位姿并建立其与重建场景的几何及碰撞关系问题亟待解决。
3、本发明在结合神经辐射场和slam的基础上，在无人车间工作环境下，设计一种能通过多视图立体匹配训练生成点云实现三维重建，通过位姿估计和后端优化完成自身定位和地图重建，以实现面向无人车间室内高精度的三维场景重建与定位。
技术实现思路
1、下面结合附图，对本发明的技术方案进行具体说明，设计一种在无人车间工作环境下，能通过多视图立体几何进行三维重建与定位，具体包括以下步骤：
2、步骤一：根据双目相机的成像原理，实现标定和矫正，得到相机内参、外参以及畸变参数；
3、步骤二：将提取到的图像用orb-slam2进行特征匹配和提取，获取关键帧；
4、步骤三：利用双目摄像头采集无人车间数据图像信息，通过图像进行预处理和误匹配点的去除并且通过icp位姿估计和优化；
5、步骤四：将得到的关键帧输入预先训练的扩散模型，输出所述目标的一组多视角图片引入自监督神经辐射场，然后在每个场景上拟合一个nerf来渲染立体图像对和深度图。最后，利用渲染的数据来训练任何现有的立体匹配网络，输出所述目标的视差图；
6、步骤五：结合视差图转化的深度图生成三维点云图构建地图；
7、步骤六：通过回环检测矫正消除误差和干扰；
8、步骤七：后端优化，对传输的地图、位姿再次进行优化后生成位姿和全局地图。
9、进一步地，所述步骤一的过程中，通过使用双目摄像头从不同视角对场景进行拍摄获取全视角图像。这些多视角的图像可以帮助进行三维重建、行为分析、动作识别等研究领域的工作。
10、进一步地，所述步骤二的过程中，采用orb特征点计算方法进行实现。其中，orb特征点算子主要由加速分割测试特征角点检测算法(features from accelerated segmenttest，fast)和二进制鲁棒独立基本特征描述子算法组成。当出现旋转、平移和光照现象时，orb特征点依旧不受影响。
11、进一步地，根据所述步骤三，对误匹配点剔除，采用knn算法做分类获取全局最近邻点，计算数据点与距离最近的第近邻数量值个至第自适应近邻值个其他数据点的欧氏距离的平均值，获得数据点的改进最近邻距离。
12、进一步地，采用lsh算法进行粗匹配提升算法的匹配度，由于k-d树的检索性能随着维数的增加而减弱，再通过ransac进行二次剔除；
13、进一步地，利用二维icp算法求解位姿和标准值做差绘制误差曲线求解均值和方差。
14、进一步地，所述步骤四，将双目相机输出的左相机图像准备好后，需要使用双目立体匹配算法计算视差值，从而转化为深度图。方法过程：首先从静态场景中左rgb图像收集多视图图像。然后，在每个场景上拟合一个nerf来渲染立体图像对和深度图。最后，利用渲染的数据来训练任何现有的立体匹配网络。具体内容包括：nerf在3d空间中学习了逐一像素点的颜色和密度值，利用光线追踪和体积渲染呈现出新颖的视图。具体地，利用相机发出的射线r(t)＝o+td来预测沿着射线方向渲染的像素颜色值c(r)，其中o为相机的光心，d为观察的视角方向，t为射线上从远到近的一组样本，即
15、
16、其中，体积密度σ(r(t))可表征光线在点终止的概率；c(r(t)，d)为射线上采样点的颜色值；t(t)为从t1到t时刻累积的透射率，即光线能否穿透3d物体中的某个点，是对体积密度σ积分的衰减变量。采样点的体积密度越高，射线停留在该点的概率随之增大，对最终渲染出的像素颜色值影响越大。
17、进一步地，将所述数据集输入nerf网络结构中进行训练，通过多层感知器网络mlp来学习从光线和采样位置到颜色和密度的映射关系，最终输出目标的三维点云数据。
18、其中，在所述nerf网络结构中加入递归网络用于对目标三维特征提取；设计多重采样策略，循环抽取目标每个视角的多个光线采样点；通过反向传播算法反复微调nerf网络各层参数，迭代训练直至所生成的点云与真实数据在关键误差指标上满足预设要求为止，生成三维点云数据。
19、进一步地，将生成的深度图转化为点云图，构建点云数据。
20、进一步地，根据步骤六，回环检测的方式帮助矫正累计误差，具体是构建词袋模型的方式，采用的方法是k叉树的方法来实现，依据数据库的图像获得离线词典，根据计算当前帧和历史帧的特征向量相似度进行检测。
21、进一步地，后端优化部分用图优化原理处理后端非线性问题，利用列文伯格-马夸尔特(lm)法收敛算法，对非线性函数在求导；然后采用的是g2o(general graphoptimization)来实现对视觉slam相关内容进行优化。
22、与现有技术相比，本发明适合室内场景建图，在特征点提取和匹配中，通过筛除误匹配点在跟踪线程提供了优质的匹配点，考虑到移动小车的二维平面运动关系，对匹配点对进行降维处理，结合二维icp算法实现对机器人相机运动轨迹的估计，降低了数据处理的运算。引入了神经网络监督立体网络在合成数据集上训练的模型方法，通过采集目标的单视角图片；将所述单视角图片输入预先训练的扩散模型，输出所述目标的一组多视角图片；将所述多视角图片输入预先训练的nerf网络，输出所述目标的三维点云数据；结合点云数据和局部优化生成高质量的三维地图，优化了高频细节丢失的三维场景特征，并解决了场景过大产生的网络遗忘问题，提高了三维场景重建的整体精度与鲁棒性。接下来通过回环检测以及后端优化实现三维重建的优化和定位，在实际的三维地图的构建和定位上达到渲染效果质量和精度更高的意义。
1.一种基于自监督神经辐射场结合slam的建图定位算法，其特征是：算法由图像预处理、前端位姿估计、神经辐射场的神经网络、回环检测、后端优化部分组成。包括以下步骤：
