本发明属于无人机乡村运输应用，具体涉及一种无人机视野下乡村民居判识装置与系统。
背景技术：
1、无人机在乡村运输中的应用具有广泛的潜力和实际价值。在医疗资源匮乏的农村地区，无人机可以快速运输紧急药品、疫苗、血液和医疗器械，还可为偏远地区提供远程医疗服务，快速运送医疗样本和设备。集成专门的配件装置，无人机在农田间快速采集土壤、水样、作物样品，支持精准农业和农作物监测。在自然灾害或紧急情况下，无人机可以快速运输和投放救援物资，可快速飞抵灾区，进行灾情评估和拍摄，帮助制定救援方案。环境监测与保护方面，无人机用于监测森林、河流、湿地等生态环境，进行植被覆盖、水质变化等数据采集；同时可监控非法采伐、盗猎等活动，保护自然资源和生态环境。
2、基础设施检查与维护方面，无人机用于检查电力线路、通信基站、桥梁等基础设施，及时发现和处理问题；还用于对乡村房屋和公共设施进行定期检查，确保安全和维护需求。
3、电商物流方面，无人机可提供小型包裹、信件和快递的快速配送服务，提升乡村物流效率；以及为农民和居民运送生鲜食品、日用品等，提高生活便利性。未来，将有望支持农村电商平台的物流配送，缩短农产品和日用品的流通时间；同时提供反向物流运输，为农民提供便利的农产品销售渠道，快速运输农产品到城市市场。
4、无人机运输具有高效率、广覆盖的优点。无人机可以快速到达目的地，节省时间，尤其在交通不便的乡村地区更为显著；又由于可覆盖交通不便或偏远的农村地区，因此能提供全方位的服务。
5、在乡村运输中，无论是正常的降落或者紧急状态的避险迫降，无人机停靠都需要考虑安全性、便利性和高效性。无人机乡村运输中为避开农村房屋或者在目标民居环境中选择合适的停靠点时，需要精确的房屋长宽高测量数据作为规划导航的基础。一方面，飞行过程中，设置无人机最低飞行高度时，需要判断乡村民居的高度；另外一方面，在绕飞房屋或在屋顶进行降落时，需要测量民居的尺寸和长度，确保安全的横向和纵向距离。
6、现有技术中，有几种对建筑物进行测量的方案。如申请号为201811029714.x的发明专利申请，公开了智能建筑、测绘等领域的一种空间测算方法，激光器对被被测目标发射一个光脉冲，由被测物体反射所需的飞行时间获得距离，然后，利用摄像机拍摄得到测算图像，来测算图像中两点间的距离；该方法要求相机光轴正对目标平面，且只能测该单一方位目标平面上两点间的距离。申请号为202310233220.8的发明专利申请，公开了一种cad图纸长度单位与像素值比例的识别、获取与计算方法，用ai的方法自动化的获取cad图纸上的像素值并获取其在图纸上相对应的像素点个数，从而计算出像素点与实际空间的长度比例，对建筑类cad图像像素代表的实际空间的长度进行自动化计算；显然，该方法需要先验的像素点与实际空间的长度比例，即需要事先测量或者标注一个实际长度。申请号为202310416333.1的发明专利申请，公开了一种用于光伏电站的现场踏勘方法，用红外线水平仪、卷尺、皮尺、激光测距仪之中的任意多种工具进行屋顶实际面积及长宽尺寸的测量并交叉复核，方便用户判断是否需要安装光伏电站；通过现场拍照、现场测量和后台系统审核，根据周围障碍物和屋顶的情况判断屋顶是否适合安装光伏电站；可见，该申请同样需要用实测的方法来获得屋顶的尺寸。
7、申请号为202110395821.x的发明专利申请，公开了基于角点的高分辨率光学遥感卫星图像建筑物高度监测方法，利用空间分布进行角点配对，再利用阴影成像的几何模型计算建筑物的高度，其利用的是建筑物阴影在遥感图像上的总长度、太阳高度角、太阳方位角与建筑物高度存在的几何关系。
8、从以上技术方案可以看出，目前基于图像对房屋尺寸的测量，要么根据实地测量出的先验数据，要么根据像素比例来直接硬算。其中，后者依赖于一种精确的比例关系，即要求所测线的像素宽度值对应一种先验的确定比例。显然，该方案应用到无人机系统中，要求无人机视频画面为固定的同一相对方位角度，才有可比性，而这无疑大大限制了民居尺寸的可量测性。
9、因此，需要一种泛化性能强、适用性广的乡村民居长宽高尺寸判识装置、系统。
技术实现思路
1、本发明的目的在于提供一种无人机视野下乡村民居判识装置、控制器与系统，用于根据无人机视野中的图像来对乡村民居的特征进行识别，进而测算其高度、及屋顶等的长度和宽度，且不需要限定无人机在图像采样时必须保持为某一个精准的方位。
2、为解决上述技术问题，本发明提供一种无人机视野下乡村民居判识装置，其包括主机单元和用户接口单元，所述主机单元包括输入输出模块、处理器和存储模块且被配置为：
3、获取乡村民居图像，在所述乡村民居图像中确定包含民居的roi区域，从所述roi区域提取民居区域作为民居目标图像；对所述民居目标图像，经边缘检测获得民居边缘图像；对所述民居边缘图像进行霍夫线变换，经启发式搜索获得包括民居轮廓边缘中三对边线的民居边线图像，其中，所述三对边线中的第一对边线为中间夹着一对侧棱的民居顶部、底部的两条相对边线，所述三对边线中的第二对边线、第三对边线则分别为中间夹着一对水平长边、水平宽边的的两条相对边线；从所述民居边线图像中依次对所述三对边线中的任一对边线，获取其两条相对边线相对图像中心的几何特征，将所述几何特征输入到经训练的基于神经网络的民居尺寸预测模型，得到民居尺寸预测值，将所述尺寸预测值输出。
4、作为优选，所述用户接口单元中设有操作面板，所述主机单元还被配置为：从所述roi区域提取民居区域作为前景对象，以所述乡村民居图像中非前景对象区域作为背景对象，将所述乡村民居图像中背景对象全部置零后形成所述民居目标图像。
5、作为优选，所述处理器包括通用处理模块、获取与预处理模块、特征提取模块、迭代学习模块和民居尺寸预测模块，
6、所述获取与预处理模块从图像采集单元中获取乡村民居图像，经滤波处理后根据深度学习特征，由一个经训练的目标分类模型将民居在图像中的位置标识为roi区域；在原乡村民居图像中将所述roi区域之外的部分剔除，形成民居目标图像后，经边缘检测形成二值化民居边缘图像；对所述二值化民居边缘图像进行霍夫线变换后，根据霍夫线变换中极坐标空间参数特征分别筛选出竖直、及水平方向上长度最大的直线段作为候选直线段，并根据候选直线段的方位特征分别确定中间夹着一对长边、宽边和高边的两条相对边线，来分别作为民居长、宽、高的一对边线，并共同形成民居的三对边线；
7、对所述三对边线中任一对边线的每一条边线，所述特征提取模块结合对应的二值化民居边缘图像，用直线的两端点坐标对其进行描述，并基于两端点分别求取直线的斜率、及图像中心点到直线的垂距；以民居两边直线的所述斜率、图像中心到直线的垂距作为乡村民居图像中民居的几何特征；
8、所述迭代学习模块基于所采集的训练样本，对所述民居尺寸预测模块中的民居尺寸预测模型的神经网络进行训练；
9、所述通用处理模块对消息进行响应，并启动对所采集图像中民居判识，调度判识处理流程，并将所述民居尺寸预测模块所识别预测出的尺寸数据输出。
10、作为优选，所述获取与预处理模块中设置有一个目标检测部，在所述目标检测部中建立一个基于asff-yolov5s网络的目标分类模型，采用图像采集单元中的俯瞰相机采集乡村场景图像后，以标注了乡村民居区域的所述乡村场景图像组成的图像样本集来对所述网络进行离线训练，获得乡村场景目标分类模型；在线运行时，所述获取与预处理模块以所述乡村场景目标分类模型对待测的包括民居的乡村场景图像即乡村民居图像进行识别处理后获得乡村民居区域锚框，将所述锚框内的区域作为乡村民居的roi区域；所述asff-yolov5s网络在yolov5s网络的第23及其下一层之间增加了24、25、26三层，这三层分别接收17、20、23三层的输出作为输入，并经asff自适应空间特征融合模块进行不同尺度的特征融合后分别依次代替原来的17、20、23三层输入到原输出层第24层即新网络的第27层中。
11、作为优选，对基于民居模型所拍摄的民居图像，将所采集的图像经滤波和灰度化处理后，进行二值化，形成民居目标图像；对在线采集的乡村民居图像，基于asff-yolov5s深度学习网络的目标分类模型将民居目标用锚框定位出民居的roi区域，将所获roi区域之外的像素置零后，形成民居目标图像。对二值化的民居目标图像可直接进行边缘提取，对彩色或灰度民居目标图像，则先将彩色图像转换为单通道图像，再采用sobel、canny、log等边缘检测算子检测边缘。
12、作为优选，所述民居尺寸预测模型采用人工神经网络，其输入层分别从通用处理模块接收所述三对边线中对应民居长、宽、或高的一对边线的斜率k1、k2以及图像中心点到所述一对边线的垂距d1、d2共4个几何特征输入量，输出层的输出量为所述一对边线所对应的民居的长、宽、或高。
13、作为优选，所述主机单元还被配置为：对所述民居边缘图像中每一边缘像素点进行所述霍夫线变换时，累加获得图像对应的ρ-θ平面矩阵，其中ρ代表直线离原点的垂线段距离，θ是该垂线对横轴的角度；在所述累加中，其中图像中前景像素点(u，v)与一个直线元素li，j(ρi，j，θi，j)对应的判断方式为：
14、在该直线上取一支点h(ρi，j·cosθi，j，ρi，j·sinθi，j)，记为h(u′，v′)，计算j＝|v-v′-(u-u′)·tanθi，j|，若|j|≤ε，则判定所述像素点在所述直线上并进行累加，其中，ε为预设的一个小正数。
15、作为优选，所述主机单元还被配置为：对所述民居边缘图像中每一边缘像素点进行所述霍夫线变换时，累加获得图像对应的ρ-θ平面矩阵，其中ρ代表直线离原点的垂线段距离，θ是该垂线对横轴的角度；
16、基于累加所得ρ-θ平面矩阵，在接近垂直方向的范围内，搜索最长的两条或三条边线，作为民居的侧棱；
17、在非侧棱方向的范围内，按平面矩阵元素取值即直线段的长度进行从大到小的排序，从长度最大的主直线段开始往后依次寻找与其方向接近的两条副直线段，由所述主直线段与对应的两条副直线段组成候选直线组；对所述候选直线组中的任一条直线段，计算其与民居侧棱上下端点的距离，若所述距离的最小值对应为与该直线段与一条侧棱上端点的距离，则标识该直线段为屋顶候选直线，否则标识为地面候选直线。循环从不同方向直线中，获取多组候选直线组。
18、作为优选，所述主机单元还被配置为：在其中一个候选直线组中，以中间夹着一对侧棱的民居屋顶候选直线、地面候选直线这两条相对边线形成所述第一对边线。在其中一个候选直线组中，以中间夹着一对其他直线段的两条民居屋顶候选直线这两条相对边线形成所述第二对边线、第三对边线；或，在民居的所述侧棱中，以中间夹着一对其他直线段的两条民居侧棱这两条相对边线形成所述第二对边线、第三对边线。
19、作为优选，所述主机单元还被配置为：对所述三对边线中的任一对边线，进行几何特征的计算与提取，
20、假设一条民居边线的两个端点坐标分别为(x1，y1)、(x2，y2)，则其斜率为k＝y1-y2/x1-x2；
21、图像中心到该民居边线的垂距为
22、式中，(x0，y0)表示图像中心的坐标，a、b分别为直线方程一般式的系数，c为常数项且：a＝y2-y1，b＝x1-x2，c＝-x1(y2-y1)+y1(x2-x1)；
23、根据k和d的计算式，分别计算得到民居边缘所述任一对边线的斜率k1、k2以及图像中心点分别到两条边线的垂距d1、d2共4个量作为乡村民居图像中民居的所述几何特征。
24、作为优选，所述民居尺寸预测模型采用的bp神经网络，其模型为包括一个隐含层的三层结构，其中，
25、隐含层第j个节点输出为
26、输出层第节点输出为
27、其中，f()函数取为tansig函数，wij和vj分别为输入层到隐含层的连接权值和隐含层到输出层的连接权值，aj和b分别为隐含层和输出层阈值，m＝4为输入变量个数，k为隐含层节点数，采用梯度下降法进行网络训练。
28、作为优选，所述主机单元还被配置为：在线应用之前，先在离线状态下采用无人机对制作的民居模型进行图像采集并形成样本集，用所述样本集对所述民居尺寸预测模型进行训练；所述民居模型采用长方体，所述长方体的尺寸为实际民居尺寸的第一预设倍数s1倍数，所述倍数s1根据无人机乡村巡航飞行高度和相机分辨率进行设置；所述民居模型采用的不同长方体，其尺寸范围对应乡村民居常见尺寸范围的s1倍，不同长方体间的尺寸差值对应为实际民居尺寸差值sd的s1倍。
29、作为优选，所述第一预设倍数s1在1/50～1/20之间取值，所述实际民居尺寸差值sd取为0.5～3米；用作民居模型的各长方体，其长宽高可优选形成一个以sd的s1倍为公差的等差数列。
30、作为优选，在进行所述样本集的采集过程中，将所述民居模型分别布置在地面视野中的不同区域，以使得所述样本集内民居模型分布在图像平面内上中下、左中右所形成九宫格的各宫格内。
31、作为优选，建立在所述民居尺寸预测模块中的民居尺寸预测模型，其输入层从通用处理模块接收乡村民居图像中民居的所述几何特征，输出层分别通过第一连接阵和第二连接阵传输至迭代学习模块和通用处理模块；离线训练所述民居尺寸预测模型时，迭代学习模块根据通用处理模块和民居尺寸预测模型通过第一连接阵分别输入的民居尺寸实际值和模型中神经网络输出值，调整网络的连接权值；现场环境中，第一连接阵断开，民居尺寸预测模型神经网络对当前乡村民居图像中民居的尺寸进行预测并经第二连接阵输出给通用处理模块，由通用处理模块处理分析后通过输入输出模块中的输出部输出。
32、作为优选，所述主机单元还被配置为：还通过定位单元获取当前民居所在位置的坐标信息和方位信息，在检判出民居的尺寸后，通过输入输出单元输出所述民居尺寸及对应坐标和方位信息。
33、作为优选，在识别出民居尺寸后，还将民居尺寸标识在乡村民居图像的对应所提取的民居边缘段，如可以用箭线标识对应方向线段；作为优选，还将所获取的坐标及位置信息，以及所述民居尺寸，存入存储模块的列表中，并可将所述列表信息存储到云服务器中。
34、当尺寸数据中长度和宽度均大于预设安全距离阈值时，给出民居屋顶中央一点的坐标方位值；否则，发出告警，提示民居屋顶安全距离不足。在无人机飞行过程中，迭代地不断进行图像采集，并基于所采集的图像进行尺寸预测处理，在视野范围内出现长度和宽度均大于预设安全距离阈值时，发出出现安全距离足够民居的提示。作为优选，按飞行速度和帧率更新处理图像，使得视野中民居逐个被判识。在发现有足够安全距离的场地后，还通过多角度采集民居图像并进行尺寸预测，来核对场地的安全距离。
35、作为优选，在所述主机单元中创建多个所述基于神经网络的民居尺寸预测模型，每个民居尺寸预测模型对应一个飞行高度与图像采集单元的俯瞰角度；在线进行民居尺寸预测时，将当前采集处理后所获几何特征输入到采集时飞行高度与俯瞰角度所对应的所述民居尺寸预测模型中，获得模型输出值作为民居尺寸预测值。
36、作为优选，在所述民居尺寸预测模型的bp神经网络中，输入层分别从通用处理模块接收所述民居两边直线的斜率k1和k2、图像中心点到所述民居两边直线的垂距d1和d2、以及采集时飞行高度、俯瞰角度共6个输入量，输出层的输出量为民居尺寸。
37、在本发明的另一个实施例中，还提供一种无人机视野下乡村民居判识系统，其包括：用于对乡村场景进行图像传感采集的图像采集单元，用来进行参数输入和操作以及乡村民居信息显示的用户接口单元，用于数据管理和信息传输的服务器，用来进行远程操作和乡村民居信息交互的手持终端，以及与所述用户接口单元、服务器、图像采集单元相连的主机单元；所述主机单元包括输入输出模块、处理器和存储模块，且被配置为：
38、获取乡村民居图像，在所述乡村民居图像中确定包含民居的roi区域，从所述roi区域提取民居区域作为民居目标图像；对所述民居目标图像，经边缘检测获得民居边缘图像；对所述民居边缘图像进行霍夫线变换，经启发式搜索获得包括民居轮廓边缘中三对边线的民居边线图像，其中，所述三对边线中的第一对边线为中间夹着一对侧棱的民居顶部、底部的两条相对边线，所述三对边线中的第二对边线、第三对边线则分别为中间夹着一对水平长边、水平宽边的的两条相对边线；从所述民居边线图像中依次对所述三对边线中的任一对边线，获取其两条相对边线相对图像中心的几何特征，将所述几何特征输入到经训练的基于神经网络的民居尺寸预测模型，得到民居尺寸预测值，将所述尺寸预测值输出。
39、作为优选，所述无人机视野下乡村民居判识系统也可以不包括所述服务器、手持终端，而是在应用时基于通信网络将所述无人机视野下乡村民居判识系统与所述服务器、手持终端连接起来。所述无人机视野下乡村民居判识系统中还可设置一个用来进行坐标获取的定位单元。
40、作为优选，所述无人机视野下乡村民居判识系统还包括一个飞控平台，响应于用户在操作面板上的操作、或所述主机单元的指令，所述飞控平台执行指令，朝向指定的民居场地点飞行。
41、所述无人机视野下乡村民居判识系统连续对多帧乡村民居图像进行检测与民居尺寸预测，在民居场地安全距离满足要求时对多个民居场地尺寸进行比较，确定安全距离最大的场地作为目标停落点，通过输出部向飞控平台输出目标停落点的坐标位置信息，由所述飞控平台操纵动力单元使得无人机飞向所述目标停落点。
42、作为优选，当无人机应用于物流运输等群组系统中时，相应地，本系统可有多个手持终端、无人机平台，为此，可提供订阅与发布服务；所述主机单元还被配置为：订阅手持终端的获取信息主题、并响应于该主题消息将所检测出的民居尺寸及对应坐标和位置信息通过服务器传送给所述手持终端；或者在检测到民居尺寸达到设定安全距离阈值时将所述民居尺寸及对应坐标和位置信息通过尺寸事件主题消息发布的形式传送给服务器。
43、作为优选，所述用户接口单元设有操作面板用来进行参数输入，还设有显示屏用来辅助参数的输入并将民居尺寸识别结果以列表的形式显示；所述主机单元还将所识别出的民居尺寸以曲线形式分段地显示在显示屏上，并在所述曲线上标出所识别出尺寸所对应的坐标和位置。
44、作为优选，系统中的定位单元还获取航向信息，在输出的所述位置信息中还记录并标识基于航向所识别出的朝向如正北方向、以及民居屋顶轴线所对应的朝向。
45、采用本发明方案，与现有技术相比，具有以下优点：本发明针对无人机采集图像时姿态与民居朝向之间的不可预知相对方位关系，分析了乡村民居图像中民居尺寸在图像空间的特征表示，将民居尺寸分解为三维方向上的长宽高三个数值，提出以分别夹着一对长边、宽边和高边的两条相对边线来分别描述民居三个方向上的尺寸，以乡村民居在任一方向上的两条相对边线的斜率、以及图像中心点到两边线的垂距这四个几何特征作为约束条件，建立人工神经网络对民居尺寸进行预测。采集样本对乡村民居尺寸与所提出四个几何特征之间的非线性映射关系进行辨识和训练，其中，每个样本通过对航拍图像中的目标进行分类识别，可框选出乡村民居，通过对民居的提取和边缘检测，经霍夫线变换筛选获取民居轮廓边缘中对应长宽高三个方向的三对边线，对所提取的任一对边线中两条边线进行所述四个几何特征的提取，结果被输入到经训练的民居尺寸预测模型，以对乡村民居的长宽高尺寸进行在线预测。本发明所建立的基于神经网络的民居尺寸预测模型其泛化性能好，能根据从不确定航向下采集的乡村民居图像来对各种规格民居进行三方向尺寸的准确预测，且适用面广，由于从直线提取特征而不依赖于精确的像素起止点，因此预测精度高；同时，由于所建立模型鲁棒性强，在对民居边线进行提取时，霍夫线变换的累积矩阵中步长不需要设置过小，又在边缘点与矩阵中直线元素的对应中简化判别，减少了计算量，加快了搜索速度，从而进一步提高了乡村民居判识的实时性；而基于启发式的搜索，能自动找到并标识民居地面及屋顶的水平边缘和竖直的侧棱，简化了操作确认的步骤。
46、应当理解的是，前述概念以及下文中更详细地讨论的附加概念的所有组合(倘若这样的概念并非相互不一致)都可以被设想为本文公开的发明主题的一部分。特别地，出现在本公开方案的要求保护的主题的所有组合都可以被设想为本文公开的发明主题的一部分。
1.无人机视野下乡村民居判识装置，其包括主机单元和用户接口单元，所述主机单元包括输入输出模块、处理器和存储模块且被配置为：
2.根据权利要求1所述的无人机视野下乡村民居判识装置，其特征在于，所述处理器包括通用处理模块、获取与预处理模块、特征提取模块、迭代学习模块和民居尺寸预测模块，
3.根据权利要求2所述的无人机视野下乡村民居判识装置，其特征在于，所述获取与预处理模块中设置有一个目标检测部，在所述目标检测部中建立一个基于asff-yolov5s网络的目标分类模型，采用图像采集单元中的俯瞰相机采集乡村场景图像后，以标注了乡村民居区域的所述乡村场景图像组成的图像样本集来对所述网络进行离线训练，获得乡村场景目标分类模型；在线运行时，所述获取与预处理模块以所述乡村场景目标分类模型对待测的包括民居的乡村场景图像即乡村民居图像进行识别处理后获得乡村民居区域锚框，将所述锚框内的区域作为乡村民居的roi区域；
4.根据权利要求1所述的无人机视野下乡村民居判识装置，其特征在于，所述民居尺寸预测模型采用人工神经网络，其输入层分别从通用处理模块接收所述三对边线中对应民居长、宽、高的一对边线的斜率k1、k2以及图像中心点到所述一对边线的垂距d1、d2共4个几何特征输入量，输出层的输出量为所述一对边线所对应的民居的长、宽、高。
5.根据权利要求1所述的无人机视野下乡村民居判识装置，其特征在于，所述主机单元还被配置为：对所述民居边缘图像中每一边缘像素点进行所述霍夫线变换时，累加获得图像对应的ρ-θ平面矩阵，其中ρ代表直线离原点的垂线段距离，θ是该垂线对横轴的角度；在所述累加中，其中图像中前景像素点(u，v)与一个直线元素li，j(ρi，j，θi，j)对应的判断方式为：
6.根据权利要求1所述的无人机视野下乡村民居判识装置，其特征在于，所述主机单元还被配置为：对所述民居边缘图像中每一边缘像素点进行所述霍夫线变换时，累加获得图像对应的ρ-θ平面矩阵，其中ρ代表直线离原点的垂线段距离，θ是该垂线对横轴的角度；
7.根据权利要求6所述的无人机视野下乡村民居判识装置，其特征在于，所述主机单元还被配置为：在其中一个候选直线组中，以中间夹着一对侧棱的民居屋顶候选直线、地面候选直线这两条相对边线形成所述第一对边线，
8.根据权利要求1所述的无人机视野下乡村民居判识装置，其特征在于，所述主机单元还被配置为：对所述三对边线中的任一对边线，进行几何特征的计算与提取，
9.根据权利要求1所述的无人机视野下乡村民居判识装置，其特征在于，所述民居尺寸预测模型所采用bp神经网络，其模型为包括一个隐含层的三层结构，其中，
10.无人机视野下乡村民居判识系统，其包括：用于对乡村场景进行图像传感采集的图像采集单元，用来进行参数输入和操作以及乡村民居信息显示的用户接口单元，用于数据管理和信息传输的服务器，用来进行远程操作和乡村民居信息交互的手持终端，以及与所述用户接口单元、服务器、图像采集单元相连的主机单元，
