1.本发明涉及外观识别技术领域，具体而言，涉及一种基于视图的空间形状识别方法、装置、设备和存储介质。
背景技术：2.传统的图像搜索引擎通常基于图像周边围绕的元数据信息，例如标题和标签，来索引多媒体视觉信息。但是由于这些文本信息可能与视觉信息不一致，存在效率低和无法满足用户具体化等方面的需求，其检索结果可能不可靠，在外观产品专利上尤为突出。
3.为避免这种问题，传统的基于单幅图像输入的检索方式已经无法满足用户的需求，为了解决输入图像的获取问题，将基于特征的图像检索与基于注释的图像检索相结合成为一个重要的趋势。基于特征的图像检索主要通过对图像的视觉特征的提取来实现的。传统的视觉特征例如：平面形状、纹理、颜色和边缘特征等，或者对上述多个特征的融合上。
4.外观专利设计包含产品的六视图和轴测图，对外观专利设计的各个视图进行传统的视觉特征提取，会忽略掉视图中的部分信息，无法充分利用各个视图之间的关系。从而大大降低了图像搜索的准确率。
5.有鉴于此，申请人在研究了现有的技术后特提出本技术。
技术实现要素：6.本发明提供了一种基于视图的空间形状识别方法、装置、设备和存储介质，以改善传统的图像特征提取会忽略外观专利设计中隐藏的信息。
7.第一方面、
8.本发明实施例提供了一种基于视图的空间形状识别方法，其包含步骤s1至步骤s6。
9.s1、获取目标产品的n个视角的视图。
10.s2、根据n个视角的视图，提取目标产品的x个结构的n个视角的结构轮廓图。
11.s3、根据结构轮廓图，进行特征提取，获取x个结构的n个视角的hu矩和傅里叶描述子。
12.s4、根据hu矩和傅里叶描述子，获取x个结构的n个视角的特征向量。
13.s5、通过分类模型对特征向量进行分类，获取x个结构的n个视角的平面形状。
14.s6、根据平面形状，通过多图融合规则进行识别，获取目标产品的各个结构的空间形状。
15.第二方面、
16.本发明实施例提供了一种基于视图的空间形状识别装置，其包含：
17.视图获取模块，用于获取目标产品的n个视角的视图。
18.结构轮廓获取模块，用于根据n个视角的视图，提取目标产品的x个结构的n个视角的结构轮廓图。
19.特征提取模块，用于根据结构轮廓图，进行特征提取，获取x个结构的n个视角的hu矩和傅里叶描述子。
20.特征融合模块，用于根据hu矩和傅里叶描述子，获取x个结构的n个视角的特征向量。
21.形状识别模块，用于通过分类模型对特征向量进行分类，获取x个结构的n个视角的平面形状。
22.形状融合模块，用于根据平面形状，通过多图融合规则进行识别，获取目标产品的各个结构的空间形状。
23.第三方面、
24.本发明实施例提供了一种基于视图的空间形状识别设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如第一方面任意一段所说的基于视图的空间形状识别方法。
25.第四方面、
26.本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如第一方面任意一段所说的基于视图的空间形状识别方法。
27.通过采用上述技术方案，本发明可以取得以下技术效果：
28.通过本发明实施例的空间形状识别方法能够根据目标产品的n个视角的视图，获取其各个结构的空间形状，从而为图像检索提供新的检索基础，以取得更加准确的检索结果，具有很好的实际意义。
29.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
30.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
31.图1是本发明第一实施例提供的空间形状识别方法的流程示意图。
32.图2是本发明第一实施例提供的空间形状识别方法的逻辑框图。
33.图3是光滑处理的逻辑框图。
34.图4是结构轮廓图获取逻辑框图。
35.图5是光滑处理前的产品图。
36.图6是光滑处理后的产品图。
37.图7是产品正视图和提取后的产品轮廓图。
38.图8是最小外接矩形将产品轮廓图中的手柄结构圈出来的示意图。
39.图9是不同匹配系数下花洒形状识别率的折线图。
40.图10是不同匹配系数下花洒形状判断准确率的折线图。
41.图11是不同傅里叶描述子长度的识别准确率的折线图。
42.图12是分类模型的求解示意图。
43.图13是多图融合规则的规则图。
44.图14是本发明第二实施例提供的空间形状识别装置的结构示意图。
具体实施方式
45.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。
47.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
48.应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
49.取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
50.实施例中提及的“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的实施例能够以除了在这里图示或描述的那些内容以外的顺序实施。
51.下面结合附图与具体实施方式对本发明作进一步详细描述：
52.实施例一：
53.请参阅图1至图13，本发明第一实施例提供一种基于视图的空间形状识别方法，其可由空间形状识别设备来执行。特别地，由空间形状识别设备中的一个或多个处理器来执行，以实现步骤s1至步骤s6。
54.s1、获取目标产品的n个视角的视图。优选地，n＝3。
55.本发明实施例用于提取外观专利图像中被忽略的空间形状信息，为图像检索提供检索基础，具有很好的实际意义。所述空间形状识别设备可以是便携笔记本计算机、台式机计算机、服务器、智能手机或者平板电脑等具有计算性能的电子设备。
56.可以理解的是，立体物体的各个角度拍摄到的图像可能相同，也可能不同。从三个不同的视角进行拍摄，能够大致获得三视图，从而确定立体物体的基本立体形状。在本实施例中，优选地，选择目标三品的三视图来作为初始数据。在其它实施例中，可以采用三个视图以上的视图，以更加准确的获得目标产品的空间形状信息，本发明对此不做具体限定。
57.s2、根据n个视角的视图，提取目标产品的x个结构的n个视角的结构轮廓图。
58.具体的，为了更加准确的识别目标产品的空间形状信息，根据目标产品的结构特征，可以对目标产品的各个部位进行细分。例如：当目标产品为花洒时x＝2，x个结构包括喷头结构和把手结构。当目标产品为显示器时，x个结构包括屏幕主体结构和底座结构。
59.如图2至图8所示，在上述实施例的基础上，本发明的一个可选地实施例中，步骤s2具体包括步骤s21至步骤s23：
60.s21、通过图像分割算法，分别从n个视角的视图中提取目标产品的图像，获取目标产品的n个视角的产品图，并对产品图进行边缘光滑处理。
61.步骤s21提取前后如图7所示。专利图像具有以下特点：1、场景单一，分类明确等优点但是没有统一的颜色背景；2、部分图像拥有内嵌视图文字信息；3、多视角表达。图像分割能够快速高效的得到外观专利表达的主体；拆分研究主体结构，对分割结果进行预处理，方便后续特征提取操作。
62.通过图像分割算法将目标主体从视图中提取出来之后，边缘可能存在不光滑的问题。如图5所示，很明显的看出未经过处理后的图像边缘时效果不好，存在多余背景被判断为实体和边缘优化不在呈现阶梯状等情况。而经边缘光滑改进后的花洒边缘如图6所示，去除了被误认为前景的部分和实现柔化轮廓的效果。
63.优选地，图像分割算法为grabcut算法。通过grabcut算法实现目标区域分割。grabcut算法是交互式目标分割方法，其主要的思想是将图像映射为s-t网络图,根据人为标注的感兴趣区域(region of interest,roi)的矩形框划分前景和背景,矩形外为背景，矩形内存在背景和前景。
64.利用了图像中纹理(颜色)信息和边界(反差)信息，使用高斯混合模型(gmm)对前景和背景建模，对roi内像素进行分类能量函数直到收敛。
65.该算法较其他几种分割算法识别轮廓效果较好，例如基于otsu阈值分割算法，对噪声敏感，对灰度差异不明显以及不同目标灰度值有重叠分割不明显，鲁棒性不高。
66.假设i为一幅图像，s是一个衡量像素属性一致性的函数，true或false，那么图像分割就是把图像i分成n个区域ri(i＝1,2,3,
…
,n)，满足条件：条件(1)：条件(2)：条件(3)：s(ri)＝true,i＝1,2,3,
…
,n；条件(4)：s(ri∪rj)＝false。条件(1)、(2)指整个图像被分成n个区域且各区域互不相交。条件(3)指出如果是在同一区域内，则该区域内的所有像素满足该区域的一般属性。条件(4)说明不可能出现相邻区域同时满足区域一般属性而合成为一个区域。
67.对于灰度图像，可当作一个灰度值矩阵，用于分割区域ri内每个像素使用一个“透明度”值参数γ＝(γ1,γ2…
γn),其中γj∈(0,1)，最后输出γn＝1的像素，即判断为可能是前景部分，得到分割前景背景图像。
68.轮廓是形状识别的关键，轮廓曲线的光滑程度会影响后续形状特征描述的准确性。传统的基于边缘分割的轮廓提取算法获得的轮廓，易出现漏分割和过分割，曲线不够平滑的情况。目标区域分割后的部分图像，边缘呈现阶梯状或有多余背景被判断为目标。故先对图像进行边缘光滑，去除分割后边缘缺陷，获得较好的目标分割图像。具体处理步骤如图3所示。首先，将去除背景后的主体图像从rgb域转化到hsv域，然后设置阈值形成掩膜，接着与原图按位异或并进行形态学计算，最后判断主体图像的边缘是否光滑，如果光滑的话则
完成光滑处理，否则再次进行光滑处理。
69.s22、根据边缘光滑处理后的产品图，提取目标产品的整体轮廓，获取目标产品的n个视角的产品轮廓图。
70.具体的，根据产品图的边缘，能够获取产品的轮廓图。
71.s23、根据产品轮廓图，提取目标产品的x个结构的结构轮廓图，获取目标产品的x个结构的n个视角的结构轮廓图。
72.具体的，为了更好的表达目标产品的空间形状信息，根据目标产品的结构特征，分别获取各个结构的三视图，从而对各个结构分别进行识别。
73.在上述实施例的基础上，本发明的一个可选地实施例中，步骤s23包括步骤s231和步骤s234。
74.s231、基于目标产品的结构特性，在产品轮廓图中寻找结构的边界点，获取x个结构的所属范围。
75.s232、识别所属范围的最大面积轮廓，获取x个结构的最大面积轮廓。
76.s233、计算最大面积轮廓的最小外接矩形，获取x个结构的最小外接矩形。
77.s234、根据最小外接矩形，从产品轮廓图中提取结构轮廓图，获取目标产品的x个结构的n个视角的结构轮廓图。
78.具体的，对提取的专利图像轮廓，进行区域划分，确定各结构轮廓。主要思路是根据图像的轮廓特点和结构特点，寻找属于结构可能最大轮廓，并绘制最小外接矩形，从而划分出各结构感兴趣区域。为了得到的各结构轮廓，对轮廓的预处理至关重要，通常对轮廓的筛选是对轮廓层次结构和长度筛选。通过去除子轮廓与轮廓面积过短或过长的部分，得到完整外部轮廓。随后根据专利物品特性，寻找各结构边界点，确定结构所属范围，并在范围中取得最大面积的轮廓计算最小外接矩形，层次筛选与轮廓提取流程图如图4所示。
79.以花洒为例：对改进后边缘根据花洒结构进行区域划分，对于喷水盖结构以边缘最上方点为矩形左上角横坐标，纵坐标为轮廓边缘最靠左的点，对于右下角而言，则其右下角横坐标是先寻找边缘中相对连续的直线既手柄的边缘，在沿着直线找斜率变化明显的位置即为喷水盖的右端点，纵坐标为轮廓边缘最靠右的点。而对于手柄而言其矩形如图8所示。得到最小外接矩形后，外接矩形内的轮廓图就是该结构的轮廓图。
80.s3、根据结构轮廓图，进行特征提取，获取x个结构的n个视角的hu矩和傅里叶描述子。
81.具体的，在用边缘光滑改进算法提取目标边缘后，结合待识别专利图像特点，考虑到图像拍摄时由于放置位置、角度和相机高度等问题的存在，会造成得到的图像具有平移、旋转和缩放等情况，所以提取的特征应该具有平移、旋转和尺度缩放的特性。故采用hu矩、傅里叶描述子对预处理后图像来进行轮廓识别。
82.优选地，在提取傅里叶描述子之前需要包括：获取傅里叶描述子的长度。
83.具体的，用傅里叶系数描述形状时，具有旋转不变性、平移不变性且与轮廓起点的选择无关。傅里叶描述子的低频分量能较好地反映花洒的整体形状，高频分量能较好的反映花洒的细节特征，在进行识别时特征向量需要选取适当的长度。根据它们的这些性质,可以对傅里叶系数进行归一化。
84.下面，以花洒为实例进行说明，其傅里叶描述子归一化后结果如表1所示；
85.表1归一化后傅里叶描述子
[0086][0087]
其中，花洒外观专利样品数据共计200组，实验随机选取150组数据作为训练数据，50组傅里叶描述子数据作为测试数据。为了反应傅里叶描述子对花洒专利图像不同视角的分类情况，将不同长度的傅里叶描述子作为输入到svm中进行识别，其准确率如图11所示。
[0088]
由图11可得，当正视图、侧视图和仰视图傅里叶描述子长度分别取12、12和16时识别精度达到稳定最高。故正视图、侧视图傅里叶描述子长度选为12，仰视图傅里叶描述子长度选为16。
[0089]
步骤s3具体包括步骤s31和步骤s32。
[0090]
s31、根据所述结构轮廓图，提取hu矩，获取x个结构的n个视角的hu矩。
[0091]
具体的，通过hu矩组成的特征量对图片进行识别，速度很快，但是缺点是当应用在复杂纹理的轮廓时不能正确的框取对应位置，匹配率比较低。hu矩一般是用来识别图像中大的物体，当物体的形状描述得比较好，匹配率越高。一幅大小为mxn的数字图像i在(x,y)点处的灰度值为f(x,y),其(p+q)阶矩m
pq
和中心距μ
pq
为：
[0092][0093][0094]
式中，m
00
为0阶矩，m
01
、m
10
为1阶矩。
[0095][0096][0097]
经过归一化后，中心距为：
[0098]
η
pq
＝u
pq
/u
r00
[0099]
其中，
[0100][0101]
利用二阶和三阶归一化中心矩构造7个不变矩,不变矩是一处高度浓缩的图像特征，在连续图像下具有平移、灰度、尺度、旋转不变性。其k
hu
(i)为图像i的hu矩特征值，具体定义如下：
[0102][0103]
s32、根据所述结构轮廓图，提取所述长度的傅里叶描述子，获取x个结构的n个视角的傅里叶描述子。
[0104]
具体的，傅立叶描述子可以很好地描述轮廓特征，并且只需少量的描述子即可大致代表整个轮廓。其次，对傅立叶描述字进行简单的归一化操作后，即可使描述子具有平移、旋转、尺度不变性，即不受轮廓在图像中的位置、角度及轮廓的缩放等影响，是一个鲁棒性较好的图像特征。
[0105]
傅里叶描述子作为一种描述图像轮廓特征的特征参数，其基本思想是用物体边界信息的傅里叶变换作为形状特征，将轮廓特征从空间域变换到频域内，提取频域信息作为图像的特征向量。即用一个向量代表一个轮廓，将轮廓数字化，从而能更好地区分不同的轮廓，进而达到识别物体的目的。对于轮廓从任意点(x0,y0)起，逆时针前进会遇到(x1,y1)，(x2,y2)，
…
，(x
k-1
,y
k-1
)，在空间域描述轮廓，其边界坐标集合d(k)＝[x(k),y(k)，k＝0,1,2
…
k-1。此外将每一个坐标点当作复数处理如下式所示。
[0106]
在复数域下，二维问题简化为一维问题，但边界本质未变。
[0107]
d(k)＝x(k)+jy(k)
[0108]
轮廓曲线的坐标序列的离散傅里叶变换为下式：
[0109][0110]
式中，u＝0,1,2
…
k-1。复系数a(u)为边界的傅里叶描述子。
[0111]
对傅里叶描述子的系数k
fd
(i)进行归一化处理，即将各个幅值除以a(1)的2-范数，||a(1)||。其为傅里叶描述子即：
[0112][0113]
s4、根据hu矩和傅里叶描述子，获取x个结构的n个视角的特征向量。
[0114]
在一些实施例中，步骤s4包括步骤s41至步骤s43。
[0115]
s41、获取目标产品的轮廓模板库。
[0116]
s42、根据轮廓模板库和hu矩，计算匹配系数，获取目标产品的x个结构的n个视角的匹配系数。
[0117]
具体的，先按每类花洒不同视角分类，并随机收集5张图像构建轮廓模板库。然后提取花洒的三视角图像的hu矩，与模板库相应视角模板进行相似性判定，结果如表2所示。其中xi,yi,zi分别代表主视图、侧视图，俯视图形状。当图像匹配系数越小时，轮廓就越相似，反之匹配系数越大，匹配程度越低。
[0118]
表2图像匹配系数
[0119][0120]
对图像匹配系数设置阈值0.01～0.2进行判断，花洒的三个视角的图像识别情况进行分析，分别统计出三个视图正确分类与非正确分类数量。当待检测图像与模板库匹配的系数大于阈值时视为判断失败，小于阈值则视为判断成功，其形状识别率如图9所示。
[0121]
对每一阈值统计识别准确率，若属于模板库中第一类则标记为0，反之属于第二类
的标记为1，以第一类为负向。
[0122]
记录三视图图像的tp,tn,fn,fp值，实验结果评定标准表如下表3，不同阈值下花洒形状判别准确率如图10所示。
[0123]
表3实验结果评定标准表
[0124][0125][0126]
在比较理想轮廓提取情况下，随着阈值的增大，能够识别成功的数量也在不断增多，但同时也有更多的图像被误匹配，其识别准确度下降。当设置的阈值过小时，识别成功率低，准确度高，能够被正确识别形状类型的数量少。结合图9、图10，综合考虑成功识别率和准确率，选取阈值为0.08作为研究数据，采用精确度p、召回率r和f分数评价模型性能，实验结果如表4所示。
[0127][0128][0129][0130]
表4识别性能评价统计
[0131][0132]
从表4可以得出，基于hu不变矩法将花洒外围轮廓作为特征，可以较为准确的获取花洒特征信息,能进行准确匹配。其中，识别效果最优为侧视图，而仰视图的识别效果较差。侧视图图像分割边界更清晰，且使用整体形态进行匹配；由于仰视图花洒底部定位偏差和预处理情况，导致相对于另两种视图的区分度较弱。
[0133]
s43、将匹配系数和傅里叶描述子进行归一化处理，然后串行融合，获取目标产品的x个结构的n个视角的特征向量。
[0134]
可以理解的，串行特征融合方法简单且计算量小，对于多类特征维度之和不大的特征融合是比较好的选择。通过串行融合，能够结合傅里叶描述子和hu矩两种不同特征的有点，进一步提高识别的准确率，具有很好的实际意义。
[0135]
具体的，假设图像n维特征值α、m维特征值β,则新的串行特征量ω的维度为(n+m)维。将专利图像的hu矩匹配系数、傅里叶描述子进行归一化处理，即将去除异常值，将数据分布均匀，数值映射到同一区间内后，串行特征融合，作为输入，至svm分类模型。
[0136]
判断外观专利目标形状识别准确率。串行特征融合(即：特征向量的融合模型)如下式所示：
[0137][0138]
式中，k(i)为特征向量、ε1为匹配系数权重、k
hu
(i
hu
)表示第i
hu
个hu矩匹配系数、ε2为傅里叶描述子的权重、k
fd
(i
fd
)为第i
fd
个傅里叶描述子。通过调整参数ε1与ε2的权重值获取最终的融合特征。
[0139]
s5、通过分类模型对特征向量进行分类，获取x个结构的n个视角的平面形状。
[0140]
在本实施例中，分类模型为采用一对多方案的svm多类分类器，在其它实施例中分类模型可以是现有的多分类模型，本发明对分类模型不做具体限定。
[0141]
svm是一种二分类模型，它的基本模型是定义在特征空间上的间隔最大的线性分类器。svm的基本思想是求解能够正确划分训练数据集并且几何间隔最大的分离超平面，对于线性可分的数据集来说，这样的超平面有无穷多个(即感知机)，但是几何间隔最大的分离超平面却是唯一的。对已知的数据集，支持向量机通过非线性映射，将数据映射到高维特征空间，利用线性问题求解方法在高维特征空间寻求最优的回归函数。线性回归函数如下式所示：
[0142]
f(x)＝(w,x)+b
[0143]
式中，f(x)为非线性映射函数，w为权重；x为第i个样本的输入特征值即式(8)中k(i)，b为阈值。如图12所示，svm模型的求解最大分割超平面问题可以表示为以下约束最优化问题。
[0144]
具体的，利用网格搜索法取得模型中的最优超参数，误差惩罚系数c和核函数参数r，再通过k折交叉验证对于训练集进行不同划分来对当前超参数进行比较平衡的优劣估计。利用svm对花洒外观专利图像样本训练得到对不同视角花洒专利视图形状的分类模型，使用该分类模型识别花洒形状，达到精确识别主视图、侧视图与仰视图的目标形状。
[0145]
s6、根据平面形状，通过多图融合规则进行识别，获取目标产品的各个结构的空间形状。
[0146]
可以理解的是，多图融合规则是根据外观专利多张图的特点，分别对每类图像的多种视角图像进行目标形状判断识别并获得实验数据，并将所得实验数据依照多图融合规则进行融合。如图13所示，多图融合规则包含不同的三个视角的轮廓形状组合对应的空间形状。在其它实施例在，多图融合规则可以是三个以上视图的组合，本发明对此不做限定。
[0147]
具体的，目标产品的各个视角的视图中的轮廓是平面的，其产品形状及分类变量指标如表5所示。
[0148]
表5产品形状及分类变量
[0149][0150][0151]
设i为一幅图像，分别判断主视图、侧视图与俯视图形状，使用xi，yi，zi分别代表主视图、侧视图，俯视图类别标签，即xiyizi。多图融合规则如下图13所示，其空间形状为si＝xi∩yi∩zi。
[0152]
通过本发明实施例的空间形状识别方法能够根据目标产品的n个视角的视图，获取其各个结构的空间形状，从而为图像检索提供新的检索基础，以取得更加准确的检索结果，具有很好的实际意义。
[0153]
实施例二、
[0154]
请参阅图14，本发明实施例提供了一种基于视图的空间形状识别装置，其包含：
[0155]
视图获取模块1，用于获取目标产品的n个视角的视图。
[0156]
结构轮廓获取模块2，用于根据n个视角的视图，提取目标产品的x个结构的n个视角的结构轮廓图。
[0157]
特征提取模块3，用于根据结构轮廓图，进行特征提取，获取x个结构的n个视角的hu矩和傅里叶描述子。
[0158]
特征融合模块4，用于根据hu矩和傅里叶描述子，获取x个结构的n个视角的特征向量。
[0159]
形状识别模块5，用于通过分类模型对特征向量进行分类，获取x个结构的n个视角的平面形状。
[0160]
形状融合模块6，用于根据平面形状，通过多图融合规则进行识别，获取目标产品的各个结构的空间形状。
[0161]
在上述实施例的基础上，本发明的一个可选地实施例中，结构轮廓获取模块2，包括：
[0162]
产品图获取单元，用于通过图像分割算法，分别从n个视角的视图中提取目标产品的图像，获取目标产品的n个视角的产品图，并对产品图进行边缘光滑处理。
[0163]
产品轮廓图获取单元，用于根据边缘光滑处理后的产品图，提取目标产品的整体轮廓，获取目标产品的n个视角的产品轮廓图。
[0164]
结构轮廓图获取单元，用于根据产品轮廓图，提取目标产品的x个结构的结构轮廓图，获取目标产品的x个结构的n个视角的结构轮廓图。
[0165]
在上述实施例的基础上，本发明的一个可选地实施例中，结构轮廓图获取单元，包括：
[0166]
范围获取子单元，用于基于目标产品的结构特性，在产品轮廓图中寻找结构的边界点，获取x个结构的所属范围。
[0167]
面积识别子单元，用于识别所属范围的最大面积轮廓，获取x个结构的最大面积轮廓。
[0168]
矩形计算子单元，用于计算最大面积轮廓的最小外接矩形，获取x个结构的最小外接矩形。
[0169]
结构轮廓获取子单元，用于根据最小外接矩形，从产品轮廓图中提取结构轮廓图，获取目标产品的x个结构的n个视角的结构轮廓图。
[0170]
在上述实施例的基础上，本发明的一个可选地实施例中，特征融合模块4，包括：
[0171]
模板库单元，用于获取目标产品的轮廓模板库。
[0172]
系数获取单元，用于根据轮廓模板库和hu矩，计算匹配系数，获取目标产品的x个结构的n个视角的匹配系数。
[0173]
特征向量获取单元，用于将匹配系数和傅里叶描述子进行归一化处理，然后串行融合，获取目标产品的x个结构的n个视角的特征向量。
[0174]
实施例三、
[0175]
本发明实施例提供了一种基于视图的空间形状识别设备，其包括处理器、存储器，以及存储在存储器内的计算机程序。计算机程序能够被处理器执行，以实现如实施例一任意一段所说的基于视图的空间形状识别方法。
[0176]
实施例四、
[0177]
本发明实施例提供了一种计算机可读存储介质，计算机可读存储介质包括存储的计算机程序，其中，在计算机程序运行时控制计算机可读存储介质所在设备执行如实施例一任意一段所说的基于视图的空间形状识别方法。
[0178]
在本发明实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执
行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0179]
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
[0180]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0181]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
技术特征：1.一种基于视图的空间形状识别方法，其特征在于，包含：获取目标产品的n个视角的视图；根据所述n个视角的视图，提取目标产品的x个结构的n个视角的结构轮廓图；根据所述结构轮廓图，进行特征提取，获取x个结构的n个视角的hu矩和傅里叶描述子；根据所述hu矩和所述傅里叶描述子，获取x个结构的n个视角的特征向量；通过分类模型对所述特征向量进行分类，获取x个结构的n个视角的平面形状；根据所述平面形状，通过多图融合规则进行识别，获取目标产品的各个结构的空间形状。2.根据权利要求1所述的基于视图的空间形状识别方法，其特征在于，根据所述n个视角的视图，提取目标产品的x个结构的n个视角的结构轮廓图，包括：通过图像分割算法，分别从所述n个视角的视图中提取目标产品的图像，获取目标产品的n个视角的产品图，并对所述产品图进行边缘光滑处理；根据边缘光滑处理后的产品图，提取目标产品的整体轮廓，获取目标产品的n个视角的产品轮廓图；根据所述产品轮廓图，提取目标产品的x个结构的结构轮廓图，获取目标产品的x个结构的n个视角的结构轮廓图。3.根据权利要求2所述的基于视图的空间形状识别方法，其特征在于，所述图像分割算法为grabcut算法；根据所述产品轮廓图，提取目标产品的x个结构的结构轮廓图，获取目标产品的x个结构的n个视角的结构轮廓图，包括：基于目标产品的结构特性，在所述产品轮廓图中寻找结构的边界点，获取x个结构的所属范围；识别所述所属范围的最大面积轮廓，获取x个结构的最大面积轮廓；计算所述最大面积轮廓的最小外接矩形，获取x个结构的最小外接矩形；根据所述最小外接矩形，从所述产品轮廓图中提取结构轮廓图，获取目标产品的x个结构的n个视角的结构轮廓图。4.根据权利要求1所述的基于视图的空间形状识别方法，其特征在于，根据所述hu矩和所述傅里叶描述子，获取x个结构的n个视角的特征向量，包括：获取目标产品的轮廓模板库；根据所述轮廓模板库和所述hu矩，计算匹配系数，获取目标产品的x个结构的n个视角的匹配系数；将所述匹配系数和所述傅里叶描述子进行归一化处理，然后串行融合，获取目标产品的x个结构的n个视角的特征向量。5.根据权利要求4所述的基于视图的空间形状识别方法，其特征在于，所述特征向量的融合模型为：式中，k(i)为特征向量、ε1为匹配系数权重、k
hu
(i
hu
)表示第i
hu
个hu矩匹配系数、ε2为傅里叶描述子的权重、k
fd
(i
fd
)为第i
fd
个傅里叶描述子；
所述分类模型为采用一对多方案的svm多类分类器。6.根据权利要求1所述的基于视图的空间形状识别方法，其特征在于，当目标产品为花洒时x＝2，所述x个结构包括喷头结构和把手结构；n＝3；所述多图融合规则包含不同的三个视角的轮廓形状组合对应的空间形状。7.一种基于视图的空间形状识别装置，其特征在于，包含：视图获取模块，用于获取目标产品的n个视角的视图；结构轮廓获取模块，用于根据所述n个视角的视图，提取目标产品的x个结构的n个视角的结构轮廓图；特征提取模块，用于根据所述结构轮廓图，进行特征提取，获取x个结构的n个视角的hu矩和傅里叶描述子；特征融合模块，用于根据所述hu矩和所述傅里叶描述子，获取x个结构的n个视角的特征向量；形状识别模块，用于通过分类模型对所述特征向量进行分类，获取x个结构的n个视角的平面形状；形状融合模块，用于根据所述平面形状，通过多图融合规则进行识别，获取目标产品的各个结构的空间形状。8.根据权利要求7所述的一种基于视图的空间形状识别装置，其特征在于，所述结构轮廓获取模块，包括：产品图获取单元，用于通过图像分割算法，分别从所述n个视角的视图中提取目标产品的图像，获取目标产品的n个视角的产品图，并对所述产品图进行边缘光滑处理；产品轮廓图获取单元，用于根据边缘光滑处理后的产品图，提取目标产品的整体轮廓，获取目标产品的n个视角的产品轮廓图；结构轮廓图获取单元，用于根据所述产品轮廓图，提取目标产品的x个结构的结构轮廓图，获取目标产品的x个结构的n个视角的结构轮廓图。9.一种基于视图的空间形状识别设备，其特征在于，包括处理器、存储器，以及存储在所述存储器内的计算机程序；所述计算机程序能够被所述处理器执行，以实现如权利要求1至6任意一项所说的基于视图的空间形状识别方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6任意一项所说的基于视图的空间形状识别方法。
技术总结本发明实施例提供一种基于视图的空间形状识别方法、装置、设备和存储介质，涉及外观识别技术领域。这种空间形状识别方法包含S1、获取目标产品的N个视角的视图。S2、根据N个视角的视图，提取目标产品的X个结构的N个视角的结构轮廓图。S3、根据结构轮廓图，进行特征提取，获取X个结构的N个视角的Hu矩和傅里叶描述子。S4、根据Hu矩和傅里叶描述子，获取X个结构的N个视角的特征向量。S5、通过分类模型对特征向量进行分类，获取X个结构的N个视角的平面形状。S6、根据平面形状，通过多图融合规则进行识别，获取目标产品的各个结构的空间形状。本发明的空间形状识别方法能够根据视图获取空间形状，从而为图像检索提供新的检索基础。从而为图像检索提供新的检索基础。从而为图像检索提供新的检索基础。
技术研发人员：林文广 鄢文超 曾斯平 郭晓珍 赖荣燊
受保护的技术使用者：厦门理工学院
技术研发日：2022.07.22
技术公布日：2022/11/1
