1.本发明属于多媒体互动分析技术领域,特别涉及多媒体会议互动分析技术,具体而言是一种数字化场景识别的多媒体互动分析方法及云平台。
背景技术:2.随着以电脑为中心的多媒体技术的普及和提高,给会议工作带来了新的手段和方法,尤其是近几年兴起的多媒体会议,其通过将会议相互关联的声、光、电设备进行集成控制,实现了会议室的多媒体互动控制功能。在多媒体会议室里不管是作报告、总结、汇报、介绍产品等,用电脑互动操作的图、文、声、影、画展示,充分调动了与会者的感官知觉,大大提高了会议效果。
3.但目前多媒体会议互动控制的关注点大多在灯光和视频方面,对会议话筒的互动控制关注较少,具体体现在会议话筒在整个会议期间起到对演讲人员收音的功能,但当前对会议话筒的互动控制一方面只单独体现在音量控制上,忽略了会议话筒的开闭控制和收音端放置角度的智能调控,其中开闭控制关系到收音的目标性,收音端放置角度调控涉及到收音的精准度,导致会议话筒的互动控制过于单一,容易出现收音干扰和收音精准度不高的问题,进而影响会议话筒对演讲人员的收音效果,另一方面当前对会议话筒的音量控制只是单纯依据会议室的空间体积进行控制,没有考虑到会议话筒的固定位置对音量控制的影响,由于会议话筒作为声源,其发出的声音是向四周传播的,这就使得声源的传播效果不可避免地受传播距离的影响,而会议话筒的固定位置难以保障声源到达其他参会人员的传播距离均一致,因此单纯依据会议室的空间体积进行会议话筒的音量控制容易存在控制误差,导致控制准确度较低,进而影响参会人员的听觉效果。
技术实现要素:4.本发明的技术任务是针对上述存在的问题,提供一种数字化场景识别的多媒体互动分析方法及云平台,能够有效弥补现有技术中多媒体会议在会议话筒互动控制方面存在的缺陷。
5.本发明的目的可以通过以下技术方案来实现:
6.第一方面,本发明提供一种数字化场景识别的多媒体互动分析方法,包括以下步骤:
7.步骤1:统计参加多媒体会议的参会人员,并获取各参会人员对应的参会基本信息;
8.步骤2:获取多媒体会议对应的演讲流程,进而将多媒体会议对应的演讲流程和各参会人员对应的参会基本信息存储在参会数据库中;
9.步骤3:对多媒体会议室中存在的座位进行编号,并分别在各座位对应的会议桌区域设置会议话筒和摄像仪;
10.步骤4:在会议正式开始时,从参会数据库中提取多媒体会议对应的演讲流程,并
从演讲流程中获取演讲顺序表;
11.步骤5:从演讲顺序表中按顺序提取各演讲参会人员的姓名和演讲时间段;
12.步骤6:根据各演讲参会人员的姓名和演讲时间段对会议话筒进行开启控制和音量控制;
13.步骤7:在各演讲参会人员对应的演讲时间段对会议话筒进行收音端放置参数调控。
14.在本发明第一方面的一种能够实现的方式中,所述参会基本信息包括姓名和座位号。
15.在本发明第一方面的一种能够实现的方式中,所述会议话筒包括固定底座和收音端,其中收音端可自由转动。
16.在本发明第一方面的一种能够实现的方式中,所述步骤6中根据各演讲参会人员的姓名和演讲时间段对会议话筒进行开闭控制对应的具体控制过程参看以下步骤:
17.a1:根据各演讲参会人员的姓名从参会数据库中筛选出各演讲参会人员对应的座位号;
18.a2:在各演讲参会人员对应的演讲时间段,根据各演讲参会人员对应的座位号找到该座位对应会议桌区域的会议话筒,并执行开启操作,同时对其他座位对应会议桌区域的会议话筒保持关闭状态。
19.在本发明第一方面的一种能够实现的方式中,所述步骤6中根据各演讲参会人员的姓名和演讲时间段对会议话筒进行音量控制对应的具体控制过程参看以下步骤:
20.b1:获取会议室的空间体积,并在会议室内按照设定的三维直角坐标系构建方式进行三维直角坐标系构建;
21.b2:根据构建的三维直角坐标系获取会议室空间内中心点的位置坐标及各会议话筒对应固定底座的位置坐标;
22.b3:根据会议室空间内中心点的位置坐标和各会议话筒对应固定底座的位置坐标计算出各会议话筒的固定位置与会议室空间内中心点之间的距离,并记为各会议话筒固定位置对应的接近距离;
23.b4:将会议室的空间体积与设置的各种空间体积在会议话筒处于标准固定位置下的适宜音量进行匹配,其中标准固定位置是指会议话筒固定在会议室空间内中心点位置,从中匹配出该会议室的空间体积在会议话筒处于标准固定位置下的适宜音量;
24.b5:将各会议话筒固定位置对应的接近距离和该会议室的空间体积在会议话筒处于标准固定位置下的适宜音量代入公式中,由此计算出各会议话筒开启时对应的适宜音量,其中q表示为会议话筒开启时对应的适宜音量,q0表示为该会议室的空间体积在会议话筒处于标准固定位置下的适宜音量,l表示为会议话筒固定位置对应的接近距离,l0表示为预设的接近距离阈值;
25.b6:在各演讲参会人员对应的演讲时间段实时采集该演讲参会人员所在座位对应会议话筒的实际音量,并将其调控为该会议话筒开启时对应的适宜音量。
26.在本发明第一方面的一种能够实现的方式中,所述设定的三维直角坐标系构建方式为取会议室所在地面的预设拐角作为原点,分别以会议室的长度所在方向、宽度所在方
向和高度所在方向作为x轴、y轴和z轴。
27.在本发明第一方面的一种能够实现的方式中,所述收音端放置参数包括收音端垂直方向放置高度和收音端水平方向放置角度。
28.在本发明第一方面的一种能够实现的方式中,所述步骤7中在各演讲参会人员对应的演讲时间段对会议话筒进行收音端放置参数调控具体包括以下步骤:
29.c1:在各演讲参会人员对应的演讲时间段内将该演讲参会人员记为目标演讲人员,并将目标演讲人员所在座位对应会议桌区域的会议话筒和摄像仪记为目标演讲人员对应的指定会议话筒和指定摄像仪;
30.c2:将目标演讲人员对应的演讲时间段按照预定义的时间间隔进行划分,得到若干采集时间点,并将各采集时间点按照时间先后顺序依次编号为1,2,...,t,...,m,进而由目标演讲人员对应的指定摄像仪在各采集时间点对目标演讲人员进行坐姿图像采集;
31.c3:从各采集时间点对应目标演讲人员的坐姿图像中提取有效坐姿高度;
32.c4:将各采集时间点对应目标演讲人员的坐姿图像聚焦在目标演讲人员的嘴部区域,进而根据构建的三维直角坐标系获取各采集时间点中目标演讲人员对应的嘴部位置三维坐标;
33.c5:基于目标演讲人员对应指定会议话筒的固定位置三维坐标和各采集时间点中目标演讲人员对应的嘴部位置三维坐标计算各采集时间点中指定会议话筒的固定位置与目标演讲人员嘴部位置之间的距离,并将该距离记为指定会议话筒对目标演讲人员的收音距离;
34.c6:根据各采集时间点对应目标演讲人员的有效坐姿高度进行坐姿高度线勾勒,进而将目标演讲人员对应指定会议话筒的固定位置向坐姿高度线进行投影,得到各采集时间点中目标演讲人员对应指定会议话筒的固定位置投影点;
35.c7:将各采集时间点中目标演讲人员对应的嘴部位置、指定会议话筒的固定位置和指定会议话筒的固定位置投影点构成一个收音三角形,由此根据构成的收音三角形统计各采集时间点中目标演讲人员对应指定会议话筒的收音端垂直方向需求放置角度,其计算公式为θ
t
表示为第t个采集时间点中目标演讲人员对应指定会议话筒的收音端垂直方向需求放置角度,h
t
表示为第t个采集时间点中目标演讲人员对应的有效坐姿高度,l
t
表示为第t个采集时间点中指定会议话筒对目标演讲人员的收音距离;
36.c8:以目标演讲人员对应指定会议话筒的固定底座为基点在会议桌平面上作垂线,并将该垂线记为指定话筒对应收音端的参考辅助线,进而将指定话筒对应收音端的参考辅助线映射到目标演讲人员对应的座位区域,以此形成映射辅助线;
37.c9:从各采集时间点对应目标演讲人员的坐姿图像中提取坐姿轮廓线,并识别出坐姿轮廓的中心线,同时在各采集时间点对应目标演讲人员的坐姿图像中将映射辅助线进行标记,形成标记后的坐姿图像;
38.c10:从标记后的各采集时间点对应目标演讲人员的坐姿图像中获取坐姿轮廓的中心线与映射辅助线之间的夹角,由此得到各采集时间点中目标演讲人员对应坐姿轮廓中心线与映射辅助线之间的夹角,该夹角即为各采集时间点中目标演讲人员对应指定会议话筒的收音端水平方向需求放置角度;
39.c11:在各采集时间点对目标演讲人员的指定会议话筒进行收音端水平方向放置角度和收音端垂直方向放置角度调控,使其分别符合收音端水平方向需求放置角度和收音端垂直方向需求放置角度。
40.在本发明第一方面的一种能够实现的方式中,所述有效坐姿高度是指目标演讲人员嘴部到达会议桌面的高度。
41.第二方面,本发明提供一种数字化场景识别的多媒体互动分析云平台,包括以下模块:
42.参会人员基本信息获取模块,用于统计参加多媒体会议的参会人员,并获取各参会人员对应的参会基本信息;
43.参会数据库构建模块,用于获取多媒体会议对应的演讲流程,进而将多媒体会议对应的演讲流程和各参会人员对应的参会基本信息存储在参会数据库中;
44.会议设备设置模块,用于对多媒体会议室中存在的座位进行编号,并分别在各座位对应的会议桌区域设置会议话筒和摄像仪;
45.演讲顺序表提取模块,用于在会议正式开始时,从参会数据库中提取多媒体会议对应的演讲流程,并从演讲流程中获取演讲顺序表;
46.演讲信息提取模块,用于从演讲顺序表中按顺序提取各演讲参会人员的姓名和演讲时间段;
47.会议话筒开启和音量智能控制模块,用于根据各演讲参会人员的姓名和演讲时间段对会议话筒进行开闭控制和音量控制;
48.会议话筒收音端放置参数智能调控终端,用于在各演讲参会人员对应的演讲时间段对会议话筒进行收音端放置参数调控。
49.结合上述的所有技术方案,本发明所具备的优点及积极效果为:
50.(1)本发明在多媒体会议进行过程中对会议话筒进行开闭控制、音量控制和收音端放置角度的智能调控,实现了对会议话筒的多维度互动控制,弥补了目前对会议话筒的互动控制过于单一的不足,进而有效降低了收音干扰的发生率,同时提高了会议话筒的收音精准度,在很大程度上提升了会议话筒对演讲人员的收音效果。
51.(2)本发明在对会议话筒进行音量控制时,综合考虑到了通过会议室的空间体积和会议话筒的固定位置对会议话筒音量控制的影响,由此据此对会议话筒的音量进行灵活性、针对性的控制,相比较单纯根据会议室的空间体积进行音量控制,该控制方式减少了控制误差,大大提高了音量控制的准确度,最大程度保障了参会人员的听觉效果。
附图说明
52.利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。
53.图1为本发明的方法实施步骤流程图;
54.图2为本发明的系统模块连接示意图;
55.图3为本发明的三维直角坐标系构建示意图;
56.图4为本发明的收音三角形构造示意图。
具体实施方式
57.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
58.参照图1所示,第一方面,本发明提供一种数字化场景识别的多媒体互动分析方法,包括以下步骤:
59.步骤1:统计参加多媒体会议的参会人员,并获取各参会人员对应的参会基本信息,其中参会基本信息包括姓名和座位号;
60.步骤2:获取多媒体会议对应的演讲流程,进而将多媒体会议对应的演讲流程和各参会人员对应的参会基本信息存储在参会数据库中;
61.步骤3:对多媒体会议室中存在的座位进行编号,并分别在各座位对应的会议桌区域设置会议话筒和摄像仪,其中会议话筒用于对相应座位上的参会人员进行收音,摄像仪用于对相应座位上的参会人员进行坐姿图像采集;
62.需要说明的是,上述提到的会议话筒包括固定底座和收音端,其中收音端可自由转动;
63.步骤4:在会议正式开始时,从参会数据库中提取多媒体会议对应的演讲流程,并从演讲流程中获取演讲顺序表;
64.步骤5:从演讲顺序表中按顺序提取各演讲参会人员的姓名和演讲时间段;
65.步骤6:根据各演讲参会人员的姓名和演讲时间段对会议话筒进行开启控制和音量控制;
66.上述中根据各演讲参会人员的姓名和演讲时间段对会议话筒进行开闭控制对应的具体控制过程参看以下步骤:
67.a1:根据各演讲参会人员的姓名从参会数据库中筛选出各演讲参会人员对应的座位号;
68.a2:在各演讲参会人员对应的演讲时间段,由于每个座位对应的会议桌区域均设置有会议话筒,且每个座位均设置编号,这就使得座位号与会议话筒成一一对应关系,在这种情况下根据各演讲参会人员对应的座位号就可以找到该座位对应会议桌区域的会议话筒,并执行开启操作,同时对其他座位对应会议桌区域的会议话筒保持关闭状态。
69.在本发明的优选方案中,对会议话筒进行开闭控制的目的在于当某参会人员进行演讲时,如果不对其他参会人员所处座位对应的会议话筒进行关闭,就很容易存在其他会议话筒因处于收音状态进而对当前演讲人员的演讲效果造成干扰的问题,导致会议话筒的收音目标性不强;
70.上述中根据各演讲参会人员的姓名和演讲时间段对会议话筒进行音量控制对应的具体控制过程参看以下步骤:
71.b1:获取会议室的空间体积,参照图3所示,在会议室内按照设定的三维直角坐标系构建方式进行三维直角坐标系构建,其中设定的三维直角坐标系构建方式为取会议室所在地面的预设拐角作为原点,分别以会议室的长度所在方向、宽度所在方向和高度所在方向作为x轴、y轴和z轴;
72.b2:根据构建的三维直角坐标系获取会议室空间内中心点的位置坐标及各会议话筒对应固定底座的位置坐标;
73.b3:根据会议室空间内中心点的位置坐标和各会议话筒对应固定底座的位置坐标计算出各会议话筒的固定位置与会议室空间内中心点之间的距离,并记为各会议话筒固定位置对应的接近距离;
74.b4:将会议室的空间体积与设置的各种空间体积在会议话筒处于标准固定位置下的适宜音量进行匹配,其中标准固定位置是指会议话筒固定在会议室空间内中心点位置,从中匹配出该会议室的空间体积在会议话筒处于标准固定位置下的适宜音量;
75.b5:将各会议话筒固定位置对应的接近距离和该会议室的空间体积在会议话筒处于标准固定位置下的适宜音量代入公式中,由此计算出各会议话筒开启时对应的适宜音量,其中q表示为会议话筒开启时对应的适宜音量,q0表示为该会议室的空间体积在会议话筒处于标准固定位置下的适宜音量,l表示为会议话筒固定位置对应的接近距离,l0表示为预设的接近距离阈值,其中某会议话筒固定位置的接近距离越远,表明该会议话筒的固定位置越偏向会议室的拐角,此时为了保障距离该会议话筒的固定位置较远的参会人员也能够清晰听到演讲内容,就需要将该会议话筒开启时的音量调大;
76.b6:在各演讲参会人员对应的演讲时间段实时采集该演讲参会人员所在座位对应会议话筒的实际音量,并将其调控为该会议话筒开启时对应的适宜音量;
77.需要说明的是,本发明在分析各会议话筒开启时对应的适宜音量时,以会议室空间内中心点的位置作为分析依据,这是由于在会议室空间中心点设置会议话筒,该会议话筒作为声源向各参会人员的传播距离是相同的,而实际会议话筒的固定位置距离会议室空间内中心点的接近距离越远,其音量需要调控的力度最大。
78.本发明实施例在对会议话筒进行音量控制时,综合考虑到了通过会议室的空间体积和会议话筒的固定位置对会议话筒音量控制的影响,由此据此对会议话筒的音量进行灵活性、针对性的控制,相比较单纯根据会议室的空间体积进行音量控制,该控制方式减少了控制误差,大大提高了音量控制的准确度,最大程度保障了参会人员的听觉效果。
79.步骤7:在各演讲参会人员对应的演讲时间段对会议话筒进行收音端放置参数调控,其中收音端放置参数包括收音端垂直方向放置高度和收音端水平方向放置角度;
80.上述中在各演讲参会人员对应的演讲时间段对会议话筒进行收音端放置参数调控具体包括以下步骤:
81.c1:在各演讲参会人员对应的演讲时间段内将该演讲参会人员记为目标演讲人员,并将目标演讲人员所在座位对应会议桌区域的会议话筒和摄像仪记为目标演讲人员对应的指定会议话筒和指定摄像仪;
82.c2:将目标演讲人员对应的演讲时间段按照预定义的时间间隔进行划分,得到若干采集时间点,并将各采集时间点按照时间先后顺序依次编号为1,2,...,t,...,m,进而由目标演讲人员对应的指定摄像仪在各采集时间点对目标演讲人员进行坐姿图像采集;
83.c3:从各采集时间点对应目标演讲人员的坐姿图像中提取有效坐姿高度,其中有效坐姿高度是指目标演讲人员嘴部到达会议桌面的高度;
84.需要说明的是,上述根据有效坐姿高度进行收音端垂直方向需求放置角度分析是
由于会议话筒是固定在会议桌上的,其收音端垂直方向需求放置角度只与目标演讲人员的有效坐姿高度有关;
85.c4:将各采集时间点对应目标演讲人员的坐姿图像聚焦在目标演讲人员的嘴部区域,进而根据构建的三维直角坐标系获取各采集时间点中目标演讲人员对应的嘴部位置三维坐标;
86.c5:基于目标演讲人员对应指定会议话筒的固定位置三维坐标和各采集时间点中目标演讲人员对应的嘴部位置三维坐标计算各采集时间点中指定会议话筒的固定位置与目标演讲人员嘴部位置之间的距离,并将该距离记为指定会议话筒对目标演讲人员的收音距离;
87.c6:根据各采集时间点对应目标演讲人员的有效坐姿高度进行坐姿高度线勾勒,进而将目标演讲人员对应指定会议话筒的固定位置向坐姿高度线进行投影,得到各采集时间点中目标演讲人员对应指定会议话筒的固定位置投影点;
88.上述中坐姿高度线的具体勾勒方法为将各采集时间点中目标演讲人员的嘴部位置向会议桌平面作垂线,其作出的垂线记为坐姿高度线;
89.c7:参照图4所示,将各采集时间点中目标演讲人员对应的嘴部位置、指定会议话筒的固定位置和指定会议话筒的固定位置投影点构成一个收音三角形,由此根据构成的收音三角形统计各采集时间点中目标演讲人员对应指定会议话筒的收音端垂直方向需求放置角度,其计算公式为θ
t
表示为第t个采集时间点中目标演讲人员对应指定会议话筒的收音端垂直方向需求放置角度,h
t
表示为第t个采集时间点中目标演讲人员对应的有效坐姿高度,l
t
表示为第t个采集时间点中指定会议话筒对目标演讲人员的收音距离;
90.c8:以目标演讲人员对应指定会议话筒的固定底座为基点在会议桌平面上作垂线,并将该垂线记为指定话筒对应收音端的参考辅助线,进而将指定话筒对应收音端的参考辅助线映射到目标演讲人员对应的座位区域,以此形成映射辅助线;
91.上述中设定参考辅助线的目的为收音端水平方向需求放置角度实际上就是会议话筒的收音端水平方向放置位置与参考辅助线之间的夹角;
92.c9:从各采集时间点对应目标演讲人员的坐姿图像中提取坐姿轮廓线,并识别出坐姿轮廓的中心线,同时在各采集时间点对应目标演讲人员的坐姿图像中将映射辅助线进行标记,形成标记后的坐姿图像;
93.上述中坐姿轮廓中心线的识别方式为取嘴部轮廓的中心点作为第一轮廓辅助点,取上身轮廓的中心点作为第二轮廓辅助点,进而连接第一轮廓辅助点和第二轮廓辅助点构成坐姿轮廓中心线;
94.c10:从标记后的各采集时间点对应目标演讲人员的坐姿图像中获取坐姿轮廓的中心线与映射辅助线之间的夹角,由此得到各采集时间点中目标演讲人员对应坐姿轮廓中心线与映射辅助线之间的夹角,该夹角即为各采集时间点中目标演讲人员对应指定会议话筒的收音端水平方向需求放置角度;
95.c11:在各采集时间点对目标演讲人员的指定会议话筒进行收音端水平方向放置角度和收音端垂直方向放置角度调控,使其分别符合收音端水平方向需求放置角度和收音
端垂直方向需求放置角度。
96.在本发明的优化方案中,对会议话筒的收音端放置参数进行调控的目的在于当前会议话筒的收音端放置参数是需要目标演讲人员手动根据自身的坐姿进行调控,使其能够精确对准目标演讲人员的嘴部,以达到精准收音的功能,但在实际调控中目标演讲人员难以实时关注到会议话筒收音端的放置情况,进而一方面日容易出现忘记调控或调控不及时的现象,另一方面由于手动调控的局限性,容易导致调控准确度不高,从而影响会议话筒对应收音端放置参数的调控效果。
97.本发明实施例在多媒体会议进行过程中对会议话筒进行开闭控制、音量控制和收音端放置角度的智能调控,实现了对会议话筒的多维度互动控制,弥补了目前对会议话筒的互动控制过于单一的不足,进而有效降低了收音干扰的发生率,同时提高了会议话筒的收音精准度,在很大程度上提升了会议话筒对演讲人员的收音效果。
98.参照图2所示,第二方面,本发明提供一种数字化场景识别的多媒体互动分析云平台,包括以下模块:
99.参会人员基本信息获取模块,用于统计参加多媒体会议的参会人员,并获取各参会人员对应的参会基本信息;
100.参会数据库构建模块,与参会人员基本信息获取模块连接,用于获取多媒体会议对应的演讲流程,进而将多媒体会议对应的演讲流程和各参会人员对应的参会基本信息存储在参会数据库中;
101.会议设备设置模块,用于对多媒体会议室中存在的座位进行编号,并分别在各座位对应的会议桌区域设置会议话筒和摄像仪;
102.演讲顺序表提取模块,与参会数据库构建模块连接,用于在会议正式开始时,从参会数据库中提取多媒体会议对应的演讲流程,并从演讲流程中获取演讲顺序表;
103.演讲信息提取模块,与演讲顺序表提取模块连接,用于从演讲顺序表中按顺序提取各演讲参会人员的姓名和演讲时间段;
104.会议话筒开启和音量智能控制模块,分别与参会数据库构建模块、会议设备设置模块和演讲信息提取模块连接,用于根据各演讲参会人员的姓名和演讲时间段对会议话筒进行开闭控制和音量控制;
105.会议话筒收音端放置参数智能调控终端,分别与参会数据库构建模块、会议设备设置模块和演讲信息提取模块连接,用于在各演讲参会人员对应的演讲时间段对会议话筒进行收音端放置参数调控。
106.以上内容仅仅是对本发明结构所作的举例和说明,所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,只要不偏离发明的结构或者超越本权利要求书所定义的范围,均应属于本发明的保护范围。
技术特征:1.一种数字化场景识别的多媒体互动分析方法,其特征在于,包括以下步骤:步骤1:统计参加多媒体会议的参会人员,并获取各参会人员对应的参会基本信息;步骤2:获取多媒体会议对应的演讲流程,进而将多媒体会议对应的演讲流程和各参会人员对应的参会基本信息存储在参会数据库中;步骤3:对多媒体会议室中存在的座位进行编号,并分别在各座位对应的会议桌区域设置会议话筒和摄像仪;步骤4:在会议正式开始时,从参会数据库中提取多媒体会议对应的演讲流程,并从演讲流程中获取演讲顺序表;步骤5:从演讲顺序表中按顺序提取各演讲参会人员的姓名和演讲时间段;步骤6:根据各演讲参会人员的姓名和演讲时间段对会议话筒进行开闭控制和音量控制;步骤7:在各演讲参会人员对应的演讲时间段对会议话筒进行收音端放置参数调控。2.根据权利要求1所述的一种数字化场景识别的多媒体互动分析方法,其特征在于:所述参会基本信息包括姓名和座位号。3.根据权利要求1所述的一种数字化场景识别的多媒体互动分析方法,其特征在于:所述会议话筒包括固定底座和收音端,其中收音端可自由转动。4.根据权利要求1所述的一种数字化场景识别的多媒体互动分析方法,其特征在于:所述步骤6中根据各演讲参会人员的姓名和演讲时间段对会议话筒进行开闭控制对应的具体控制过程参看以下步骤:a1:根据各演讲参会人员的姓名从参会数据库中筛选出各演讲参会人员对应的座位号;a2:在各演讲参会人员对应的演讲时间段,根据各演讲参会人员对应的座位号找到该座位对应会议桌区域的会议话筒,并执行开启操作,同时对其他座位对应会议桌区域的会议话筒保持关闭状态。5.根据权利要求1所述的一种数字化场景识别的多媒体互动分析方法,其特征在于:所述步骤6中根据各演讲参会人员的姓名和演讲时间段对会议话筒进行音量控制对应的具体控制过程参看以下步骤:b1:获取会议室的空间体积,并在会议室内按照设定的三维直角坐标系构建方式进行三维直角坐标系构建;b2:根据构建的三维直角坐标系获取会议室空间内中心点的位置坐标及各会议话筒对应固定底座的位置坐标;b3:根据会议室空间内中心点的位置坐标和各会议话筒对应固定底座的位置坐标计算出各会议话筒的固定位置与会议室空间内中心点之间的距离,并记为各会议话筒固定位置对应的接近距离;b4:将会议室的空间体积与设置的各种空间体积在会议话筒处于标准固定位置下的适宜音量进行匹配,其中标准固定位置是指会议话筒固定在会议室空间内中心点位置,从中匹配出该会议室的空间体积在会议话筒处于标准固定位置下的适宜音量;b5:将各会议话筒固定位置对应的接近距离和该会议室的空间体积在会议话筒处于标
准固定位置下的适宜音量代入公式中,由此计算出各会议话筒开启时对应的适宜音量,其中q表示为会议话筒开启时对应的适宜音量,q0表示为该会议室的空间体积在会议话筒处于标准固定位置下的适宜音量,l表示为会议话筒固定位置对应的接近距离,l0表示为预设的接近距离阈值;b6:在各演讲参会人员对应的演讲时间段实时采集该演讲参会人员所在座位对应会议话筒的实际音量,并将其调控为该会议话筒开启时对应的适宜音量。6.根据权利要求5所述的一种数字化场景识别的多媒体互动分析方法,其特征在于:所述设定的三维直角坐标系构建方式为取会议室所在地面的预设拐角作为原点,分别以会议室的长度所在方向、宽度所在方向和高度所在方向作为x轴、y轴和z轴。7.根据权利要求1所述的一种数字化场景识别的多媒体互动分析方法,其特征在于:所述收音端放置参数包括收音端垂直方向放置高度和收音端水平方向放置角度。8.根据权利要求7所述的一种数字化场景识别的多媒体互动分析方法,其特征在于:所述步骤7中在各演讲参会人员对应的演讲时间段对会议话筒进行收音端放置参数调控具体包括以下步骤:c1:在各演讲参会人员对应的演讲时间段内将该演讲参会人员记为目标演讲人员,并将目标演讲人员所在座位对应会议桌区域的会议话筒和摄像仪记为目标演讲人员对应的指定会议话筒和指定摄像仪;c2:将目标演讲人员对应的演讲时间段按照预定义的时间间隔进行划分,得到若干采集时间点,并将各采集时间点按照时间先后顺序依次编号为1,2,...,t,...,m,进而由目标演讲人员对应的指定摄像仪在各采集时间点对目标演讲人员进行坐姿图像采集;c3:从各采集时间点对应目标演讲人员的坐姿图像中提取有效坐姿高度;c4:将各采集时间点对应目标演讲人员的坐姿图像聚焦在目标演讲人员的嘴部区域,进而根据构建的三维直角坐标系获取各采集时间点中目标演讲人员对应的嘴部位置三维坐标;c5:基于目标演讲人员对应指定会议话筒的固定位置三维坐标和各采集时间点中目标演讲人员对应的嘴部位置三维坐标计算各采集时间点中指定会议话筒的固定位置与目标演讲人员嘴部位置之间的距离,并将该距离记为指定会议话筒对目标演讲人员的收音距离;c6:根据各采集时间点对应目标演讲人员的有效坐姿高度进行坐姿高度线勾勒,进而将目标演讲人员对应指定会议话筒的固定位置向坐姿高度线进行投影,得到各采集时间点中目标演讲人员对应指定会议话筒的固定位置投影点;c7:将各采集时间点中目标演讲人员对应的嘴部位置、指定会议话筒的固定位置和指定会议话筒的固定位置投影点构成一个收音三角形,由此根据构成的收音三角形统计各采集时间点中目标演讲人员对应指定会议话筒的收音端垂直方向需求放置角度,其计算公式为θ
t
表示为第t个采集时间点中目标演讲人员对应指定会议话筒的收音端垂直方向需求放置角度,h
t
表示为第t个采集时间点中目标演讲人员对应的有效坐姿高度,l
t
表示为第t个采集时间点中指定会议话筒对目标演讲人员的收音距离;c8:以目标演讲人员对应指定会议话筒的固定底座为基点在会议桌平面上作垂线,并将该垂线记为指定话筒对应收音端的参考辅助线,进而将指定话筒对应收音端的参考辅助线映射到目标演讲人员对应的座位区域,以此形成映射辅助线;c9:从各采集时间点对应目标演讲人员的坐姿图像中提取坐姿轮廓线,并识别出坐姿轮廓的中心线,同时在各采集时间点对应目标演讲人员的坐姿图像中将映射辅助线进行标记,形成标记后的坐姿图像;c10:从标记后的各采集时间点对应目标演讲人员的坐姿图像中获取坐姿轮廓的中心线与映射辅助线之间的夹角,由此得到各采集时间点中目标演讲人员对应坐姿轮廓中心线与映射辅助线之间的夹角,该夹角即为各采集时间点中目标演讲人员对应指定会议话筒的收音端水平方向需求放置角度;c11:在各采集时间点对目标演讲人员的指定会议话筒进行收音端水平方向放置角度和收音端垂直方向放置角度调控,使其分别符合收音端水平方向需求放置角度和收音端垂直方向需求放置角度。9.根据权利要求8所述的一种数字化场景识别的多媒体互动分析方法,其特征在于:所述有效坐姿高度是指目标演讲人员嘴部到达会议桌面的高度。10.一种数字化场景识别的多媒体互动分析云平台,其特征在于,包括以下模块:参会人员基本信息获取模块,用于统计参加多媒体会议的参会人员,并获取各参会人员对应的参会基本信息;参会数据库构建模块,用于获取多媒体会议对应的演讲流程,进而将多媒体会议对应的演讲流程和各参会人员对应的参会基本信息存储在参会数据库中;会议设备设置模块,用于对多媒体会议室中存在的座位进行编号,并分别在各座位对应的会议桌区域设置会议话筒和摄像仪;演讲顺序表提取模块,用于在会议正式开始时,从参会数据库中提取多媒体会议对应的演讲流程,并从演讲流程中获取演讲顺序表;演讲信息提取模块,用于从演讲顺序表中按顺序提取各演讲参会人员的姓名和演讲时间段;会议话筒开启和音量智能控制模块,用于根据各演讲参会人员的姓名和演讲时间段对会议话筒进行开闭控制和音量控制;会议话筒收音端放置参数智能调控终端,用于在各演讲参会人员对应的演讲时间段对会议话筒进行收音端放置参数调控。
技术总结本发明公开一种数字化场景识别的多媒体互动分析方法及云平台,通过在多媒体会议进行过程中对会议话筒进行开闭控制、音量控制和收音端放置角度的智能调控,实现了对会议话筒的多维度互动控制,弥补了目前对会议话筒的互动控制过于单一的不足,进而有效降低了收音干扰的发生率,同时提高了会议话筒的收音精准度,在很大程度上提升了会议话筒对演讲人员的收音效果,与此同时在对会议话筒进行音量控制时,综合考虑到了会议室的空间体积和会议话筒的固定位置对会议话筒音量控制的影响,由此据此对会议话筒的音量进行灵活性、针对性的控制,大大提高了音量控制的准确度,最大程度保障了参会人员的听觉效果。障了参会人员的听觉效果。障了参会人员的听觉效果。
技术研发人员:于宝乾
受保护的技术使用者:晨雨初听(武汉)文化艺术传播有限公司
技术研发日:2022.06.22
技术公布日:2022/11/1