本公开涉及终端交互。更具体地说,本公开涉及一种基于ai人感大模型的智能交互方法、系统、终端及介质。
背景技术:
1、早期的智能终端(例如智能电视)都是需要用户下达一个交互操作指令,该智能终端才会对该交互操作指令作出对应的响应操作。这种智能终端和用户的交互方法,属于用户触发型的交互方法。
2、近年来,智能终端融入了ai感知模块,该ai感知模块包括多个子模块(例如毫米波模块、摄像头模块、远场语音模块和光感模块),使得智能终端也能够与用户进行一定的主动式服务交互,比如,采用毫米波模块或者摄像头模块判断用户的观影距离,通过观影距离提醒用户或给用户带来较佳的声音体验。然而,当前的智能终端搭载的ai感知模块中的各个子模块,均是独立运行且互不干扰的,使得每一个子模块仅能给用户带来独立的服务,无法同时结合多个子模块来综合性的为用户提供更加智能化的主动式服务交互,导致目前智能终端的主动式服务交互体验感不佳。
技术实现思路
1、本公开的目的是,提供一种基于a i人感大模型的智能交互方法、系统、终端及介质,其能够提高智能终端的主动式服务交互体验感。本公开主要通过下述技术方案实现:
2、本公开的第一方面,提供了一种基于ai人感大模型的智能交互方法,包括:
3、采用智能终端中ai感知模块的多个子模块收集行为数据;
4、采用所述智能终端的第一ai人感大模型对所述行为数据进行分析处理,构建第一ai感知场景;
5、基于所述第一a i感知场景,生成并执行与所述第一ai感知场景对应的第一智能交互指令,以响应所述行为数据,实现所述智能终端与用户之间的交互。
6、根据本公开的一个实施例,所述采用智能终端中ai感知模块的多个子模块收集行为数据的步骤包括:
7、执行以下其中一个或者多个步骤:
8、采用所述a i感知模块的毫米波模块收集所述行为数据的第一安装信息、第一环境空间信息和用户使用信息;
9、采用所述a i感知模块的摄像头模块收集所述行为数据的用户人脸图像、使用场景图像和用户行为图像;
10、采用所述a i感知模块的远场语音模块收集所述行为数据的用户语音信息和环境噪音信息;
11、采用所述ai感知模块的光感模块收集所述行为数据的环境光线信息。
12、根据本公开的一个实施例,所述采用所述智能终端的第一ai人感大模型对所述行为数据进行分析处理,构建第一ai感知场景的步骤包括:
13、将所述行为数据进行分类处理,获得至少一个待处理数据;
14、通过所述第一ai人感大模型对所有所述待处理数据进行推理,获得与每个待处理数据对应的推理元素;
15、基于所有所述推理元素构建所述第一ai感知场景。
16、根据本公开的一个实施例,在所述采用智能终端中ai感知模块的多个子模块收集行为数据的步骤之前,所述基于a i人感大模型的智能交互方法还包括:
17、检测所述智能终端的安装环境信息和运行环境信息;
18、根据所述安装环境信息和所述运行环境信息调节所述智能终端的运行状态。
19、根据本公开的一个实施例,所述检测所述智能终端的安装环境信息和运行环境信息的步骤包括:
20、执行以下其中一个或者多个步骤:
21、采用所述a i感知模块的毫米波模块检测所述安装环境信息的第二安装信息和第二环境空间信息;
22、采用所述a i感知模块的光感模块检测所述运行环境信息的运营环境光信息;
23、采用所述a i感知模块的毫米波模块检测所述运行环境信息的观影位置信息。
24、根据本公开的一个实施例,所述根据所述安装环境信息和所述运行环境信息调节所述智能终端的运行状态的步骤包括:
25、基于所述第二安装信息和所述第二环境空间信息调节所述智能终端的音量;
26、基于所述运营环境光信息调节所述智能终端的背光亮度;
27、基于所述观影位置信息调节所述智能终端的显示亮度和声音的播放角度。
28、根据本公开的一个实施例,在所述基于所述第一ai感知场景,生成并执行与所述第一ai感知场景对应的第一智能交互指令的步骤之前,所述基于ai人感大模型的智能交互方法还包括:
29、检测所述第一a i感知场景与所述智能终端是否匹配;
30、在所述第一ai感知场景与所述智能终端匹配的情况下,基于所述第一ai感知场景,生成并执行与所述第一ai感知场景对应的第一智能交互指令;
31、在所述第一ai感知场景与所述智能终端不匹配的情况下,调节所述第一ai人感大模型的多模态推理策略,获得第二ai人感大模型;采用所述第二ai人感大模型对所述行为数据进行分析处理,构建第二ai感知场景;基于所述第二ai感知场景,生成并执行与所述第二ai感知场景对应的第二智能交互指令。
32、本公开的第二方面,提供了一种基于ai人感大模型的智能交互系统,包括:
33、行为数据收集模块,用于采用智能终端中ai感知模块的多个子模块收集行为数据;
34、第一ai感知场景输出模块,用于采用所述智能终端的第一ai人感大模型对所述行为数据进行分析处理,构建第一ai感知场景;
35、第一智能交互指令执行模块,用于基于所述第一ai感知场景,生成并执行与所述第一ai感知场景对应的第一智能交互指令,以响应所述行为数据,实现所述智能终端与用户之间的交互。
36、本公开的第三方面,提供了一种智能终端,所述智能终端包括存储器、处理器和ai感知模块,所述ai感知模块包括毫米波模块、摄像头模块、远场语音模块和光感模块,该存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,执行上述本公开第一方面提供的基于ai人感大模型的智能交互方法的步骤,所述毫米波模块、所述摄像头模块、所述远场语音模块和所述光感模块均与所述处理器连接。
37、本公开的第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序使得计算机执行本公开第一方面提供的基于ai人感大模型的智能交互方法的步骤。
38、本公开的有益效果至少包括:
39、本公开设计了一种第一ai人感大模型,采用所述第一ai人感大模型,对智能终端的ai感知模块的所有子模块收集的行为数据进行分析处理,构建第一ai感知场景,由此,本公开可以达到对所述ai感知模块中各个子模块收集到的行为数据进行综合性分析的目的;接着,本公开基于所述第一ai感知场景,生成并执行与所述第一ai感知场景对应的第一智能交互指令,以响应所述行为数据,实现所述智能终端与用户之间的交互。本公开基于所述第一ai感知场景,能够为用户提供更加智能化的主动式服务交互。因此,与现有技术相比,本公开能够提高智能终端的主动式服务交互体验感。
1.一种基于ai人感大模型的智能交互方法,应用于智能终端,其特征在于,包括:
2.根据权利要求1所述的基于ai人感大模型的智能交互方法,其特征在于,所述采用智能终端中ai感知模块的多个子模块收集行为数据的步骤包括:
3.根据权利要求1所述的基于ai人感大模型的智能交互方法,其特征在于,所述采用所述智能终端的第一ai人感大模型对所述行为数据进行分析处理,构建第一ai感知场景的步骤包括:
4.根据权利要求1所述的基于ai人感大模型的智能交互方法,其特征在于,在所述采用智能终端中ai感知模块的多个子模块收集行为数据的步骤之前,所述基于ai人感大模型的智能交互方法还包括:
5.根据权利要求4所述的基于ai人感大模型的智能交互方法,其特征在于,所述检测所述智能终端的安装环境信息和运行环境信息的步骤包括:
6.根据权利要求5所述的基于ai人感大模型的智能交互方法,其特征在于,所述根据所述安装环境信息和所述运行环境信息调节所述智能终端的运行状态的步骤包括:
7.根据权利要求1所述的基于ai人感大模型的智能交互方法,其特征在于,在所述基于所述第一ai感知场景,生成并执行与所述第一ai感知场景对应的第一智能交互指令的步骤之前,所述基于ai人感大模型的智能交互方法还包括:
8.一种基于ai人感大模型的智能交互系统,其特征在于,包括:
9.一种智能终端,其特征在于,包括:存储器、处理器和ai感知模块,所述ai感知模块包括毫米波模块、摄像头模块、远场语音模块和光感模块,该存储器用于存储计算机程序,所述处理器用于调用并运行所述存储器中存储的计算机程序,执行上述权利要求1至7任一项所述的基于ai人感大模型的智能交互方法的步骤,所述毫米波模块、所述摄像头模块、所述远场语音模块和所述光感模块均与所述处理器连接。
10.一种计算机可读存储介质,其特征在于,用于存储计算机程序,所述计算机程序使得计算机执行上述权利要求1至7任一项所述的基于ai人感大模型的智能交互方法的步骤。
