本发明涉及知识图谱构建与查询，特别是一种集成ai大模型和知识图谱的查询方法。
背景技术：
1、随着人工智能技术的飞速发展，尤其是自然语言处理nlp和深度学习算法的进步，信息检索和知识管理领域迎来了很大的变化，传统的信息检索系统主要依赖关键词匹配和简单的语义分析，然而，这种方法往往无法准确理解用户的查询意图，尤其是在面对复杂的多模态数据和深层次的知识关联时，近年来，知识图谱作为一种结构化的知识表示形式，因其强大的语义表示能力和高效的查询性能而备受青睐，知识图谱不仅能够捕获实体间的复杂关系，还能为智能问答、推荐系统和个性化服务提供坚实的基础。
2、然而，现有的知识图谱构建与查询技术仍存在若干局限性，首先，知识图谱的构建过程往往依赖于单一模态的数据源，比如文本数据，限制了知识图谱的全面性和丰富性，多模态数据的融合，特别是文本、图像、音频和视频的整合，能够提供更完整、更直观的知识表示，其次，自然语言查询解析的准确性直接影响着查询结果的质量，现有的查询解析模型因为无法充分理解复杂的自然语言表达而产生误差，此外，知识图谱查询效率和结果的相关性也是待解决的问题。
技术实现思路
1、鉴于上述现有存在的问题，提出了本发明。
2、因此，本发明提供了一种集成ai大模型和知识图谱的查询方法解决现有的知识图谱构建与查询技术仍存在若干局限性，首先，知识图谱的构建过程往往依赖于单一模态的数据源，比如文本数据，限制了知识图谱的全面性和丰富性，多模态数据的融合，特别是文本、图像、音频和视频的整合，能够提供更完整、更直观的知识表示，其次，自然语言查询解析的准确性直接影响着查询结果的质量，现有的查询解析模型因为无法充分理解复杂的自然语言表达而产生误差，此外，知识图谱查询效率和结果的相关性也是待解决的问题。
3、为解决上述技术问题，本发明提供如下技术方案：
4、第一方面，本发明实施例提供了一种集成ai大模型和知识图谱的查询方法，其包括，
5、收集多模态数据，集成知识库；
6、基于知识库内的多模态数据进行实体识别与关系抽取，得到结构化的三元组数据，对三元组数据进行预处理；
7、基于预处理后的三元组数据构建知识图谱；
8、基于知识图谱构建查询解析模型，将自然语言查询转换为机器可理解的查询语言，获取解析后的查询指令；
9、基于解析后的查询指令构建查询路径，优化查询路径；
10、在优化后的查询路径中获取最相关的结果集，输出最相关的结果集作为最终查询结果。
11、作为本发明所述集成ai大模型和知识图谱的查询方法的一种优选方案，其中：所述收集多模态数据，集成知识库，具体步骤为，
12、收集文本、图像、音频和视频的多模态数据；
13、计算多模态数据中数据点的相关性分数，表达式为：
14、；
15、其中，表示数据点的嵌入向量，表示目标主题的嵌入向量，表示余弦相似度，表示主题相关度相对重要性的权重因子，表示潜在狄利克雷分配模型lda；
16、计算数据点的质量分数，表达式为：
17、；
18、其中，表示语法错误检测模型的输出，范围从0到1，1表示完全无语法错误，反之，表示都是语法错误，表示清晰度检测模型的输出，范围从0到1，1表示图像清晰度最高，反之，表示图像清晰度最低，表示噪声抑制模型的输出，范围从0到1，1表示音频噪声最少，反之，音频噪声最多，表示分辨率检测模型的输出，范围从0到1，1表示视频质量最佳，反之，最差；
19、计算数据点的安全性分数，使用预训练的敏感词过滤模型和隐私合规性模型检测数据点是否包含敏感信息和违反隐私政策的元素，计算表达式为：
20、；
21、其中，表示敏感词过滤模型的输出，范围从0到1，1表示包含最多敏感词，反之，不包含，表示隐私合规性模型的输出，范围从0到1，1表示完全遵守隐私政策，反之，则完全不遵守隐私政策；
22、对收集到的数据进行评分，得到综合得分，表达式为：
23、；
24、其中，表示综合分数，表示数据点的相关性分数，表示数据点的质量分数，表示数据点的安全性分数；
25、根据综合分数和需求将达标的数据纳入知识库。
26、作为本发明所述集成ai大模型和知识图谱的查询方法的一种优选方案，其中：基于知识库内的多模态数据进行实体识别与关系抽取，得到结构化的三元组数据，对三元组数据进行预处理，具体步骤为，
27、从知识库中提取出文本、图像、音频和视频的多模态数据；
28、对于文本数据，使用预训练的命名实体识别模型et和依存关系分析模型dt来识别文本中的实体和它们之间的关系；
29、对于图像数据，利用深度卷积神经网络ei进行物体检测和识别，以及图像关系检测模型di来捕捉图像中实体间的关系；
30、对于音频数据，通过语音识别模型ea转换为文本后，再利用命名实体识别模型et和依存关系分析模型dt进行实体识别与关系抽取；
31、对于视频数据，先由视频分割模型sv分割成帧，然后对每一帧应用ei和di，并结合时间序列分析tv来捕捉连续帧之间的关系。
32、作为本发明所述集成ai大模型和知识图谱的查询方法的一种优选方案，其中：基于预处理后的三元组数据构建知识图谱，具体步骤为，
33、采用三元构建将所有识别到的数据转化为统一的结构化三元组数据，其中，表示主语，表示谓语，表示宾语；
34、对三元组数据进行预处理；
35、将预处理后的三元组数据映射至图数据库中，形成可查询的知识图谱结构。
36、作为本发明所述集成ai大模型和知识图谱的查询方法的一种优选方案，其中：基于知识图谱构建查询解析模型，将自然语言查询转换为机器可理解的查询语言，获取解析后的查询指令，具体步骤为，
37、设定知识图谱为kg，自然语言查询为nlq，基于知识图谱kg构建查询解析模型；
38、将自然语言查询nlq输入自然语言理解函数中，自然语言理解函数解析查询并返回意图、实体集合和关系集合，表达式为：
39、；
40、其中，表示自然语言理解函数，表示查询的意图，表示从查询中提取的所有实体集合，表示关系集合；
41、查询映射函数接收解析出的组件和整个知识图谱kg，将其转换成在知识图谱上执行的具体查询指令q，表达式为：
42、；
43、其中，表示查询映射函数；
44、将查询映射函数和自然语言理解函数相结合，表达式为：
45、；
46、其中，表示查询结果，表示查询解析模型，表示对自然语言查询应用自然语言理解函数的结果，表示使用查询映射函数，将的输出与知识图谱结合，生成最终的查询指令。
47、作为本发明所述集成ai大模型和知识图谱的查询方法的一种优选方案，其中：所述基于解析后的查询指令构建查询路径，具体步骤为，
48、利用自然语言理解nlu对查询指令q进行解析，识别出查询中的实体和关系；
49、将查询中的实体和关系映射到知识图谱kg中的对应节点和边；
50、基于映射后的实体和关系，在知识图谱中寻找从起始实体到目标实体的路径，即候选路径；
51、设定查询中的起始节点和目标节点；
52、从起始节点开始，探索所有相连的节点，并检查它们是否与查询意图和实体匹配；
53、通过知识图谱遍历所有边来扩展路径，直到达到目标节点，在这个过程中，记录经过的节点和边，形成路径集合。
54、作为本发明所述集成ai大模型和知识图谱的查询方法的一种优选方案，其中：所述优化查询路径，具体步骤为，
55、基于路径集合构建评估函数，计算每条路径的评估分数，评估函数表达式为：
56、；
57、其中，表示路径的评估分数，表示索引变量，e表示路径中的一条边，表示路径中包含的边的集合，表示边e的相关性分数，表示路径的长度；
58、将最大值的路径作为初始查询路径。
59、作为本发明所述集成ai大模型和知识图谱的查询方法的一种优选方案，其中：所述在优化后的查询路径中获取最相关的结果集，输出最相关的结果集作为最终查询结果，具体步骤为，
60、基于优化后的路径构建结果集评分函数，表达式为：
61、；
62、其中，表示节点的结果集评分函数，表示索引变量，表示第条边的权重系数，表示相似度函数，表示第条边的类型，表示查询的意图，αe表示第条边的衰减系数，表示边到节点的距离，即在查询路径上的位置，表示节点到查询起始节点的最短路径距离；
63、遍历路径上的所有节点，即计算初始查询路径中每个节点的值；
64、设定阈值θ；
65、将所有>θ的节点选入结果集；
66、对结果集中的节点按值进行降序排序，排名靠前的节点就是与查询最为相关的结果；
67、从排序后的结果集中选取前k个节点作为最终查询结果输出。
68、第二方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的集成ai大模型和知识图谱的查询方法的任一步骤。
69、第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其中：所述计算机程序被处理器执行时实现如本发明第一方面所述的集成ai大模型和知识图谱的查询方法的任一步骤。
70、本发明有益效果为：本发明通过收集和集成多模态数据，构建全面的知识库，利用先进的实体识别和关系抽取技术，将非结构化数据转换为结构化的三元组数据，进而构建多模态知识图谱，此外，本发明还引入了查询解析模型，该模型能够将自然语言查询高效转换为机器可理解的查询指令，同时优化查询路径，以提高查询速度和结果的精准度，通过在优化后的查询路径中获取最相关的结果集，本发明提升了查询的效率和准确性，尤其在处理复杂查询和大规模知识图谱时表现优异。
1.一种集成ai大模型和知识图谱的查询方法，其特征在于：包括，
2.如权利要求1所述的集成ai大模型和知识图谱的查询方法，其特征在于：所述收集多模态数据，集成知识库，具体步骤为，
3.如权利要求2所述的集成ai大模型和知识图谱的查询方法，其特征在于：所述基于知识库内的多模态数据进行实体识别与关系抽取，得到结构化的三元组数据，对三元组数据进行预处理，具体步骤为，
4.如权利要求3所述的集成ai大模型和知识图谱的查询方法，其特征在于：所述基于预处理后的三元组数据构建知识图谱，具体步骤为，
5.如权利要求4所述的集成ai大模型和知识图谱的查询方法，其特征在于：所述基于知识图谱构建查询解析模型，将自然语言查询转换为机器可理解的查询语言，获取解析后的查询指令，具体步骤为，
6.如权利要求5所述的集成ai大模型和知识图谱的查询方法，其特征在于：所述基于解析后的查询指令构建查询路径，具体步骤为，
7.如权利要求6所述的集成ai大模型和知识图谱的查询方法，其特征在于：所述优化查询路径，具体步骤为，
8.如权利要求7所述的集成ai大模型和知识图谱的查询方法，其特征在于：所述在优化后的查询路径中获取最相关的结果集，输出最相关的结果集作为最终查询结果，具体步骤为，
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于：所述处理器执行所述计算机程序时实现权利要求1~8任一所述的集成ai大模型和知识图谱的查询方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1~8任一所述的集成ai大模型和知识图谱的查询方法的步骤。
