1.本发明涉及计算机技术领域，尤其涉及一种问答数据处理方法和装置。
背景技术：2.目前，问答系统包括对用户输入的问题进行处理后通过检索技术在语料库中获取相似句候选，随后通过计算文本间的相似度获取与用户问题相匹配的文本，最后将该文本对应的答案反馈到用户端。
3.在实现本发明过程中，发明人发现现有技术中至少存在如下问题：在实际应用场景下，相似句间的领域同义词不能通过现有的同义词林或语义相似度有效的进行匹配。并且，问句中含有的蕴含关系，蕴含关系中的被蕴含词汇常常为冗余信息，而且匹配过程中若对应的相似句中不含被蕴含词汇，则很有可能因此导致相似句间的相似度较低，从而匹配错误。
技术实现要素：4.有鉴于此，本发明实施例提供一种问答数据处理方法和装置，能够解决现有由于语句中冗余信息以及领域同义词导致相似度计算结果产生偏差的问题，同时克服了有监督方式下对大量数据的标注需求的缺点。
5.为实现上述目的，根据本发明实施例的一个方面，提供了一种问答数据处理方法，包括响应于问答请求，确定请求领域，调用知识库以获取对应的蕴含关系词语和同义关系词语；将所述问答请求中的语句进行分词处理，进而基于所述蕴含关系词语去除分词处理后语句中的被蕴含分词，以得到待检索语句；调用预设的语料库，通过所述的同义关系词语对所述待检索语句进行相似度计算，以匹配得到相似度最高的语句并输出。
6.可选地，调用知识库以获取对应的蕴含关系词语和同义关系词语之前，包括：
7.获取待检索语句数据集和候选语句数据集，通过预设的匹配模型生成相似句对集合；
8.对相似句对集合中的每组相似句对分别进行分词处理，得到每组相似句对的分词集合，生成每组相似句对的所有知识关系可能解；其中，知识关系可能解包括蕴含关系词语和同义关系词语；
9.根据预设的每组各个知识关系可能解的概率，计算同一种知识关系可能解在所述相似句对集合中的概率之和，以得到概率最大的知识关系可能解；
10.通过概率最大的知识关系可能解与分词集合中剩余分词之间的所有知识关系可能解，分别组成多个待处理结果；
11.根据多个待处理结果，确定能够覆盖分词集合中所有分词的待处理结果，以将该待处理结果中包括的知识关系作为最终结果存储至知识库。
12.可选地，获取待检索语句数据集和候选语句数据集，通过预设的匹配模型生成相似句对集合，包括：
13.获取一种领域的待检索语句数据集，基于待检索语句数据集中的每个标准语句通过预设的深度模型或预设的搜索引擎得到相似语句，进而通过相似语句生成候选语句数据集；
14.根据待检索语句数据集和候选语句数据集，将每个标准语句与对应的相似语句进行两两配对，得到相似句对，进而生成相似句对集合。
15.可选地，得到每组相似句对的分词集合，生成每组相似句对的所有知识关系可能解，包括：
16.对每组相似句对的分词集合进行分词编码，以删除具有相同编码的分词得到第一编码集合，并将相同编码的分词组合生成第二编码集合；
17.根据第一编码集合中标准语句的分词与相似语句的分词，以及第一编码集合中的分词与第二编码集合中的分词，组合生成每组相似句对的所有知识关系可能解；其中，第一编码集合中标准语句的分词与相似语句的分词能够生成同义关系词语，第一编码集合中的分词与第二编码集合中的分词能够生成蕴含关系词语。
18.可选地，对每组相似句的分词集合进行分词编码之前，包括：
19.对每组相似句的分词集合进行分词词性标注，定位目标分词词性，以去除具有该目标分词词性的分词。
20.可选地，对每组相似句对的分词集合进行分词编码之后，包括：
21.调用预设的同义词林，确定编码不同的分词之间存在的同义词关系，将同义词关系的两个分词从第一编码集合中删除，并存储至第二编码集合。
22.可选地，还包括：
23.根据多个待处理结果，确定能够覆盖所有分词且包括的知识关系数量最少的待处理结果，以将该待处理结果中包括的知识关系作为最终结果存储至知识库。
24.另外，本发明还提供了一种问答数据处理装置，包括获取模块，用于响应于问答请求，确定请求领域，调用知识库以获取对应的蕴含关系词语和同义关系词语；处理模块，用于将所述问答请求中的语句进行分词处理，进而基于所述蕴含关系词语去除分词处理后语句中的被蕴含分词，以得到待检索语句；调用预设的语料库，通过所述的同义关系词语对所述待检索语句进行相似度计算，以匹配得到相似度最高的语句并输出。
25.上述发明中的一个实施例具有如下优点或有益效果：本发明通过相似句之间的对应关系，利用结合局部优化与全局优化相结合的方式，以每种关系发生的概率，基于无监督的方式实现了短语级别的蕴含关系以及领域同义词的同时抽取，抽取出的蕴含关系及领域同义词可在问句匹配过程中通过过滤冗余信息及提升领域同义词权重可提升相似句匹配准确率。同时在培训、机器人客服、健康咨询以及保险咨询等多个业务场景的问答系统中，通过将抽取出的蕴含知识及领域同义词应用到faq问答系统的问句匹配过程中，提升问答系统的准确性，精准地解答用户的高频疑问，提升用户体验以及对系统的依赖性，减少人工成本，提升工作效率。
26.上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
27.附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
28.图1是根据本发明第一实施例的问答数据处理方法的主要流程的示意图；
29.图2是根据本发明第二实施例的问答数据处理方法的主要流程的示意图；
30.图3是根据本发明实施例的问答数据处理装置的主要模块的示意图；
31.图4是本发明实施例可以应用于其中的示例性装置架构图；
32.图5是适于用来实现本发明实施例的终端设备或服务器的计算机装置的结构示意图。
具体实施方式
33.以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
34.图1是根据本发明第一实施例的问答数据处理方法的主要流程的示意图，所述问答数据处理方法包括：
35.步骤s101，响应于问答请求，确定请求领域，调用知识库以获取对应的蕴含关系词语和同义关系词语。
36.在实施例中，词语之间在一般场景下意义并不相同，而在特殊领域意义相似，故称之为领域的同义关系词语。示例的，词语疙瘩和词语肿块在一般场景下意义并不相同，而在医疗健康场景下意义相似，两者在医疗健康场景下为同义关系词语。还有，一词语可以蕴含另一词语的含义，则该词语与另一词语之间存在蕴含关系，两者为蕴含关系词语。示例的，虽然在理论上男女都有乳房，但是在现实应用中乳房一般专指女性器官，因此乳房这个词蕴含了女性的含义，称乳房与女性具有蕴含关系，而女性作为被蕴含词汇。
37.在一些实施例中，调用知识库以获取对应的蕴含关系词语和同义关系词语之前，可以构建针对于不同领域的蕴含关系词语和同义关系词语的知识库，具体的实施过程包括：获取待检索语句数据集和候选语句数据集，通过预设的匹配模型生成相似句对集合。对相似句对集合中的每组相似句对分别进行分词处理，得到每组相似句对的分词集合，生成每组相似句对的所有知识关系可能解；其中，知识关系可能解包括蕴含关系词语和同义关系词语。根据预设的每组各个知识关系可能解的概率，计算同一种知识关系可能解在所述相似句对集合中的概率之和，以得到概率最大的知识关系可能解。通过概率最大的知识关系可能解与分词集合中剩余分词之间的所有知识关系可能解，分别组成多个待处理结果。根据多个待处理结果，确定能够覆盖分词集合中所有分词的待处理结果，以将该待处理结果中包括的知识关系作为最终结果存储至知识库。
38.较佳的实施例，获取待检索语句数据集和候选语句数据集，通过预设的匹配模型生成相似句对集合，具体的实施过程包括：获取一种领域的待检索语句数据集，基于待检索语句数据集中的每个标准语句通过预设的深度模型或预设的搜索引擎得到相似语句，进而通过相似语句生成候选语句数据集。根据待检索语句数据集和候选语句数据集，将每个标准语句与对应的相似语句进行两两配对，得到相似句对，进而生成相似句对集合。
39.示例的，对领域的待检索语句数据集(例如语料数据集)进行预处理后生成相似句，其中可以通过多种方式生成相似句，可利用深度模型对待检索语句数据集中的文本进行编码(例如bert模型、simbert模型等)，并通过向量索引获取相似问q[[q0,q00,q01...],[q1,q10,q11...]...]。当然，也可通过在搜索引擎上进行检索等方式获取相似句。之后，对每组相似文本结果进行两两配对，获得语义相似的若干句对，此处可通过待检索语句(例如标准问)分别与相似问的分词结果进行配对,对于一个待检索语句q0，对应相似句为[q00,q01,q02]，可得到句对如下：
[0040]
[q0q00,q0q01,q0q02]，
[0041]
也可将任意问句与其他同组问句构成句对，得到结果如下：
[0042]
[q0q00,q0q01,q0q02,q00q01,q00q02,q01q02]
[0043]
作为另一些较佳的实施例，得到每组相似句对的分词集合，生成每组相似句对的所有知识关系可能解，具体的实施过程包括：对每组相似句对的分词集合进行分词编码，以删除具有相同编码的分词得到第一编码集合，并将相同编码的分词组合生成第二编码集合。根据第一编码集合中标准语句的分词与相似语句的分词，以及第一编码集合中的分词与第二编码集合中的分词，组合生成每组相似句对的所有知识关系可能解；其中，第一编码集合中标准语句的分词与相似语句的分词能够生成同义关系词语，第一编码集合中的分词与第二编码集合中的分词能够生成蕴含关系词语。
[0044]
示例的，通过分词工具(例如jieba、hanlp等)对每组相似句对分别进行分词处理，并对分词进行编码(例如a1,a2,a3...)，对每个句对中的编码结果进行比较，去除相同编码，根据对应关系，对每个句对中剩余词汇编码之间的对应关系(领域的同义关系)以及是否为原句中其他词汇的隐含信息(领域的蕴含关系)进行假设推理，获得所有可能的解。
[0045]
进一步地，对每组相似句的分词集合进行分词编码之前，可以对每组相似句的分词集合进行分词词性标注，定位目标分词词性，以去除具有该目标分词词性的分词。
[0046]
示例的，通过分词工具(例如jieba、hanlp等)对每组相似句对分别进行分词处理，进行词性标注，进而去除文本中词性为疑问词及停用词的分词，并对分词结果中剩余词汇进行编码(a1，a2，a3...)。
[0047]
值得说明的是，还可以对每组相似句对的分词集合进行分词编码之后，包括：调用预设的同义词林，确定编码不同的分词之间存在的同义词关系，将同义词关系的两个分词从第一编码集合中删除，并存储至第二编码集合。
[0048]
示例的，对得到的每个句对中剩余词汇编码对应的词汇进行分析，查找句对中两个句子间存在的通用同义词(例如：利用同义词林)，若存在，则去除两个词对应的编码。作为具体的实例，假设得到的其中一个句对编码如下：
[0049]
表1句对编码示例
[0050]
q0分词编码a1,a2,a3q1分词编码a2,a3,a4
[0051]
由于两句语义相似，去除相同词汇后q0中剩于a1，q1剩余a4，即第一编码集合包括：a1和a4，第二编码集合包括：a2和a3。a1与a4之间可能为领域的同义关系词语即a1＝a4，或分别被蕴含于两个语句中的第二编码集合的词汇中(其中，蕴含关系词语中
‘‑’
前的词蕴含后边的词)，则所有可能解为：
[0052]
表2可能解示例
[0053]
可能解a1＝a4a2-a1，a2-a4a2-a1，a3-a4a3-a1，a2-a4a3-a1，a3-a4
[0054]
对各句对中每种解中的知识(例如蕴含关系词语和同义关系词语)对出现的概率进行求和统计，获得值最高的结果。其中，句对中每个知识的概率可以进行预先配置，例如：句对中每个知识的概率可以取1，也可以所有知识的概率相同且概率和为1(如表3所示计算方式得到每个知识的概率)，最后需要将同一知识(蕴含关系词语或同义关系词语)在每个句对中对应的概率相加求和。
[0055]
表3句对可能结果概率统计
[0056]
蕴含关系/同义关系概率a1＝a41/5a2-a11/5a2-a41/5a3-a11/5a3-a41/5
[0057]
在一些实施例中，根据多个待处理结果，确定能够覆盖所有分词且包括的知识关系数量最少的待处理结果，以将该待处理结果中包括的知识关系作为最终结果存储至知识库。示例的，在计算过程中选取概率和最高的知识作为阶段性结果，若结果包括的知识没有完全覆盖到所有句对的剩余词汇，则在剩余知识中选取符合该结果且概率和最高的知识，并与该结果合并作为新的抽取结果，继续统计新的结果对句对剩余词汇的覆盖率，若已覆盖所有词汇，则停止计算，否则继续重复前述过程，直至结果完全覆盖剩余词汇，并将该结果作为最终抽取结果。例如：假设某标准问句所有句对的剩余词汇为(a1，a2，a3，a4)若在某轮计算过程中得到如表4所示的结果，已完成对剩余词汇的覆盖，则停止计算，输出该结果。
[0058]
表4
[0059]
可能结果覆盖词汇a2-a1，a3＝a4a1，a2，a3，a4
[0060]
值得说明的是，可能同时存在多个知识对应的概率均为最大值，将这些知识分别与原有结果合并，并对其按照剩余词汇覆盖数量进行排序。若新结果中存在多个排名并列第一的，根据包含的知识数量对结果再次进行排序，选取包含知识数量最少的作为最终结果。例如：表5所示，假设对所有句对进行分析计算后得到如下结果，根据以上规则选取第一个结果作为抽取结果。
[0061]
表5
[0062]
可能结果覆盖词汇知识数量a2-a1，a3＝a4a1，a2，a3，a42
a3-a1，a4＝a1，a2-a4a1，a2，a3，a43a2-a1，a4-a1a1，a2，a42
[0063]
也就是说，选取排名最靠前的结果，若其已覆盖全部剩余词汇，则将其作为最终结果，否则将其带入下一轮运算中；若在排序后存在多个覆盖词汇数量相同且包括知识数目相同排名并列第一的结果，则将这些结果分别带入下一轮运算并重复以上步骤，直至结果覆盖所有剩余词汇，停止计算。另外，输出并存储抽取结果，若存在多个符合条件的结果，则全部输出，后续可基于不同场景选取结果。
[0064]
可以看出，基于所有句对就可以产生一些蕴含关系和同义关系的候选。这些关系可以组成不同的解(知识集合)，但只有一个是真正正确的，本发明就是要找到这个正确的解。为了保证抽取知识的准确性并简化计算流程，假设每个语句中的每个词至多存在于一个蕴含关系或同义关系，获取这些词汇可能存在的所有可能解，以可能解中每个知识的概率和为优化条件，在每轮计算中抽取概率和最大值对应的知识，并以已抽取知识是否已覆盖所有词汇作为终止计算的条件。若在计算过程中存在多个概率最大值的结果，则选取抽取结果中包含的知识数量最少的结果最为最终的抽取结果。
[0065]
步骤s102，将所述问答请求中的语句进行分词处理，进而基于所述蕴含关系词语去除分词处理后语句中的被蕴含分词，以得到待检索语句。
[0066]
步骤s103，调用预设的语料库，通过所述的同义关系词语对所述待检索语句进行相似度计算，以匹配得到相似度最高的语句并输出。
[0067]
图2是根据本发明第二实施例的问答数据处理方法的主要流程的示意图，所述问答数据处理方法包括：
[0068]
步骤s201，获取一种领域的待检索语句数据集，基于待检索语句数据集中的每个标准语句通过预设的深度模型或预设的搜索引擎得到相似语句，进而通过相似语句生成候选语句数据集。
[0069]
步骤s202，根据待检索语句数据集和候选语句数据集，将每个标准语句与对应的相似语句进行两两配对，得到相似句对，进而生成相似句对集合。
[0070]
步骤s203，对相似句对集合中的每组相似句对分别进行分词处理，得到每组相似句的分词集合。
[0071]
步骤s204，对每组相似句的分词集合进行分词词性标注，定位目标分词词性，以去除具有该目标分词词性的分词。
[0072]
步骤s205，对去除具有该目标分词词性后的分词集合进行分词编码，以删除具有相同编码的分词得到第一编码集合，并将相同编码的分词组合生成第二编码集合。
[0073]
步骤s206，调用预设的同义词林，确定编码不同的分词之间存在的同义词关系，将同义词关系的两个分词从第一编码集合中删除，并存储至第二编码集合。
[0074]
步骤s207，根据第一编码集合中标准语句的分词与相似语句的分词，以及第一编码集合中的分词与第二编码集合中的分词，组合生成每组相似句对的所有知识关系可能解。
[0075]
其中，第一编码集合中标准语句的分词与相似语句的分词能够生成同义关系词语，第一编码集合中的分词与第二编码集合中的分词能够生成蕴含关系词语。
[0076]
步骤s208，根据预设的每组各个知识关系可能解的概率，计算同一种知识关系可
能解在所述相似句对集合中的概率之和，以得到概率最大的知识关系可能解。
[0077]
步骤s209，通过概率最大的知识关系可能解与分词集合中剩余分词之间的所有知识关系可能解，分别组成多个待处理结果。
[0078]
步骤s210，根据多个待处理结果，确定能够覆盖所有分词且包括的知识关系数量最少的待处理结果，以将该待处理结果中包括的知识关系作为最终结果存储至知识库。
[0079]
步骤s211，响应于问答请求，确定请求领域，调用知识库以获取对应的蕴含关系词语和同义关系词语。
[0080]
步骤s212，将所述问答请求中的语句进行分词处理，进而基于所述蕴含关系词语去除分词处理后语句中的被蕴含分词，以得到待检索语句。
[0081]
步骤s213，调用预设的语料库，通过所述的同义关系词语对所述待检索语句进行相似度计算，以匹配得到相似度最高的语句并输出。
[0082]
作为具体的实例，以已有医学领域语料中的标准问句“女性乳房长肿块怎么办”为例，根据向量级别的相似度生成相似句，使用simbert模型对其进行编码，得到部分编码结果如下：
[0083]-0.029，-0.036，-0.005，-0.013，-0.024，0.089，0.006，0.026，0.040，0.007...
[0084]
根据编码生成若干相似问并利用jieba对其进行分词，如表6所示：
[0085]
表6相似问及分词结果
[0086][0087][0088]
然后，对任意每组相似句的分词集合进行分词词性标注，定位并去除疑问词与停用词后的分词结果进行配对，最终可获取45组句对，如表7仅对其中两个句对结果进行分析与计算，得到的两个句对为：
[0089]
表7句对分词结果
[0090][0091]
对去除疑问词与停用词的分词结果进行编码，每个分词对应的编码如表8所示：
[0092]
表8分词对应编码
[0093]
分词编码女性a1乳房a2长a3肿块a4起a5疙瘩a6
[0094]
得到的句对对应的编码结果，如表9所示：
[0095]
表9句对对应分词编码
[0096]
序号q1编码q2编码句对1a1，a2，a3，a4a2，a3，a4句对2a1，a2，a5，a6a2，a5，a4
[0097]
再者，对每个句对进行比较分析，去除句对中相同编码，并利用同义词林在句对中进行查找，若存在通用同义词，则去除句对间的通用同义词对应编码，分别生成第一编码集合和第二编码集合。例如：句对1中，不存在通用同义词，重复的编码有a2、a3和a4，故将三个编码舍弃，存入第二编码集合。句对2中，重复编码有a2和a5，不存在通用同义词，故舍弃a2和a5，存入第二编码集合。最终两个句对剩余分词编码，即第一编码集合如表10所示：
[0098]
表10句对编码去重结果
[0099]
序号q1编码q2编码句对1a1-句对2a1，a6a4
[0100]
句对1中，q2无剩余词汇编码，说明该分词结果中的所有词汇都在q1中找到了对应词汇，故句对1中不存在领域的同义关系词语。q1中剩余a1，说明a1在标准问中未找到对应词汇，其可能是隐含信息，被蕴含在相似问的第二编码集合中的其他词汇，最后得到了3个包含单一知识的可能解，其概率值如下：
[0101]
表11句对1可能解
[0102]
序号可能解概率1a2-a11/3
2a3-a11/33a4-a11/3
[0103]
句对2中，标准问与相似问中均有剩余词汇编码，即具有第一编码集合中的词汇，说明两个语句间可能存在领域的同义关系(例如：a1＝a4,a6＝a4...)，同时存在若干蕴含关系，例如，假设仅存在一组领域的同义关系a1＝a4,a6在q2中无对应词汇，则a6作为隐含信息，可能被蕴含在q1的第二编码集合中的词汇，得到对应的蕴含关系包括(a1-a6，a2-a6，a5-a6)，同理可获得a6＝a5时的所有可能解。此外还应考虑两句之间剩余词汇不存在对应关系的情况(无领域的同义关系)，剩余词汇则分别被蕴含在第二编码集合中的词汇。示例的，在获取所有可能解的过程中假设在一个句子中每个词至多蕴含一个词，对所有解进行统计后得到：
[0104]
表12句对2可能解
[0105]
序号可能解1a1＝a4，a1-a62a1＝a4，a2-a63a1＝a4，a5-a64a4＝a6，a2-a15a4＝a6，a5-a16a4＝a6，a6-a17a2-a1，a5-a6，a2-a48a2-a1，a5-a6，a5-a49a5-a1，a2-a6，a2-a410a5-a1，a2-a6，a5-a4
[0106]
根据可能解获取其包括的知识，且假设这些知识的概率相等且之和为1，得到：
[0107]
表13句对2包含知识及概率
[0108]
序号包含知识概率1a1＝a41/102a1-a61/103a2-a61/104a5-a61/105a4＝a61/106a2-a11/107a5-a11/108a6-a11/109a2-a41/1010a5-a41/10
[0109]
接下来，对得到的结果进行整合，实际应用中应对所有句对中的结果进行整合计算，这样得到的结果更为准确，此处为更清晰简洁地展示本发明，仅整合了两组句对分析后的结果，得到每种知识的概率之和为：
[0110]
表14结果概率和
[0111][0112][0113]
蕴含关系中a2-a1(乳房-女性)值最高，故作为本轮抽取的知识，则句对剩余词汇(a1，a4，a6)中a1词汇的关系已确定，并根据该知识以及剩余词汇所在知识的概率获取其余剩余词汇(a4，a6)可能存在的关系，每次仅添加一个知识，由于(a4，a6)涉及的知识共4个且概率相同(均为1/10)，则最终可得到4个结果，对结果按照剩余词汇覆盖情况及包括知识数量进行排序得到如下结果：
[0114]
表15
[0115]
序号第二轮可能解覆盖剩余词汇知识数量1a2-a1，a4＝a6a1，a4，a622a2-a1，a2-a4a1，a423a2-a1，a5-a4a1，a424a2-a1，a5-a6a1，a62
[0116]
计算获取的结果中第一个可能解已覆盖所有剩余词汇，故被保存到最终结果候选中，并停止计算。综上，最终抽取到的知识为：
[0117]
表16最终抽取知识
[0118]
同义关系a4＝a6肿块＝疙瘩蕴含关系a2-a1乳房-女性
[0119]
将抽取到的知识应用于faq问答系统中，以“女性乳房起疙瘩怎么办”为例，首先通过已有知识识别出蕴含关系“乳房-女性”，以去除“女性”后的检索语句到系统中进行检索，随后在计算相似度过程中引用已有领域的同义关系，识别出“疙瘩＝肿块”，并对包括领域的同义关系的候选句的相似度进行一定提升，获得候选及相似度与之前结果对比如下：
[0120]
表17候选排序对比
[0121][0122]
最终得到了正确的匹配结果“乳房起肿块怎么办”，相似度排名由原来的第3位提升至第1位，且相似度较之前也有所提升，而原有的“女性起疙瘩怎么办”则由第1位降到第4位，可见本发明在实际应用中可有效提升问句匹配准确率。
[0123]
图3是根据本发明实施例的问答数据处理装置的主要模块的示意图，如图3所示，所述问答数据处理装置300包括获取模块301和处理模块302。其中，获取模块301响应于问答请求，确定请求领域，调用知识库以获取对应的蕴含关系词语和同义关系词语；处理模块302将所述问答请求中的语句进行分词处理，进而基于所述蕴含关系词语去除分词处理后语句中的被蕴含分词，以得到待检索语句；调用预设的语料库，通过所述的同义关系词语对所述待检索语句进行相似度计算，以匹配得到相似度最高的语句并输出。
[0124]
在一些实施例中，获取模块301调用知识库以获取对应的蕴含关系词语和同义关系词语之前，包括：
[0125]
获取待检索语句数据集和候选语句数据集，通过预设的匹配模型生成相似句对集合；对相似句对集合中的每组相似句对分别进行分词处理，得到每组相似句对的分词集合，生成每组相似句对的所有知识关系可能解；其中，知识关系可能解包括蕴含关系词语和同义关系词语；根据预设的每组各个知识关系可能解的概率，计算同一种知识关系可能解在所述相似句对集合中的概率之和，以得到概率最大的知识关系可能解；通过概率最大的知识关系可能解与分词集合中剩余分词之间的所有知识关系可能解，分别组成多个待处理结果；根据多个待处理结果，确定能够覆盖分词集合中所有分词的待处理结果，以将该待处理
结果中包括的知识关系作为最终结果存储至知识库。
[0126]
在一些实施例中，获取模块301获取待检索语句数据集和候选语句数据集，通过预设的匹配模型生成相似句对集合，包括：
[0127]
获取一种领域的待检索语句数据集，基于待检索语句数据集中的每个标准语句通过预设的深度模型或预设的搜索引擎得到相似语句，进而通过相似语句生成候选语句数据集；根据待检索语句数据集和候选语句数据集，将每个标准语句与对应的相似语句进行两两配对，得到相似句对，进而生成相似句对集合。
[0128]
在一些实施例中，获取模块301得到每组相似句对的分词集合，生成每组相似句对的所有知识关系可能解，包括：
[0129]
对每组相似句对的分词集合进行分词编码，以删除具有相同编码的分词得到第一编码集合，并将相同编码的分词组合生成第二编码集合；根据第一编码集合中标准语句的分词与相似语句的分词，以及第一编码集合中的分词与第二编码集合中的分词，组合生成每组相似句对的所有知识关系可能解；其中，第一编码集合中标准语句的分词与相似语句的分词能够生成同义关系词语，第一编码集合中的分词与第二编码集合中的分词能够生成蕴含关系词语。
[0130]
在一些实施例中，获取模块301对每组相似句的分词集合进行分词编码之前，包括：
[0131]
对每组相似句的分词集合进行分词词性标注，定位目标分词词性，以去除具有该目标分词词性的分词。
[0132]
在一些实施例中，获取模块301对每组相似句对的分词集合进行分词编码之后，包括：
[0133]
调用预设的同义词林，确定编码不同的分词之间存在的同义词关系，将同义词关系的两个分词从第一编码集合中删除，并存储至第二编码集合。
[0134]
在一些实施例中，处理模块302，还用于：
[0135]
根据多个待处理结果，确定能够覆盖所有分词且包括的知识关系数量最少的待处理结果，以将该待处理结果中包括的知识关系作为最终结果存储至知识库。
[0136]
需要说明的是，在本发明所述问答数据处理方法和所述问答数据处理装置在具体实施内容上具有相应关系，故重复内容不再说明。
[0137]
图4示出了可以应用本发明实施例的问答数据处理方法或问答数据处理装置的示例性装置架构400。
[0138]
如图4所示，装置架构400可以包括终端设备401、402、403，网络404和服务器405。网络404用以在终端设备401、402、403和服务器405之间提供通信链路的介质。网络404可以包括各种连接类型，示例的有线、无线通信链路或者光纤电缆等等。
[0139]
用户可以使用终端设备401、402、403通过网络404与服务器405交互，以接收或发送消息等。终端设备401、402、403上可以安装有各种通讯用户端应用，示例的购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱用户端、社交平台软件等(仅为示例)。
[0140]
终端设备401、402、403可以是具有问答数据处理屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
[0141]
服务器405可以是提供各种服务的服务器，示例的对用户利用终端设备401、402、
403所浏览的购物类网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的产品信息查询请求等数据进行分析等处理，并将处理结果(示例的目标推送信息、产品信息
‑‑
仅为示例)反馈给终端设备。
[0142]
需要说明的是，本发明实施例所提供的问答数据处理方法一般由服务器405执行，相应地，计算装置一般设置于服务器405中。
[0143]
应该理解，图4中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
[0144]
下面参考图5，其示出了适于用来实现本发明实施例的终端设备的计算机装置500的结构示意图。图5示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0145]
如图5所示，计算机装置500包括中央处理单元(cpu)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储部分508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有计算机装置500操作所需的各种程序和数据。cpu501、rom502以及ram503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0146]
以下部件连接至i/o接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(crt)、液晶问答数据处理器(lcd)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至i/o接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
[0147]
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。示例的，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(cpu)501执行时，执行本发明的装置中限定的上述功能。
[0148]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质示例的可以是——但不限于——电、磁、光、电磁、红外线、或半导体的装置、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行装置、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用
于由指令执行装置、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0149]
附图中的流程图和框图，图示了按照本发明各种实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。示例的，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的装置来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0150]
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，示例的，可以描述为：一种处理器包括获取模块和处理模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
[0151]
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括响应于问答请求，确定请求领域，调用知识库以获取对应的蕴含关系词语和同义关系词语；将所述问答请求中的语句进行分词处理，进而基于所述蕴含关系词语去除分词处理后语句中的被蕴含分词，以得到待检索语句；调用预设的语料库，通过所述的同义关系词语对所述待检索语句进行相似度计算，以匹配得到相似度最高的语句并输出。
[0152]
根据本发明实施例的技术方案，本发明实施方式能够解决现有由于语句中冗余信息以及领域同义词导致相似度计算结果产生偏差的问题，同时克服了有监督方式下对大量数据的标注需求的缺点。
[0153]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。
技术特征：1.一种问答数据处理方法，其特征在于，包括：响应于问答请求，确定请求领域，调用知识库以获取对应的蕴含关系词语和同义关系词语；将所述问答请求中的语句进行分词处理，进而基于所述蕴含关系词语去除分词处理后语句中的被蕴含分词，以得到待检索语句；调用预设的语料库，通过所述的同义关系词语对所述待检索语句进行相似度计算，以匹配得到相似度最高的语句并输出。2.根据权利要求1所述的方法，其特征在于，调用知识库以获取对应的蕴含关系词语和同义关系词语之前，包括：获取待检索语句数据集和候选语句数据集，通过预设的匹配模型生成相似句对集合；对相似句对集合中的每组相似句对分别进行分词处理，得到每组相似句对的分词集合，生成每组相似句对的所有知识关系可能解；其中，知识关系可能解包括蕴含关系词语和同义关系词语；根据预设的每组各个知识关系可能解的概率，计算同一种知识关系可能解在所述相似句对集合中的概率之和，以得到概率最大的知识关系可能解；通过概率最大的知识关系可能解与分词集合中剩余分词之间的所有知识关系可能解，分别组成多个待处理结果；根据多个待处理结果，确定能够覆盖分词集合中所有分词的待处理结果，以将该待处理结果中包括的知识关系作为最终结果存储至知识库。3.根据权利要求2所述的方法，其特征在于，获取待检索语句数据集和候选语句数据集，通过预设的匹配模型生成相似句对集合，包括：获取一种领域的待检索语句数据集，基于待检索语句数据集中的每个标准语句通过预设的深度模型或预设的搜索引擎得到相似语句，进而通过相似语句生成候选语句数据集；根据待检索语句数据集和候选语句数据集，将每个标准语句与对应的相似语句进行两两配对，得到相似句对，进而生成相似句对集合。4.根据权利要求2所述的方法，其特征在于，得到每组相似句对的分词集合，生成每组相似句对的所有知识关系可能解，包括：对每组相似句对的分词集合进行分词编码，以删除具有相同编码的分词得到第一编码集合，并将相同编码的分词组合生成第二编码集合；根据第一编码集合中标准语句的分词与相似语句的分词，以及第一编码集合中的分词与第二编码集合中的分词，组合生成每组相似句对的所有知识关系可能解；其中，第一编码集合中标准语句的分词与相似语句的分词能够生成同义关系词语，第一编码集合中的分词与第二编码集合中的分词能够生成蕴含关系词语。5.根据权利要求4所述的方法，其特征在于，对每组相似句的分词集合进行分词编码之前，包括：对每组相似句的分词集合进行分词词性标注，定位目标分词词性，以去除具有该目标分词词性的分词。6.根据权利要求4所述的方法，其特征在于，对每组相似句对的分词集合进行分词编码之后，包括：
调用预设的同义词林，确定编码不同的分词之间存在的同义词关系，将同义词关系的两个分词从第一编码集合中删除，并存储至第二编码集合。7.根据权利要求2所述的方法，其特征在于，还包括：根据多个待处理结果，确定能够覆盖所有分词且包括的知识关系数量最少的待处理结果，以将该待处理结果中包括的知识关系作为最终结果存储至知识库。8.一种问答数据处理装置，其特征在于，包括：获取模块，用于响应于问答请求，确定请求领域，调用知识库以获取对应的蕴含关系词语和同义关系词语；处理模块，用于将所述问答请求中的语句进行分词处理，进而基于所述蕴含关系词语去除分词处理后语句中的被蕴含分词，以得到待检索语句；调用预设的语料库，通过所述的同义关系词语对所述待检索语句进行相似度计算，以匹配得到相似度最高的语句并输出。9.一种电子设备，其特征在于，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。
技术总结本发明公开了问答数据处理方法和装置，一具体实施方式包括响应于问答请求，确定请求领域，调用知识库以获取对应的蕴含关系词语和同义关系词语；将所述问答请求中的语句进行分词处理，进而基于所述蕴含关系词语去除分词处理后语句中的被蕴含分词，以得到待检索语句；调用预设的语料库，通过所述的同义关系词语对所述待检索语句进行相似度计算，以匹配得到相似度最高的语句并输出。从而，本发明能够解决现有由于语句中冗余信息以及领域同义词导致相似度计算结果产生偏差的问题，同时克服了有监督方式下对大量数据的标注需求的缺点。督方式下对大量数据的标注需求的缺点。督方式下对大量数据的标注需求的缺点。
技术研发人员：邓晓雨 李钊 赵凯 党莹 刘岩
受保护的技术使用者：泰康保险集团股份有限公司
技术研发日：2022.07.25
技术公布日：2022/11/1
