1.本技术涉及自然语言领域，尤其涉及一种问答对评估方法、装置、计算机 设备及存储介质。
背景技术：2.随着互联网业务的快速增长，用户对智能问答的需求也随之升高。智能问 答技术是指智能设备自动根据用户的提问匹配个性化信息并向用户给出回答的 技术。
3.目前，常见的智能问答技术基于智能问答模型实现，而训练智能问答模型 的主流方法是使用神经网络模型标注出每个问答对的问题信息和答案信息，若 有问题信息和答案信息相匹配，则判定对应的问答对为正例，不匹配则判定问 答对为负例。然而，实际应用中神经网络模型判定负例的准确度并不高，经常 会出现将原本为正例的问答对判定为负例的情况，即假负例。假负例的出现会 给模型的学习带来偏差，影响模型的训练效果，现有技术中亟需一种能够有效 避免出现假负例、提高问答对判定效果的方法。
技术实现要素：4.本技术的主要目的在于提供一种问答对评估方法、装置、设备及计算机存 储介质，旨在提高问答对评估的准确性，避免将正例问答对错误地判定为负例 问答对。
5.第一方面，本技术提供一种问答对评估方法，所述问答对评估方法包括以 下步骤：
6.获取被判定为负例的负例问答对，所述负例问答对包括第一问题信息和负 例答案信息；
7.基于预设的问题生成模型，根据所述负例答案信息，生成对应的第二问题 信息；
8.确定同一所述负例答案信息对应的所述第一问题信息和所述第二问题信息 的相似度；
9.若所述相似度大于预设阈值，将所述负例问答对修正为正例问答对。
10.第二方面，本技术还提供一种问答对评估装置，所述问答对评估装置包括：
11.问答对获取模块，用于获取被判定为负例的负例问答对，所述负例问答对 包括第一问题信息和负例答案信息；
12.问题信息生成模块，用于基于预设的问题生成模型，根据所述负例答案信 息，生成对应的第二问题信息；
13.相似度确定模块，用于确定同一所述负例答案信息对应的所述第一问题信 息和所述第二问题信息的相似度；
14.问答对修正模块，用于若所述相似度大于预设阈值，将所述负例问答对修 正为正例问答对。
15.第三方面，本技术还提供一种计算机设备，所述计算机设备包括处理器、 存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中 所述计算机程序被
所述处理器执行时，实现如上述的问答对评估方法。
16.第四方面，本技术还提供一种计算机可读存储介质，所述计算机可读存储 介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上述 的问答对评估方法。
17.本技术提供一种问答对评估方法、装置、设备及计算机存储介质，本技术 通过获取被判定为负例的负例问答对，所述负例问答对包括第一问题信息和负 例答案信息；基于预设的问题生成模型，根据所述负例答案信息，生成对应的 第二问题信息；确定同一所述负例答案信息对应的所述第一问题信息和所述第 二问题信息的相似度；若所述相似度大于预设阈值，将所述负例问答对修正为 正例问答对。由于对负例问答对进行处理，筛选出被判定为负例问答对的正例 问答对并进行修正，提高问答对的判定效果。
附图说明
18.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要 使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以 根据这些附图获得其他的附图。
19.图1为本技术一实施例提供的一种问答对判定方法的流程示意图；
20.图2为本技术一实施例提供的一种问答对判定方法的使用场景图；
21.图3为本技术一实施例提供的一种问答对判定装置的示意性框图；
22.图4为本技术一实施例涉及的计算机设备的结构示意框图。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清 楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部 的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳 动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤， 也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部 分合并，因此实际执行的顺序有可能根据实际情况改变。
25.本技术实施例提供一种问答对判定方法、装置、计算机设备及计算机可读 存储介质。
26.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下， 下述的实施例及实施例中的特征可以相互组合。
27.请参照图1，图1为本技术的实施例提供的一种问答对判定方法的流程示意 图。该问答对判定方法可以用于终端或服务器中，以实现对被判定为负例的负 例问答对进行筛选。其中，终端可以是手机、平板电脑、笔记本电脑、台式电 脑、个人数字助理和穿戴式设备等电子设备；服务器可以为独立的服务器，也 可以为服务器集群，也可以是提供云服务、云数据库、云计算、云函数、云存 储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，cdn)、以及大数据和人工智能平台等基础云计算
服务的云服 务器。
28.请参照图2，图2是本技术一实施例提供的一种使用场景图。如图2所示， 服务器中存储有负例问答对，所述负例问答对包括第一问题信息和负例答案信 息，将所述负例问答对中的负例答案信息输入预设的问题生成模型，能够得到 第二问题信息，通过对比所述第一问题信息与所述第二问题信息，对所述负例 问答对进行判定。当然也不限于此，例如所述负例问答对也可以存储于终端设 备中，在此不做限定。
29.如图1所示，该问答对判定方法包括步骤s101至步骤s104。
30.步骤s101、获取被判定为负例的负例问答对，所述负例问答对包括第一问 题信息和负例答案信息。
31.示例性的，问答对被判定为负例问答对表示所述问答对中的问题信息和答 案信息被判定为不匹配，然而现有技术中对负例问答对的自动判定并不准确， 容易将问题信息和答案信息相互匹配的正例问答对错误地判定为负例问答对， 出现假负例的情况，导致问答对判定准确性低下。
32.示例性的，为了提高问答对判定的准确性，获取被判定为负例的负例问答 对，以便筛选出所述负例问答对中的假负例，将所述假负例修正为正例问答对， 进而提高问答对判定的判定效果和准确性。其中，所述负例问答对包括第一问 题信息和负例答案信息。
33.步骤s102、基于预设的问题生成模型，根据所述负例答案信息，生成对应 的第二问题信息。
34.示例性的，所述问题生成模型能够根据输入的答案信息，生成与所述答案 信息相匹配的问题信息，以便将生成的相匹配的问题信息与所述负例问答对中 的第一问题信息进行对比，确定所述负例问答对是否为假负例。
35.在一些实施方式中，在步骤s102之前，该问答对评估方法还包括：获取被 判定为正例的正例问答对，所述正例问答对包括正例问题信息和正例答案信息； 通过所述正例问答对，对所述问题生成模型进行训练，以使所述问题生成模型 能够根据输入的正例答案信息生成对应的所述正例问题信息。
36.示例性的，由于正例问答对的判定准确度相对较高，获取正例问答对作为 样本对所述问题生成模型进行训练，提高所述问题生成模型生成问题的准确度。
37.示例性的，通过所述正例问答对中相互匹配的所述正例问题信息和所述正 例答案信息，对所述问题生成模型进行训练，以使所述问题生成模型能够根据 输入的答案信息生成相匹配的问题信息，便于后续将所述问题生成模型生成的 问题信息与负例问答对中的第一问题信息进行比较，筛选所述负例问答对中的 假负例。
38.在一些实施方式中，步骤s102包括：将所述负例答案信息输入所述问题生 成模型；获取所述问题生成模型根据所述负例答案信息生成的第二问题信息。
39.示例性的，由于所述问题生成模型能够根据输入的答案信息生成相匹配的 问题信息，当向所述问题生成模型输入所述负例问答对中的负例答案信息，所 述问题生成模型能够生成与所述负例答案信息相匹配的第二问题信息，以便将 所述第二问题信息与所述负例问答对中的第一问题信息进行比较，筛选出假负 例。
40.步骤s103、确定同一所述负例答案信息对应的所述第一问题信息和所述第 二问题信息的相似度。
41.示例性的，通过比较被判定为负例的负例问答对中的第一问题信息和所述问题生成模型生成的第二问题信息，能够确定所述负例问答对是否为假负例。具体地，若所述第一问题信息与所述第二问题信息相似，表明所述第一问题信息与所述负例答案信息应为匹配的问答对；反之，若所述第一问题信息与所述第二问题信息不相似，表明所述第一问题信息与所述负例答案信息确实构成负例问答对。
42.在一些实施方式中，步骤s103包括：基于预设的向量编码模型，将同一所述负例答案信息对应的所述第一问题信息和所述第二问题信息分别编码为第一问题向量和第二问题向量；确定所述第一问题向量和所述第二问题向量的余弦相似度。
43.示例性的，所述确定同一所述负例答案信息对应的所述第一问题信息和所述第二问题信息的相似度，可以是对所述第一问题信息和第二问题信息进行编码，得到第一问题信息对应的第一问题向量和第二问题信息对应的第二问题向量，并计算所述第一问题向量和所述第二问题向量的余弦相似度。
44.示例性的，所述余弦相似度s
cos
＝cos(eq,e
gen
)，其中eq表示负例问答对中的第一问题信息对应的第一问题向量，e
gen
表示所述问题生成模型生成的第二问题信息对应的第二问题向量。
45.示例性的，所述向量编码模型可以是基于双向自回归变压器(bidirectionalandauto-regressivetransformers，bart)模型实现的，基于双向自回归变压器模型的seq2seq结构，优化极大似然损失函数：
[0046][0047]
其中，w为双向自回归变压器模型全链接层的权重，表示双向自回归变压器模型的解码器(decoder)在t时刻的输出。
[0048]
当然也不限于此，所述问题生成模型也可以是基于其他模型实现的，在此不做限定。
[0049]
步骤s104、若所述相似度大于预设阈值，将所述负例问答对修正为正例问答对。
[0050]
示例性的，若所述第一问题信息与所述第二问题信息的相似度大于所述预设阈值，说明被判定为负例的所述负例问答对中的所述第一问题信息与所述负例答案信息实际上相互匹配，所述负例问答对实际上为假负例，应修正为正例问答对。
[0051]
在一些实施方式中，该问答对评估方法还包括：确定所述目标问题信息与各所述目标答案信息的匹配分数；根据所述匹配分数，对同一所述目标问题信息对应的各所述目标答案信息进行排序。
[0052]
示例性的，修正得到的正例问答对包括目标问题信息和目标答案信息。其中一个所述目标问题信息可以对应多个所述目标答案信息，为了确定与所述目标问题信息最为匹配的所述目标答案信息，可以确定所述目标问题信息与各所述目标答案信息的匹配分数，根据匹配分数对各所述目标答案信息进行排序。
[0053]
在一些实施方式中，所述确定所述目标问题信息与各所述目标答案信息的匹配分数，包括：基于预设的问答匹配模型分析各所述目标答案信息与所述目标问题信息的匹配度；基于预设的困惑度确定算法，确定各所述目标答案信息的困惑度；基于所述问题生
成模型对各所述目标答案信息进行分析，得到对应 的第三问题信息；分别确定各所述第三问题信息与所述目标问题信息的相似度； 根据所述匹配度、所述困惑度和所述相似度，确定各所述目标答案信息与所述 目标问题信息的匹配分数。
[0054]
示例性的，所述问答匹配模型可以是基于双向编码器表示变压器模型 (bidirectional encoder representation from transformers，bert)实现的。通过 sentence bert的结构对修正得到的目标问答对进行匹配与不匹配的01分类任 务，优化交叉熵损失函数：
[0055][0056]
其中，yi表示第i个问答对的分类标签，若yi的值为0表示第i个问答对不匹 配，yi的值为1表示第i个问答对匹配；si＝softmax(w
t
[u,v,|u-v|])，u为问题信息 的向量表示，v为答案信息的向量表示，中括号表示向量的拼接操作。对bert 模型进行多次迭代训练，得到能够用于判断问答对的问题信息与答案信息匹配 度的问答匹配模型。
[0057]
示例性的，基于所述问答匹配模型，能够确定各所述目标答案信息与所述 目标问题信息的匹配度，具体地，所述匹配度越高，表示所述目标答案信息与 所述目标问题信息越匹配；所述匹配度越低，表示所述目标答案信息与所述目 标问题信息越不匹配。
[0058]
示例性的，所述困惑度用于表示各所述目标答案信息的质量，具体地，所 述困惑度越低，表示所述目标答案信息的质量越高；所述困惑度越高，表示所 述目标答案信息的质量越低。
[0059]
示例性的，所述困惑度确定算法可以是通过所述问题生成模型对所述困惑 度进行极大似然估计，得到所述困惑度的估计值：
[0060][0061]
示例性的，为了确定各所述目标答案信息与所述目标问题信息是否匹配， 基于所述问题生成模型根据各所述目标答案信息，分别生成第三问题信息，并 分别计算各所述第三问题信息与所述目标问题信息的相似度。具体地，所述相 似度越高，表明所述目标答案信息与所述目标问题信息越匹配。
[0062]
示例性的，所述根据所述匹配度、所述困惑度和所述相似度，确定各所述 目标答案信息与所述目标问题信息的匹配分数，例如可以是对所述匹配度、所 述困惑度和所述相似度进行加权求和，得到所述匹配分数，当然也不限于此。
[0063]
在一些实施方式中，所述分别确定各所述第三问题信息与所述目标问题信 息的相似度，包括：基于预设的向量编码模型，分别将所述目标问题信息和各 所述第三问题信息进行编码，得到目标问题向量和对应的第三问题向量；确定 所述目标问题向量和各所述第三问题向量的相似度。
[0064]
上述实施例提供的问答对判定方法，通过获取被判定为负例的负例问答对， 所述负例问答对包括第一问题信息和负例答案信息；基于预设的问题生成模型， 根据所述负例答案信息，生成对应的第二问题信息；确定同一所述负例答案信 息对应的所述第一问题信息和所述第二问题信息的相似度；若所述相似度大于 预设阈值，将所述负例问答对修正为
正例问答对。能够筛选出被判定为负例的 正例问答对，提高问答对评估的准确性。
[0065]
请参阅图3，图3是本技术一实施例提供的一种问答对判定装置的示意图， 该问答对判定装置可以配置于服务器或终端中，用于执行前述的问答对判定方 法。
[0066]
如图3所示，该问答对判定装置，包括：问答对获取模块110、问题信息生 成模块120、相似度确定模块130、问答对修正模块140。
[0067]
问答对获取模块110，用于获取被判定为负例的负例问答对，所述负例问答 对包括第一问题信息和负例答案信息；
[0068]
问题信息生成模块120，用于基于预设的问题生成模型，根据所述负例答案 信息，生成对应的第二问题信息；
[0069]
相似度确定模块130，用于确定同一所述负例答案信息对应的所述第一问题 信息和所述第二问题信息的相似度；
[0070]
问答对修正模块140，用于若所述相似度大于预设阈值，将所述负例问答对 修正为正例问答对。
[0071]
示例性的，相似度确定模块130包括：向量编码模块、余弦相似度确定模 块。
[0072]
向量编码模块，用于基于预设的向量编码模型，将同一所述负例答案信息 对应的所述第一问题信息和所述第二问题信息分别编码为第一问题向量和第二 问题向量；
[0073]
余弦相似度确定模块，用于确定所述第一问题向量和所述第二问题向量的 余弦相似度。
[0074]
示例性的，所述问答对评估装置，还包括：正例获取模块、问题生成模型 训练模块。
[0075]
正例获取模块，用于获取被判定为正例的正例问答对，所述正例问答对包 括正例问题信息和正例答案信息；
[0076]
问题生成模型训练模块，用于通过所述正例问答对，对所述问题生成模型 进行训练，以使所述问题生成模型能够根据输入的正例答案信息生成对应的所 述正例问题信息。
[0077]
示例性的，问题信息生成模块120包括：答案输入模块、问题获取模块。
[0078]
答案输入模块，用于将所述负例答案信息输入所述问题生成模型；
[0079]
问题获取模块，用于获取所述问题生成模型根据所述负例答案信息生成的 第二问题信息。
[0080]
示例性的，所述问答对评估装置还包括：匹配分数确定模块、答案信息排 序模块。
[0081]
匹配分数确定模块，用于确定所述目标问题信息与各所述目标答案信息的 匹配分数；
[0082]
答案信息排序模块，用于根据所述匹配分数，对同一所述目标问题信息对 应的各所述目标答案信息进行排序。
[0083]
示例性的，所述匹配分数确定模块包括：第三问题信息生成模块、目标问 题相似度确定模块、目标答案匹配度确定模块、目标答案困惑度确定模块、匹 配分数确定子模块。
[0084]
第三问题信息生成模块，用于基于所述问题生成模型对各所述目标答案信 息进行分析，得到对应的第三问题信息；
[0085]
目标问题相似度确定模块，用于分别确定各所述第三问题信息与所述目标 问题信息的相似度；
[0086]
目标答案匹配度确定模块，用于基于预设的问答匹配模型分析各所述目标 答案信息与所述目标问题信息的匹配度；
[0087]
目标答案困惑度确定模块，用于基于预设的困惑度确定算法，确定各所述 目标答案信息的困惑度；
[0088]
匹配分数确定子模块，用于根据所述相似度、所述匹配度和所述困惑度， 确定各所述目标答案信息与所述目标问题信息的匹配分数。
[0089]
示例性的，所述目标问题相似度确定模块包括：目标问题编码模块、目标 问题相似度确定子模块。
[0090]
目标问题编码模块，用于基于预设的向量编码模型，分别将所述目标问题 信息和各所述第三问题信息进行编码，得到目标问题向量和对应的第三问题向 量；
[0091]
目标问题相似度确定子模块，用于确定所述目标问题向量和各所述第三问 题向量的相似度。
[0092]
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便 和简洁，上述描述的装置和各模块、单元的具体工作过程，可以参考前述方法 实施例中的对应过程，在此不再赘述。
[0093]
本技术的方法、装置可用于众多通用或专用的计算系统环境或配置中。例 如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处 理器系统、基于微处理器的系统、机顶盒、可编程的消费电子设备、网络pc、 小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。 本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程 序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、 程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术， 在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任 务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程 计算机存储介质中。
[0094]
示例性地，上述的方法、装置可以实现为一种计算机程序的形式，该计算 机程序可以在如图4所示的计算机设备上运行。
[0095]
请参阅图4，图4为本技术实施例提供的一种计算机设备的结构示意性框图。 该计算机设备可以为服务器或终端。
[0096]
如图4所示，该计算机设备包括通过系统总线连接的处理器、存储器和网 络接口，其中，存储器可以包括存储介质和内存储器。
[0097]
存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该 程序指令被执行时，可使得处理器执行任意一种问答对判定方法。
[0098]
处理器用于提供计算和控制能力，支撑整个计算机设备的运行。
[0099]
内存储器为存储介质中的计算机程序的运行提供环境，该计算机程序被处 理器执行时，可使得处理器执行任意一种问答对判定方法。
[0100]
该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可 以理解，图4中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并 不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可 以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部 件布置。
[0101]
应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)， 该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor， dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编 程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、 分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处 理器或者该处理器也可以是任何常规的处理器等。
[0102]
其中，在一个实施例中，所述处理器用于运行存储在存储器中的计算机程 序，以实现如下步骤：
[0103]
获取被判定为负例的负例问答对，所述负例问答对包括第一问题信息和负 例答案信息；
[0104]
基于预设的问题生成模型，根据所述负例答案信息，生成对应的第二问题 信息；
[0105]
确定同一所述负例答案信息对应的所述第一问题信息和所述第二问题信息 的相似度；
[0106]
若所述相似度大于预设阈值，将所述负例问答对修正为正例问答对。
[0107]
在一个实施例中，所述处理器在实现所述确定同一所述负例答案信息对应 的所述第一问题信息和所述第二问题信息的相似度时，用于实现：
[0108]
基于预设的向量编码模型，将同一所述负例答案信息对应的所述第一问题 信息和所述第二问题信息分别编码为第一问题向量和第二问题向量；
[0109]
确定所述第一问题向量和所述第二问题向量的余弦相似度。
[0110]
在一个实施例中，所述处理器在实现所述基于预设的问题生成模型，根据 所述负例答案信息，生成对应的第二问题信息之前，用于实现：
[0111]
获取被判定为正例的正例问答对，所述正例问答对包括正例问题信息和正 例答案信息；
[0112]
通过所述正例问答对，对所述问题生成模型进行训练，以使所述问题生成 模型能够根据输入的正例答案信息生成对应的所述正例问题信息。
[0113]
在一个实施例中，所述处理器在实现所述基于预设的问题生成模型，根据 所述负例答案信息，生成对应的第二问题信息时，用于实现：
[0114]
将所述负例答案信息输入所述问题生成模型；
[0115]
获取所述问题生成模型根据所述负例答案信息生成的第二问题信息。
[0116]
在一个实施例中，所述处理器在实现所述将所述负例问答对修正为正例问 答对之后，用于实现：
[0117]
确定所述目标问题信息与各所述目标答案信息的匹配分数；
[0118]
根据所述匹配分数，对同一所述目标问题信息对应的各所述目标答案信息 进行排序。
[0119]
在一个实施例中，所述处理器在实现所述确定所述目标问题信息与各所述 目标答案信息的匹配分数时，用于实现：
[0120]
基于所述问题生成模型对各所述目标答案信息进行分析，得到对应的第三 问题信息；
[0121]
分别确定各所述第三问题信息与所述目标问题信息的相似度；
[0122]
基于预设的问答匹配模型分析各所述目标答案信息与所述目标问题信息的 匹配度；
[0123]
基于预设的困惑度确定算法，确定各所述目标答案信息的困惑度；
[0124]
根据所述相似度、所述匹配度和所述困惑度，确定各所述目标答案信息与 所述目标问题信息的匹配分数。
[0125]
在一个实施例中，所述处理器在实现所述分别确定各所述第三问题信息与 所述目标问题信息的相似度时，用于实现：
[0126]
基于预设的向量编码模型，分别将所述目标问题信息和各所述第三问题信 息进行编码，得到目标问题向量和对应的第三问题向量；
[0127]
确定所述目标问题向量和各所述第三问题向量的相似度。
[0128]
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便 和简洁，上述描述问答对判定的具体工作过程，可以参考前述问答对判定控制 方法实施例中的对应过程，在此不再赘述。
[0129]
本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质 上存储有计算机程序，所述计算机程序中包括程序指令，所述程序指令被执行 时所实现的方法可参照本技术问答对判定方法的各个实施例。
[0130]
其中，所述计算机可读存储介质可以是前述实施例所述的计算机设备的内 部存储单元，例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也 可以是所述计算机设备的外部存储设备，例如所述计算机设备上配备的插接式 硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡， 闪存卡(flash card)等。
[0131]
应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例 的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用 的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个
”ꢀ
及“该”意在包括复数形式。
[0132]
还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是 指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这 些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他 变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品 或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还 包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况 下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方 法、物品或者系统中还存在另外的相同要素。
[0133]
上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。以上所述， 仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本 技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改 或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的 保护范围应以权利要求的保护范围为准。
技术特征：1.一种问答对评估方法，其特征在于，所述方法包括：获取被判定为负例的负例问答对，所述负例问答对包括第一问题信息和负例答案信息；基于预设的问题生成模型，根据所述负例答案信息，生成对应的第二问题信息；确定同一所述负例答案信息对应的所述第一问题信息和所述第二问题信息的相似度；若所述相似度大于预设阈值，将所述负例问答对修正为正例问答对。2.根据权利要求1所述的问答对评估方法，其特征在于，所述确定同一所述负例答案信息对应的所述第一问题信息和所述第二问题信息的相似度，包括：基于预设的向量编码模型，将同一所述负例答案信息对应的所述第一问题信息和所述第二问题信息分别编码为第一问题向量和第二问题向量；确定所述第一问题向量和所述第二问题向量的余弦相似度。3.根据权利要求1所述的问答对评估方法，其特征在于，在所述基于预设的问题生成模型，根据所述负例答案信息，生成对应的第二问题信息之前，所述方法还包括：获取被判定为正例的正例问答对，所述正例问答对包括正例问题信息和正例答案信息；通过所述正例问答对，对所述问题生成模型进行训练，以使所述问题生成模型能够根据输入的正例答案信息生成对应的所述正例问题信息。4.根据权利要求1所述的问答对评估方法，其特征在于，所述基于预设的问题生成模型，根据所述负例答案信息，生成对应的第二问题信息，包括：将所述负例答案信息输入所述问题生成模型；获取所述问题生成模型根据所述负例答案信息生成的第二问题信息。5.根据权利要求1所述的问答对评估方法，其特征在于，修正得到的所述正例问答对包括目标问题信息和所述目标问题信息对应的多个目标答案信息；在所述将所述负例问答对修正为正例问答对之后，包括：确定所述目标问题信息与各所述目标答案信息的匹配分数；根据所述匹配分数，对同一所述目标问题信息对应的各所述目标答案信息进行排序。6.根据权利要求5所述的问答对评估方法，其特征在于，所述确定所述目标问题信息与各所述目标答案信息的匹配分数，包括：基于预设的问答匹配模型分析各所述目标答案信息与所述目标问题信息的匹配度；基于预设的困惑度确定算法，确定各所述目标答案信息的困惑度；基于所述问题生成模型对各所述目标答案信息进行分析，得到对应的第三问题信息；分别确定各所述第三问题信息与所述目标问题信息的相似度；根据所述匹配度、所述困惑度和所述相似度，确定各所述目标答案信息与所述目标问题信息的匹配分数。7.根据权利要求6所述的问答对评估方法，其特征在于，所述分别确定各所述第三问题信息与所述目标问题信息的相似度，包括：基于预设的向量编码模型，分别将所述目标问题信息和各所述第三问题信息进行编码，得到目标问题向量和对应的第三问题向量；确定所述目标问题向量和各所述第三问题向量的相似度。
8.一种问答对质量评估装置，其特征在于，所述问答对质量评估装置包括：问答对获取模块，用于获取被判定为负例的负例问答对，所述负例问答对包括第一问题信息和负例答案信息；问题信息生成模块，用于基于预设的问题生成模型，根据所述负例答案信息，生成对应的第二问题信息；相似度确定模块，用于确定同一所述负例答案信息对应的所述第一问题信息和所述第二问题信息的相似度；问答对修正模块，用于若所述相似度大于预设阈值，将所述负例问答对修正为正例问答对。9.一种计算机设备，其特征在于，所述计算机设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的问答对评估方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的问答对评估方法的步骤。
技术总结本申请涉及自然语言领域，提供一种问答对评估方法、装置、设备及计算机存储介质，该方法包括：获取被判定为负例的负例问答对，所述负例问答对包括第一问题信息和负例答案信息；基于预设的问题生成模型，根据所述负例答案信息，生成对应的第二问题信息；确定同一所述负例答案信息对应的所述第一问题信息和所述第二问题信息的相似度；若所述相似度大于预设阈值，将所述负例问答对修正为正例问答对。提高问答对评估的准确性，避免出现假负例，提高问答对判定效果。本申请还涉及人工智能，本申请的问答对评估方法可以应用于大数据和人工智能平台云计算服务的云服务器。能平台云计算服务的云服务器。能平台云计算服务的云服务器。
技术研发人员：杜江楠 付轩
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2022.06.17
技术公布日：2022/11/1
