1.本技术涉及文本处理技术领域，尤其涉及一种基于多模态信息的文本摘要生成方法、训练方法及其装置。
背景技术：2.随着互联网产生的文本数据越来越多，文本信息过载问题日益严重，对各类文本进行精简，且将最重要的信息表达出来变得愈发重要。文本摘要便是其中一个重要手段，旨在将文本转化为包含关键信息的简短摘要。其中，多模态文本生成是指基于多模态信息(如同一对象的文本、图片等信息)自动生成一段文本摘要。
技术实现要素：3.本技术提供了一种基于多模态信息的文本摘要生成方法、训练方法及其装置。
4.根据本技术的第一方面，提供了一种基于多模态信息的文本摘要生成方法，包括：
5.获取输入文本的编码隐层状态向量，并提取输入图像的全局图像特征向量；所述输入文本和所述输入图像为同一对象的不同模态信息；
6.根据所述编码隐层状态向量和所述全局图像特征向量，基于跨模态的注意力机制，获得当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量；
7.根据所述解码隐层状态向量，获取生成概率；所述生成概率为解码生成的单词从词汇表中生成的概率；
8.根据所述文本注意力向量获取文本复制概率，所述文本复制概率为解码生成的单词从所述输入文本中复制的概率；
9.根据所述视觉注意力向量和所述输入文本与所述全局图像特征向量之间的关联概率，获取视觉复制概率；
10.根据所述生成概率、所述文本复制概率和所述视觉复制概率，获取解码概率，并基于所述解码概率在所述词汇表和所述输入文本中进行筛选以获得当前时间步的摘要单词。
11.根据本技术的第二方面，提供了一种文本摘要生成模型的训练方法，该文本摘要生成模型适用于基于多模态信息的文本摘要生成任务，该文本摘要生成模型包括图像编码器、文本编码器和解码器，包括：
12.将输入图像样本输入至所述图像编码器，获得所述输入图像样本的全局图像特征向量；
13.将输入文本样本输入至所述编码器，获得所述输入文本样本的编码隐层状态向量；所述输入文本样本和所述输入图像样本为同一对象样本的不同模态信息；
14.将所述编码隐层状态向量和所述全局图像特征向量输入至所述解码器，获取当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量；
15.采用所述解码器根据所述解码隐层状态向量，获取生成概率，并根据所述文本注意力向量获取文本复制概率；所述生成概率为解码生成的单词从词汇表中生成的概率，所述文本复制概率为解码生成的单词从所述输入文本样本中复制的概率；
16.采用所述解码器根据所述视觉注意力向量和所述输入文本样本与所述全局图像特征向量之间的关联概率，获取视觉复制概率；
17.采用所述解码器根据所述生成概率、所述文本复制概率和所述视觉复制概率，获取解码概率，并根据所述解码概率计算预测损失值；
18.获取所述输入文本样本与所述全局图像特征向量之间的关联概率，并根据所述关联概率计算跨模态对齐损失值；
19.根据所述预测损失值和所述跨模态对齐损失值，获取模型训练损失值，并基于所述模型训练损失值，对文本摘要生成模型的模型参数进行调节，以得到完成训练的文本摘要生成模型。
20.根据本技术的第三方面，提供了一种基于多模态信息的文本摘要生成装置，包括：
21.第一获取模块，用于获取输入文本的编码隐层状态向量，并提取输入图像的全局图像特征向量；所述输入文本和所述输入图像为同一对象的不同模态信息；
22.第二获取模块，用于根据所述编码隐层状态向量和所述全局图像特征向量，基于跨模态的注意力机制，获得当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量；
23.第三获取模块，用于根据所述解码隐层状态向量，获取生成概率；所述生成概率为解码生成的单词从词汇表中生成的概率；
24.第四获取模块，用于根据所述文本注意力向量获取文本复制概率，所述文本复制概率为解码生成的单词从所述输入文本中复制的概率；
25.第五获取模块，用于根据所述视觉注意力向量和所述输入文本与所述全局图像特征向量之间的关联概率，获取视觉复制概率；
26.第六获取模块，用于根据所述生成概率、所述文本复制概率和所述视觉复制概率，获取解码概率，并基于所述解码概率在所述词汇表和所述输入文本中进行筛选以获得当前时间步的摘要单词。
27.根据本技术的第四方面，提供了一种文本摘要生成模型的训练装置，所述文本摘要生成模型适用于基于多模态信息的文本摘要生成任务，所述文本摘要生成模型包括图像编码器、文本编码器和解码器；所述装置包括：
28.第一获取模块，用于将输入图像样本输入至所述图像编码器，获得所述输入图像样本的全局图像特征向量；
29.第二获取模块，用于将输入文本样本输入至所述编码器，获得所述输入文本样本的编码隐层状态向量；所述输入文本样本和所述输入图像样本为同一对象样本的不同模态信息；
30.第三获取模块，用于将所述编码隐层状态向量和所述全局图像特征向量输入至所述解码器，获取当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量；
31.第四获取模块，用于采用所述解码器根据所述解码隐层状态向量，获取生成概率，
并根据所述文本注意力向量获取文本复制概率；所述生成概率为解码生成的单词从词汇表中生成的概率，所述文本复制概率为解码生成的单词从所述输入文本样本中复制的概率；
32.第五获取模块，用于采用所述解码器根据所述视觉注意力向量和所述输入文本样本与所述全局图像特征向量之间的关联概率，获取视觉复制概率；
33.第六获取模块，用于采用所述解码器根据所述生成概率、所述文本复制概率和所述视觉复制概率，获取解码概率，并根据所述解码概率计算预测损失值；
34.第七获取模块，用于获取所述输入文本样本与所述全局图像特征向量之间的关联概率，并根据所述关联概率计算跨模态对齐损失值；
35.生成模块，用于根据所述预测损失值和所述跨模态对齐损失值，获取模型训练损失值，并基于所述模型训练损失值，对文本摘要生成模型的模型参数进行调节，以得到完成训练的文本摘要生成模型。
36.根据本技术的第五方面，提供了一种计算机设备，包括：
37.至少一个处理器；以及
38.与所述至少一个处理器通信连接的存储器；其中，
39.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述第一方面所述的基于多模态信息的文本摘要生成方法，或者执行前述第二方面所述的文本摘要生成模型的训练方法。
40.根据本技术的第五方面，提供了一种计算机可读存储介质，所述计算机指令用于使所述计算机执行前述第一方面所述的基于多模态信息的文本摘要生成方法，或者执行前述第二方面所述的文本摘要生成模型的训练方法。
41.根据本技术的技术方案，在生成文本摘要的过程中，既考虑了输入文本的文本注意力分布，还考虑了输入图像的视觉注意力分布，利用多模态信息生成文本摘要，提高了文本摘要的质量。
42.应当理解，本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征，也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。
附图说明
43.附图用于更好地理解本方案，不构成对本技术的限定。其中：
44.图1为本技术实施例提供的一种基于多模态信息的文本摘要生成方法的流程示意图；
45.图2为本技术实施例提供的一种基于多模态信息的文本摘要生成方法的流程示意图；
46.图3为本技术实施例提供的一种基于多模态信息的文本摘要生成方法的流程示意图；
47.图4为本技术实施例提供的一种文本摘要生成模型的训练方法的流程示意图；
48.图5为本技术实施例提供的一种基于多模态信息的文本摘要生成装置的结构框图；
49.图6为本技术实施例提供的一种文本摘要生成模型的训练装置的结构框图；
50.图7为用来实施本技术的实施例的示例计算机设备的示意性框图。
具体实施方式
51.以下结合附图对本技术的示范性实施例做出说明，其中包括本技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
52.本技术提出一种基于多模态信息的文本摘要生成方法、训练方法及其装置，以提高文本摘要的质量。下面参考附图描述本技术实施例的基于多模态信息的文本摘要生成方法、训练方法及其装置。
53.图1为本技术实施例提供的一种基于多模态信息的文本摘要生成方法的流程示意图。需要说明的是，本技术实施例提出的基于多模态信息的文本摘要生成方法是基于复制机制实现的多模态文本生成方法。其中，复制机制是指在生成文本摘要时，在输入文本中直接复制某些文本。如图1所示，该基于多模态信息的文本摘要生成方法可以包括如下步骤：
54.步骤101，获取输入文本的编码隐层状态向量，并提取输入图像的全局图像特征向量；该输入文本和输入图像为同一对象的不同模态信息。
55.作为一种示例，可通过rnn(recurrent neural network，循环神经网络)编码器获取输入文本的编码隐层状态向量。通过预先训练的视觉目标识别模型，获取输入图像的全局图像特征向量。
56.步骤102，根据编码隐层状态向量和全局图像特征向量，基于跨模态的注意力机制，获得当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量。
57.作为一种示例，可根据上一时间步的解码隐层状态向量和编码隐层状态向量，利用tanh函数获取当前时间步的文本注意力向量。根据上一时间步的解码隐层状态向量和全局图像特征向量，利用tanh函数获取当前时间步的视觉注意力向量。对当前时间步的文本注意力向量和当前时间步的视觉注意力向量进行融合，获取当前时间步的上下文向量。根据当前时间步的上下文向量、上一时间步的解码隐层状态向量和上一时间步的标准解码答案，利用解码器获取当前时间步的解码隐层状态向量。
58.步骤103，根据解码隐层状态向量，获取生成概率；该生成概率为解码生成的单词从词汇表中生成的概率。
59.作为一种示例，根据解码隐层状态向量，可通过公式(1)获取生成概率p
vocab
(w)。
60.p
vocab
(w)＝softmax(was
t
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
61.其中，w为当前时间步的预测单词，softmax为softmax函数，wa为词向量矩阵，s
t
为解码隐层状态向量。
62.步骤104，根据文本注意力向量获取文本复制概率，该文本复制概率为解码生成的单词从输入文本中复制的概率。
63.作为一种示例，可根据文本注意力向量通过公式(2)获取文本复制概率
64.65.其中，w为当前时间步的预测单词，i:wi＝w表示当前时间步输入文本中第i个预测单词、为当前时间步的文本注意力向量。
66.步骤105，根据视觉注意力向量和输入文本与全局图像特征向量之间的关联概率，获取视觉复制概率。
67.可选地，在本技术一些实施例中，可基于输入文本和输入图像的对齐信息，利用扩模态关联模型，获取输入文本与全局图像特征向量之间的关联概率。根据关联概率和视觉注意力向量，获取视觉复制概率。
68.步骤106，根据生成概率、文本复制概率和视觉复制概率，获取解码概率，并基于解码概率在词汇表和输入文本中进行筛选以获得当前时间步的摘要单词。
69.可选地，在本技术一些实施例中，可对生成概率、文本复制概率和视觉复制概率进行加权，获得解码概率。基于解码概率，在词汇表和输入文本中进行筛选以获得当前时间步的摘要单词。
70.根据本技术实施例的基于多模态信息的文本摘要生成方法，在生成文本摘要的过程中，既考虑了输入文本的文本注意力分布，还考虑了输入图像的视觉注意力分布，利用多模态信息生成文本摘要，提高了文本摘要的质量。
71.图2为本技术实施例提供的一种基于多模态信息的文本摘要生成方法的流程示意图。如图2所示，该基于多模态信息的文本摘要生成方法可以包括如下步骤：
72.步骤201，获取输入文本的编码隐层状态向量，并提取输入图像的全局图像特征向量；该输入文本和输入图像为同一对象的不同模态信息。
73.步骤202，根据上一时间步的解码隐层状态向量和编码隐层状态向量，获取当前时间步的文本注意力向量。
74.作为一种示例，可通过公式(3)、公式(4)获取当前时间步输入文本中第i个单词的文本注意力向量
75.e
t，i
＝tanh(w1s
t-1
+v1hi)
ꢀꢀꢀꢀꢀꢀꢀ
(3)
[0076][0077]
其中，tanh为tanh函数，w1为参数矩阵，s
t-1
为上一时间步的解码隐层状态向量，v1为参数矩阵，hi为输入文本中第i个单词的编码隐层状态向量，softmax为softmax函数。
[0078]
步骤203，根据上一时间步的解码隐层状态向量和全局图像特征向量，获取当前时间步的视觉注意力向量。
[0079]
作为一种示例，可通过公式(5)、公式(6)获取当前时间步第j个图像特征的视觉注意力向量
[0080]bt，j
＝tanh(w2s
t-1
+v2vj)
ꢀꢀꢀꢀꢀꢀ
(5)
[0081][0082]
其中，tanh为tanh函数，w2为参数矩阵，s
t-1
为上一时间步的解码隐层状态向量，v2为参数矩阵，vj为全局图像特征v中第j个图像特征，softmax为softmax函数。
[0083]
步骤204，根据当前时间步的文本注意力向量和当前时间步的视觉注意力向量，获
取当前时间步的上下文向量。
[0084]
作为一种示例，可通过公式(7)获取当前时间步的上下文向量c
t
。
[0085][0086]
其中，为当前时间步输入文本中第i个单词的文本注意力向量，hi为输入文本中第i个单词的编码隐层状态向量,为当前时间步第j个图像特征的视觉注意力向量，vj为全局图像特征v中第j个图像特征。
[0087]
步骤205，根据当前时间步的上下文向量、上一时间步的解码隐层状态向量和上一时间步的标准解码答案，获取当前时间步的解码隐层状态向量。
[0088]
作为一种示例，可利用解码器获取当前时间步的解码隐层状态向量，如公式(8)所示。
[0089]st
＝f
dec
(s
t-1
，c
t
，y
t-1
)
ꢀꢀꢀꢀꢀꢀꢀ
(8)
[0090]
其中，s
t
为当前时间步的解码隐层状态向量，f
dec
为解码器函数，s
t-1
为上一时间步的解码隐层状态向量，c
t
为当前时间步的上下文向量，y
t-1
为上一时间步的标准解码答案。
[0091]
步骤206，根据解码隐层状态向量，获取生成概率；该生成概率为解码生成的单词从词汇表中生成的概率。
[0092]
步骤207，根据文本注意力向量获取文本复制概率，该文本复制概率为解码生成的单词从输入文本中复制的概率。
[0093]
步骤208，根据视觉注意力向量和输入文本与全局图像特征向量之间的关联概率，获取视觉复制概率。
[0094]
步骤209，根据生成概率、文本复制概率和视觉复制概率，获取解码概率，并基于解码概率在词汇表和输入文本中进行筛选以获得当前时间步的摘要单词。
[0095]
在本技术实施例中，步骤201、步骤206-步骤209可以分别采用本技术的各实施例中任一种方式实现，对此本技术不作具体限定，也不再赘述。
[0096]
根据本技术实施例的基于多模态信息的文本摘要生成方法，根据输入文本的编码隐层状态向量、输入图像的全局图像特征向量以及上一时间步的解码隐层状态向量，获得文本注意力向量和视觉注意力向量。根据当前时间步的文本注意力向量、当前时间步的视觉注意力向量、上一时间步的解码隐层状态向量和上一时间步的标准解码答案，获取当前时间步的解码隐层状态向量，以得到生成概率。根据生成概率、文本复制概率和视觉复制概率，获取解码概率，并基于解码概率在词汇表和输入文本中进行筛选以获得当前时间步的摘要单词。在生成文本摘要的过程中，既考虑了输入文本的文本注意力分布，还考虑了输入图像的视觉注意力分布，利用多模态信息生成文本摘要，提高了文本摘要的质量。
[0097]
图3为本技术实施例提供的一种基于多模态信息的文本摘要生成方法的流程示意图。如图3所示，该基于多模态信息的文本摘要生成方法可以包括如下步骤：
[0098]
步骤301，获取输入文本的编码隐层状态向量，并提取输入图像的全局图像特征向量；该输入文本和输入图像为同一对象的不同模态信息。
[0099]
步骤302，根据编码隐层状态向量和全局图像特征向量，基于跨模态的注意力机制，获得当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解
码隐层状态向量。
[0100]
步骤303，根据解码隐层状态向量，获取生成概率；该生成概率为解码生成的单词从词汇表中生成的概率。
[0101]
步骤304，根据文本注意力向量获取文本复制概率，该文本复制概率为解码生成的单词从输入文本中复制的概率。
[0102]
步骤305，基于输入文本和输入图像的对齐信息，获取输入文本与全局图像特征向量之间的关联概率。
[0103]
作为一种示例，可通过公式(9)获取第j个图像特征与第i个单词之间的关联概率a(vj,xi)。
[0104]
a(vj，xi)＝σ(u5vj+u6xi)
ꢀꢀꢀꢀꢀꢀ
(9)
[0105]
其中，σ为sigmoid函数，u5为模型参数矩阵，vj为全局图像特征v中第j个图像特征，u6为模型参数矩阵，xi为输入文本中第i个单词。
[0106]
步骤306，根据关联概率和视觉注意力向量，获取视觉复制概率。
[0107]
可选地，在本技术一些实施例中，可通过公式(10)计算视觉复制概率：
[0108][0109]
其中，w为当前时间步的预测单词，为所述视觉复制概率，xi为所述输入文本中的第i个单词，vj为所述全局图像特征向量v中的第j个图像特征，为当前时间步第j个图像特征的视觉注意力分布，a(vj,xi)为所述第j个图像特征与所述第i个单词间的关联概率。
[0110]
步骤307，根据生成概率、文本复制概率和视觉复制概率，获取解码概率，并基于解码概率在词汇表和输入文本中进行筛选以获得当前时间步的摘要单词。
[0111]
可选地，在本技术一些实施例中，可通过公式(11)计算解码概率p(w)：
[0112][0113]
其中，p
gen
＝σ(u3s
t-1
)，σ为sigmoid函数，u3为模型参数矩阵，s
t-1
为上一时间步的解码隐层状态向量，w为当前时间步的预测单词，为视觉复制概率，为文本复制概率，p
vocab
为生成概率，p
t
＝σ(u4s
t-1
)，u4为模型参数矩阵。
[0114]
在本技术实施例中，步骤301-步骤304可以分别采用本技术的各实施例中任一种方式实现，对此本技术不作具体限定，也不再赘述。
[0115]
根据本技术实施例的基于多模态信息的文本摘要生成方法，基于输入文本的编码隐层状态向量以及输入图像的全局图像特征向量，获取生成概率和文本复制概率。基于输入文本和输入图像的对齐信息，获取输入文本与全局图像特征向量之间的关联概率。根据关联概率和视觉注意力向量，获取视觉复制概率。根据生成概率、文本复制概率和视觉复制概率，获取解码概率，并基于解码概率在词汇表和输入文本中进行筛选以获得当前时间步的摘要单词。在生成文本摘要的过程中，既考虑了输入文本的文本注意力分布，还考虑了输入图像的视觉注意力分布，利用多模态信息生成文本摘要，提高了文本摘要的质量。
[0116]
图4是根据本技术实施例提供的一种文本摘要生成模型的训练方法的流程示意图。需要说明的是，该文本摘要生成模块适用于基于多模态信息的文本摘要生成任务，该文本摘要生成模型包括图像编码器、文本编码器和解码器。如图4所示，该文本摘要生成模型的训练方法可以包括如下步骤：
[0117]
步骤401，将输入图像样本输入至图像编码器，获得输入图像样本的全局图像特征向量。
[0118]
步骤402，将输入文本样本输入至编码器，获得输入文本样本的编码隐层状态向量；输入文本样本和输入图像样本为同一对象样本的不同模态信息。
[0119]
步骤403，将编码隐层状态向量和全局图像特征向量输入至解码器，获取当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量。
[0120]
步骤404，采用解码器根据解码隐层状态向量，获取生成概率，并根据文本注意力向量获取文本复制概率；生成概率为解码生成的单词从词汇表中生成的概率，文本复制概率为解码生成的单词从输入文本样本中复制的概率。
[0121]
步骤405，采用解码器根据视觉注意力向量和输入文本样本与全局图像特征向量之间的关联概率，获取视觉复制概率。
[0122]
可选地，在本技术一些实施例中，可通过公式(12)计算视觉复制概率
[0123][0124]
其中，w为当前时间步的预测单词，为视觉复制概率，xi为输入文本中的第i个单词，vj为全局图像特征向量v中的第j个图像特征，为当前时间步第j个图像特征的视觉注意力分布，a(vj,xi)为第j个图像特征与所述第i个单词间的关联概率。
[0125]
步骤406，采用解码器根据生成概率、文本复制概率和视觉复制概率，获取解码概率，并根据解码概率计算预测损失值。
[0126]
需要说明的是，采用解码器根据生成概率、文本复制概率和视觉复制概率，获取解码概率后，基于该解码概率在词汇表和输入文本中进行筛选以获得当前时间步的摘要单词，即当前时间步的标准解码答案。根据该解码答案y
t
计算预测损失值可参考公式(13)。
[0127][0128]
步骤407，获取输入文本样本与全局图像特征向量之间的关联概率，并根据关联概率计算跨模态对齐损失值。
[0129]
可选地，在本技术一些实施例中，可通过公式(14)计算跨模态对齐损失值
[0130][0131]
其中，a(vj,xi)为第j个图像特征与所述第i个单词间的关联概率，vj为全局图像特征向量v中的第j个图像特征，lj为vj对应的文本标签，xi为输入文本中第i个单词。
[0132]
步骤408，根据预测损失值和跨模态对齐损失值，获取模型训练损失值，并基于模
型训练损失值，对文本摘要生成模型的模型参数进行调节，以得到完成训练的文本摘要生成模型。
[0133]
可选地，在本技术实施例中，可将预测损失值和跨模态对齐损失值进行求和，以获得模型训练损失值作为一种示例，可参考公式(15)。
[0134][0135]
根据本技术了的文本摘要生成模型的训练方法，根据输入图像样本的全局图像特征向量和输入文本样本的编码隐层状态向量，获取生成概率、文本复制概率以及视觉复制概率。基于生成概率、文本复制概率以及视觉复制概率，获取模型训练损失值，对文本摘要生成模型的模型参数进行调节，得到完成训练的文本摘要生成模型，可基于多模态信息生成高质量文本摘要。
[0136]
图5是根据本技术实施例提供的一种基于多模态信息的文本摘要生成装置的结构框图。如图5所示，该装置可以包括第一获取模块501、第二获取模块502、第三获取模块503、第四获取模块504、第五获取模块505和第六获取模块506。
[0137]
具体地，第一获取模块501，用于获取输入文本的编码隐层状态向量，并提取输入图像的全局图像特征向量；输入文本和输入图像为同一对象的不同模态信息。
[0138]
第二获取模块502，用于根据编码隐层状态向量和全局图像特征向量，基于跨模态的注意力机制，获得当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量。
[0139]
第三获取模块503，用于根据解码隐层状态向量，获取生成概率；生成概率为解码生成的单词从词汇表中生成的概率。
[0140]
第四获取模块504，用于根据文本注意力向量获取文本复制概率，文本复制概率为解码生成的单词从输入文本中复制的概率。
[0141]
第五获取模块505，用于根据视觉注意力向量和输入文本与全局图像特征向量之间的关联概率，获取视觉复制概率。
[0142]
第六获取模块506，用于根据生成概率、文本复制概率和视觉复制概率，获取解码概率，并基于解码概率在词汇表和输入文本中进行筛选以获得当前时间步的摘要单词。
[0143]
在本技术一些实施例中，第二获取模块502具体用于：根据上一时间步的解码隐层状态向量和编码隐层状态向量，获取当前时间步的文本注意力向量；根据上一时间步的解码隐层状态向量和全局图像特征向量，获取当前时间步的视觉注意力向量；根据当前时间步的文本注意力向量和当前时间步的视觉注意力向量，获取当前时间步的上下文向量；根据当前时间步的上下文向量、上一时间步的解码隐层状态向量和上一时间步的标准解码答案，获取当前时间步的解码隐层状态向量。
[0144]
在本技术一些实施例中，第五获取模块505具体用于：基于输入文本和输入图像的对齐信息，获取输入文本与全局图像特征向量之间的关联概率；根据关联概率和视觉注意力向量，获取视觉复制概率。
[0145]
在本技术一些实施例中，视觉复制概率的计算公式可参考公式(16)：
[0146][0147]
其中，w为当前时间步的预测单词，为所述视觉复制概率，xi为所述输入文本中的第i个单词，vj为所述全局图像特征向量v中的第j个图像特征，为当前时间步第j个图像特征的视觉注意力分布，a(vj,xi)为所述第j个图像特征与所述第i个单词间的关联概率。
[0148]
在本技术一些实施例中，解码概率p(w)的计算公式可参考公式(17)：
[0149][0150]
其中，p
gen
＝σ(u3s
t-1
)，σ为sigmoid函数，u3为模型参数矩阵，s
t-1
为上一时间步的解码隐层状态向量，w为当前时间步的预测单词，为视觉复制概率，为文本复制概率，p
vocab
为生成概率，p
t
＝σ(u4s
t-1
)，u4为模型参数矩阵。
[0151]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不作详细阐述说明。
[0152]
根据本技术实施例的基于多模态信息的文本摘要生成装置，在生成文本摘要的过程中，既考虑了输入文本的文本注意力分布，还考虑了输入图像的视觉注意力分布，利用多模态信息生成文本摘要，提高了文本摘要的质量。
[0153]
图6是根据本技术实施例提供的一种文本摘要生成模型的训练装置的结构框图。如图6所示，该装置可以包括第一获取模块601、第二获取模块602、第三获取模块603、第四获取模块604、第五获取模块605、第六获取模块606、第七获取模块607和生成模块608。
[0154]
具体地，第一获取模块601，用于将输入图像样本输入至图像编码器，获得输入图像样本的全局图像特征向量。
[0155]
第二获取模块602，用于将输入文本样本输入至编码器，获得输入文本样本的编码隐层状态向量；输入文本样本和输入图像样本为同一对象样本的不同模态信息。
[0156]
第三获取模块603，用于将编码隐层状态向量和全局图像特征向量输入至解码器，获取当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量。
[0157]
第四获取模块604，用于采用解码器根据解码隐层状态向量，获取生成概率，并根据文本注意力向量获取文本复制概率；生成概率为解码生成的单词从词汇表中生成的概率，文本复制概率为解码生成的单词从输入文本样本中复制的概率。
[0158]
第五获取模块605，用于采用解码器根据视觉注意力向量和输入文本样本与全局图像特征向量之间的关联概率，获取视觉复制概率。
[0159]
第六获取模块606，用于采用解码器根据生成概率、文本复制概率和视觉复制概率，获取解码概率，并根据解码概率计算预测损失值。
[0160]
第七获取模块607，用于获取输入文本样本与全局图像特征向量之间的关联概率，并根据关联概率计算跨模态对齐损失值。
[0161]
生成模块608，用于根据预测损失值和跨模态对齐损失值，获取模型训练损失值，
并基于模型训练损失值，对文本摘要生成模型的模型参数进行调节，以得到完成训练的文本摘要生成模型。
[0162]
在本技术一些实施例中，视觉复制概率的计算公式可参考公式(18)：
[0163][0164]
其中，w为当前时间步的预测单词，为所述视觉复制概率，xi为所述输入文本中的第i个单词，vj为所述全局图像特征向量v中的第j个图像特征，为当前时间步第j个图像特征的视觉注意力分布，a(vj,xi)为所述第j个图像特征与所述第i个单词间的关联概率。
[0165]
在本技术一些实施例中，解码概率p(w)的计算公式可参考公式(19)：
[0166][0167]
其中，p
gen
＝σ(u3s
t-1
)，σ为sigmoid函数，u3为模型参数矩阵，s
t-1
为上一时间步的解码隐层状态向量，w为当前时间步的预测单词，为视觉复制概率，为文本复制概率，p
vocab
为生成概率，p
t
＝σ(u4s
t-1
)，u4为模型参数矩阵。
[0168]
在本技术一些实施例中，生成模块608还用于：将预测损失值和跨模态对齐损失值进行求和，获得模型训练损失值。
[0169]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不作详细阐述说明。
[0170]
根据本技术实施例的文本摘要生成模型的训练装置，根据输入图像样本的全局图像特征向量和输入文本样本的编码隐层状态向量，获取生成概率、文本复制概率以及视觉复制概率。基于生成概率、文本复制概率以及视觉复制概率，获取模型训练损失值，对文本摘要生成模型的模型参数进行调节，得到完成训练的文本摘要生成模型，可基于多模态信息生成高质量文本摘要。
[0171]
基于本技术的实施例，本技术还提供了一种计算机设备，至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行前述任一实施例的基于多模态信息的文本摘要生成方法或者文本摘要生成模型的训练方法。
[0172]
基于本技术的实施例，本技术还提供了一种计算机可读存储介质，其中，计算机指令用于使计算机执行根据本技术实施例提供的基于多模态信息的文本摘要生成方法或者文本摘要生成模型的训练方法。
[0173]
图7示出了可以用来实施本技术的实施例的示例计算机设备的示意性框图。计算机设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本技术的实现。
[0174]
如图7所示，计算机设备700包括计算单元701，其可以根据存储在只读存储器(rom)702中的计算机程序或者从存储单元708加载到随机访问存储器(ram)703中的计算机程序，来执行各种适当的动作和处理。在ram 703中，还可存储设备700操作所需的各种程序和数据。计算单元701、rom 702以及ram 703通过总线704彼此相连。输入/输出(i/o)接口705也连接至总线704。
[0175]
计算机设备700中的多个部件连接至i/o接口705，包括：输入单元706，例如键盘、鼠标等；输出单元707，例如各种类型的显示器、扬声器等；存储单元708，例如磁盘、光盘等；以及通信单元709，例如网卡、调制解调器、无线通信收发机等。通信单元709允许设备700通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0176]
计算单元701可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元701的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元701执行上文所描述的各个方法和处理，例如基于多模态信息的文本摘要生成方法或者文本摘要生成模型的训练方法。例如，在一些实施例中，基于多模态信息的文本摘要生成方法或者文本摘要生成模型的训练方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元708。在一些实施例中，计算机程序的部分或者全部可以经由rom 702和/或通信单元709而被载入和/或安装到设备700上。当计算机程序加载到ram 703并由计算单元701执行时，可以执行上文描述的基于多模态信息的文本摘要生成方法或者文本摘要生成模型的训练方法的一个或多个步骤。备选地，在其他实施例中，计算单元701可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行基于多模态信息的文本摘要生成方法或者文本摘要生成模型的训练方法。
[0177]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0178]
用于实施本技术的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0179]
在本技术的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合
适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0180]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入)来接收来自用户的输入。
[0181]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、互联网和区块链网络。
[0182]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务("virtual private server"，或简称"vps")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0183]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本技术公开的技术方案所期望的结果，本文在此不进行限制。
[0184]
上述具体实施方式，并不构成对本技术保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本技术的精神和原则之内所作的修改、等同替换和改进等，均应包含在本技术保护范围之内。
技术特征：1.一种基于多模态信息的文本摘要生成方法，其特征在于，包括：获取输入文本的编码隐层状态向量，并提取输入图像的全局图像特征向量；所述输入文本和所述输入图像为同一对象的不同模态信息；根据所述编码隐层状态向量和所述全局图像特征向量，基于跨模态的注意力机制，获得当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量；根据所述解码隐层状态向量，获取生成概率；所述生成概率为解码生成的单词从词汇表中生成的概率；根据所述文本注意力向量获取文本复制概率，所述文本复制概率为解码生成的单词从所述输入文本中复制的概率；根据所述视觉注意力向量和所述输入文本与所述全局图像特征向量之间的关联概率，获取视觉复制概率；根据所述生成概率、所述文本复制概率和所述视觉复制概率，获取解码概率，并基于所述解码概率在所述词汇表和所述输入文本中进行筛选以获得当前时间步的摘要单词。2.如权利要求1所述的方法，其特征在于，所述根据所述编码隐层状态向量和所述全局图像特征向量，基于跨模态的注意力机制，获得当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量，包括：根据上一时间步的解码隐层状态向量和所述编码隐层状态向量，获取当前时间步的文本注意力向量；根据所述上一时间步的解码隐层状态向量和所述全局图像特征向量，获取当前时间步的视觉注意力向量；根据所述当前时间步的文本注意力向量和当前时间步的视觉注意力向量，获取当前时间步的上下文向量；根据所述当前时间步的上下文向量、所述上一时间步的解码隐层状态向量和上一时间步的标准解码答案，获取当前时间步的解码隐层状态向量。3.如权利要求1所述的方法，其特征在于，所述根据所述视觉注意力向量和所述输入文本与所述全局图像特征向量之间的关联概率，获取视觉复制概率，包括：基于所述输入文本和所述输入图像的对齐信息，获取所述输入文本与所述全局图像特征向量之间的关联概率；根据所述关联概率和所述视觉注意力向量，获取视觉复制概率。4.如权利要求3所述的方法，其特征在于，所述视觉复制概率的计算公式为：其中，w为当前时间步的预测单词，为所述视觉复制概率，x
i
为所述输入文本中的第i个单词，v
j
为所述全局图像特征向量v中的第j个图像特征，为当前时间步第j个图像特征的视觉注意力分布，a(v
j
,x
i
)为所述第j个图像特征与所述第i个单词间的关联概率。
5.如权利要求1至4中任一项所述的方法，其特征在于，所述解码概率的计算公式为：其中，p
gen
＝σ(u3s
t-1
)，σ为sigmoid函数，u3为模型参数矩阵，s
t-1
为上一时间步的解码隐层状态向量，w为当前时间步的预测单词，为所述视觉复制概率，为所述文本复制概率，p
vocab
为所述生成概率，p
t
＝σ(u4s
t-1
)，u4为模型参数矩阵。6.一种文本摘要生成模型的训练方法，其特征在于，所述文本摘要生成模型适用于基于多模态信息的文本摘要生成任务，所述文本摘要生成模型包括图像编码器、文本编码器和解码器，所述训练方法包括：将输入图像样本输入至所述图像编码器，获得所述输入图像样本的全局图像特征向量；将输入文本样本输入至所述编码器，获得所述输入文本样本的编码隐层状态向量；所述输入文本样本和所述输入图像样本为同一对象样本的不同模态信息；将所述编码隐层状态向量和所述全局图像特征向量输入至所述解码器，获取当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量；采用所述解码器根据所述解码隐层状态向量，获取生成概率，并根据所述文本注意力向量获取文本复制概率；所述生成概率为解码生成的单词从词汇表中生成的概率，所述文本复制概率为解码生成的单词从所述输入文本样本中复制的概率；采用所述解码器根据所述视觉注意力向量和所述输入文本样本与所述全局图像特征向量之间的关联概率，获取视觉复制概率；采用所述解码器根据所述生成概率、所述文本复制概率和所述视觉复制概率，获取解码概率，并根据所述解码概率计算预测损失值；获取所述输入文本样本与所述全局图像特征向量之间的关联概率，并根据所述关联概率计算跨模态对齐损失值；根据所述预测损失值和所述跨模态对齐损失值，获取模型训练损失值，并基于所述模型训练损失值，对文本摘要生成模型的模型参数进行调节，以得到完成训练的文本摘要生成模型。7.如权利要求6所述的方法，其特征在于，所述视觉复制概率的计算公式为：其中，w为当前时间步的预测单词，为所述视觉复制概率，x
i
为所述输入文本样本中的第i个单词，v
j
为所述全局图像特征向量v中的第j个图像特征，为当前时间步第j个图像特征的视觉注意力分布，a(v
j
,x
i
)为所述第j个图像特征与所述第i个单词间的关联概率。8.如权利要求6所述的方法，其特征在于，所述解码概率的计算公式为：
其中，p
gen
＝σ(u3s
t-1
)，σ为sigmoid函数，u3为模型参数矩阵，s
t-1
为上一时间步的解码隐层状态向量，w为当前时间步的预测单词，为所述视觉复制概率，为所述文本复制概率，p
vocab
为所述生成概率，p
t
＝σ(u4s
t-1
)，u4为模型参数矩阵。9.如权利要求6至8中任一项所述的方法，其特征在于，所述根据所述预测损失值和所述跨模态对齐损失值，获取模型训练损失值，包括：将所述预测损失值和所述跨模态对齐损失值进行求和，获得模型训练损失值。10.一种基于多模态信息的文本摘要生成装置，其特征在于，包括：第一获取模块，用于获取输入文本的编码隐层状态向量，并提取输入图像的全局图像特征向量；所述输入文本和所述输入图像为同一对象的不同模态信息；第二获取模块，用于根据所述编码隐层状态向量和所述全局图像特征向量，基于跨模态的注意力机制，获得当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量；第三获取模块，用于根据所述解码隐层状态向量，获取生成概率；所述生成概率为解码生成的单词从词汇表中生成的概率；第四获取模块，用于根据所述文本注意力向量获取文本复制概率，所述文本复制概率为解码生成的单词从所述输入文本中复制的概率；第五获取模块，用于根据所述视觉注意力向量和所述输入文本与所述全局图像特征向量之间的关联概率，获取视觉复制概率；第六获取模块，用于根据所述生成概率、所述文本复制概率和所述视觉复制概率，获取解码概率，并基于所述解码概率在所述词汇表和所述输入文本中进行筛选以获得当前时间步的摘要单词。11.如权利要求10所述的装置，其特征在于，所述第二获取模块具体用于：根据上一时间步的解码隐层状态向量和所述编码隐层状态向量，获取当前时间步的文本注意力向量；根据所述上一时间步的解码隐层状态向量和所述全局图像特征向量，获取当前时间步的视觉注意力向量；根据所述当前时间步的文本注意力向量和当前时间步的视觉注意力向量，获取当前时间步的上下文向量；根据所述当前时间步的上下文向量、所述上一时间步的解码隐层状态向量和上一时间步的标准解码答案，获取当前时间步的解码隐层状态向量。12.如权利要求10所述的装置，其特征在于，所述第五获取模块具体用于：基于所述输入文本和所述输入图像的对齐信息，获取所述输入文本与所述全局图像特征向量之间的关联概率；根据所述关联概率和所述视觉注意力向量，获取视觉复制概率。13.一种文本摘要生成模型的训练装置，其特征在于，所述文本摘要生成模型适用于基于多模态信息的文本摘要生成任务，所述文本摘要生成模型包括图像编码器、文本编码器
和解码器；所述装置包括：第一获取模块，用于将输入图像样本输入至所述图像编码器，获得所述输入图像样本的全局图像特征向量；第二获取模块，用于将输入文本样本输入至所述编码器，获得所述输入文本样本的编码隐层状态向量；所述输入文本样本和所述输入图像样本为同一对象样本的不同模态信息；第三获取模块，用于将所述编码隐层状态向量和所述全局图像特征向量输入至所述解码器，获取当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量；第四获取模块，用于采用所述解码器根据所述解码隐层状态向量，获取生成概率，并根据所述文本注意力向量获取文本复制概率；所述生成概率为解码生成的单词从词汇表中生成的概率，所述文本复制概率为解码生成的单词从所述输入文本样本中复制的概率；第五获取模块，用于采用所述解码器根据所述视觉注意力向量和所述输入文本样本与所述全局图像特征向量之间的关联概率，获取视觉复制概率；第六获取模块，用于采用所述解码器根据所述生成概率、所述文本复制概率和所述视觉复制概率，获取解码概率，并根据所述解码概率计算预测损失值；第七获取模块，用于获取所述输入文本样本与所述全局图像特征向量之间的关联概率，并根据所述关联概率计算跨模态对齐损失值；生成模块，用于根据所述预测损失值和所述跨模态对齐损失值，获取模型训练损失值，并基于所述模型训练损失值，对文本摘要生成模型的模型参数进行调节，以得到完成训练的文本摘要生成模型。14.如权利要求13所述的装置，其特征在于，所述生成模块还用于：将所述预测损失值和所述跨模态对齐损失值进行求和，获得模型训练损失值。15.一种计算机设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至9中任一项所述的方法。16.一种计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1至9中任一项所述的方法。
技术总结本申请公开了一种基于多模态信息的文本摘要生成方法、训练方法及其装置，涉及文本处理技术领域。具体实现方案为：获取输入文本的编码隐层状态向量，并提取输入图像的全局图像特征向量；根据编码隐层状态向量和全局图像特征向量，基于跨模态的注意力机制，获得当前时间步的文本注意力向量、当前时间步的视觉注意力向量和当前时间步的解码隐层状态向量；根据解码隐层状态向量，获取生成概率；根据文本注意力向量获取文本复制概率；根据视觉注意力向量和输入文本与全局图像特征向量之间的关联概率，获取视觉复制概率；根据生成概率、文本复制概率和视觉复制概率，获取解码概率，在词汇表和输入文本中进行筛选以获得当前时间步的摘要单词。摘要单词。摘要单词。
技术研发人员：李浩然
受保护的技术使用者：京东科技信息技术有限公司
技术研发日：2022.07.26
技术公布日：2022/11/1
