1.本公开的实施例总体涉及计算机技术领域，并且更具体地涉及一种用于生成评论回复的方法、计算设备和计算机可读存储介质。
背景技术：2.人工智能(artificial intelligence，简称ai)技术的快速发展为人们的日常工作和生活提供了便利。人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能越来越多地融入到应用中，结合人工智能的应用可以准确地确定出信息的种类，并按照不同用户的需求将不同种类的信息推送给相应的用户。
3.随着人工智能的飞速发展，如何让机器能拥有和人类一样的智能，成了无数企业希望做到的事情。在这个背景下，我们希望机器能够读懂一篇文章，并且能够给出有自己观点的评论，或者给出互联网用户对这篇文章的一般观点。
4.然而，由于社交媒体评论数据中的文本简短且缺少具体的对实体描述信息，给出的评论必须是用户已经在相同或者类似新闻中发表的评论，机器本身并不理解新闻的内容和评论的内容，并且由于检索召回的依据是新闻和评论的相关性，普遍存在冷门新闻无法召回的问题，如果放开相关性限制，容易产出不相关的回复，并且严重依赖评论库的时效性，质量以及大小，因此影响面和召回率低。
5.综上所述传统的用于生成评论回复的方案所存在的不足之处在于：严重依赖现有评论库的时效性，质量以及大小，因此使得所生成的评论影响面和召回率低。
技术实现要素：6.针对上述问题，本公开提供了一种用于生成评论回复的方法、设备和介质。基于以上方案，可以基于主体观点对提供评论内容以及评论情感，可以基于评论标签提供评论内容的应用环境，因此在对外提供评论回复时，提高了评论回复的针对性、精准性以及对评论情感的控制，并且由于构建评论回复的来源丰富，覆盖面广，因此向外提供的评论也反映大多数评论意见，提升了评论回复的适用范围。
7.根据本公开的第一方面，提供了一种用于生成评论回复的方法，包括：基于待回复页面中的待回复评论数据，确定评论对象；基于自然语言处理，识别所述评论对象中的评论文本的评论主体和第一评论观点；基于图像处理，识别所述评论对象中的评论图像的第二评论观点；基于所述第一评论观点和所述第二评论观点，生成针对所述评论主体的观点回复标签；以及基于所述观点回复标签以及与所述评论主体相关联的背景上下文，生成与所述评论对象对应的评论回复。
8.根据本公开的第二方面，提供了一种计算设备，包括：至少一个处理器；以及与至
少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开的第一方面的方法。
9.在本公开的第三方面中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中计算机指令用于使计算机执行本公开的第一方面的方法。
10.在一些实施例中，基于自然语言处理，识别所述评论对象中的评论文本的评论主体和第一评论观点包括：基于卷积神经网络模型，训练评论观点专有的嵌入词向量；采用lstm模型和所述嵌入词向量训练评论观点分类模型；以及利用所述评论观点分类模型，确定针对所述评论对象的第一评论观点。
11.在一些实施例中，采用lstm模型和所述嵌入词向量训练评论观点分类模型包括：针对一个或多个待回复评论数据确定一个或多个评论观点集合；对所述一个或多个评论观点集合做水平划分，使得相同时间段内的评论观点划分到相同的评论观点集合，从而根据产生评论观点的频度确定时间间隔；对相同的评论观点集合的评论观点进行预处理；采用高频词选取的方法对预处理后的评论观点获取文档特征，从而降低文档的表示维度；利用lsh局部敏感哈希函数来处理所获取的文档特征，从而获取相似度超过预定阈值的评论观点文本；以及基于相似度超过预定阈值的评论观点文本，基于lstm模型和所述嵌入词向量构建评论观点分类模型。
12.在一些实施例中，对相同的评论观点集合的评论观点进行预处理包括：对所述评论观点执行以下处理中的一项或多项：分词、去停用词和标签提取。
13.在一些实施例中，基于图像处理识别所述评论对象中的评论图像的第二评论观点包括：对所述评论图像执行预处理，从而获取核心区域图像；对所述核心区域图像执行底层特征语义提取，从而形成特征向量空间；将所述特征向量空间中的特征向量转换至用于指示语义概念的语义元素，从而获取不同的语义元素；根据所述语义元素的相对距离及共现概率，确定所述评论图像的不同的语义元素是否相关；以及响应于所述语义元素与所述评论图像相关，则将所述语义元素组合成第二评论观点。
14.在一些实施例中，基于图像处理识别所述评论对象中的评论图像的第二评论观点包括：计算所述特征向量在所述特征向量空间中的相对空间位置及占比面积；基于所述相对空间位置及占比面积，从所述评论图像中识别出焦点对象；根据所述焦点对象以及与所述评论图像相关联的主题语义模型，获取与所述评论图像相关联的一个或多个评论观点；计算所获取的一个或多个评论观点与所述焦点对象之间的语义距离；以及基于最接近的语义距离，从所述一个或多个评论观点中确定第二评论观点。
15.在一些实施例中，基于所述第一评论观点和所述第二评论观点生成针对所述评论主体的观点回复标签包括：将所述第一评论观点、所述第二评论观点输入至多模态融合网络层进行特征融合，以便获得多模态信息的特征表示；将所述多模态信息的特征表示与所述评论文本的文本的主题概率分布中每个主题的生成概率相乘并求和，从而获得主题特征表示；以及基于所述主题特征表示，在观点回复标签库中生成针对所述评论主体的观点回复标签。
16.在一些实施例中，评论文本的文本的主题概率分布是基于lda 主题模型而生成的。
17.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
18.结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。
19.图1示出了用于实现根据本发明的实施例的用于检索用户信息的方法的系统的示意图。
20.图2示出了根据本公开的实施例的用于生成评论回复的方法200 的流程图。
21.图3示出了根据本公开的实施例的基于第一评论观点和第二评论观点生成针对评论主体的观点回复标签的方法300的流程图。
22.图4示出了根据本公开的实施例的电子设备的框图。
具体实施方式
23.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
24.在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
25.如前文所描述，由于社交媒体评论数据中的文本简短且缺少具体的对实体描述信息，给出的评论必须是用户已经在相同或者类似新闻中发表的评论，机器本身并不理解新闻的内容和评论的内容，并且由于检索召回的依据是新闻和评论的相关性，普遍存在冷门新闻无法召回的问题，如果放开相关性限制，容易产出不相关的回复，并且严重依赖评论库的时效性，质量以及大小，因此影响面和召回率低。
26.综上所述传统的用于生成评论回复的方案所存在的不足之处在于：严重依赖现有评论或者回复库的时效性，质量以及大小，因此使得所生成的评论影响面和召回率低。
27.为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种用于生成评论回复的方案。本发明提出的用于生成评论回复的方法基于主体观点对提供评论内容以及评论情感可以基于评论标签提供评论内容的应用环境。因此在对外提供评论回复时，提高了评论回复的针对性、精准性以及对评论情感的控制，并且由于构建评论回复的来源丰富，覆盖面广，因此向外提供的评论也反映大多数评论意见，提升了评论回复的适用范围。
28.图1示出了用于实现根据本发明的实施例的用于生成评论回复的方法的系统的示意图。如图1中所示，系统包括计算设备110和评论数据管理设备130和网络140。计算设备110、评论数据管理设备130 可以通过网络140(例如，因特网)进行数据交互。
29.评论数据管理设备130，其例如可以存储有一份或多份评论文件数据。评论文件数
据可以包括评论文本或者评论图像(例如，表情)。评论数据管理设备130还可以将所存储的评论数据发送给计算设备 110。评论数据管理设备例如而不限于是：电子计算机、网络服务器、存储计算器等。评论数据管理设备130例如收集来自多个来源的评论数据文件信息，例如用户的回复文本、图像、表情等。
30.关于计算设备110，其例如用于获取来自评论数据管理设备130 的评论数据；并且接收待回复的评论数据并对数据进行推送。通过处理待回复的评论数据，可以实现对评论数据的针对性生成回复。计算设备110可以接收来自用户或者评论数据管理设备130的待回复的评论数据。通过应用本公开公开提供的方法，计算设备110可以对待回复的评论数据生成回复。
31.计算设备110可以具有一个或多个处理单元，包括诸如gpu、 fpga和asic等的专用处理单元以及诸如cpu的通用处理单元。另外，在每个计算设备110上也可以运行着一个或多个虚拟机。在一些实施例中，计算设备110与评论数据管理设备130可以集成在一起，也可以是彼此分立设置。在一些实施例中，计算设备110例如包括获取模块112、预处理模块114、绘制模块116、控制点模块118、平滑处理模块120。
32.确定模块112，所述确定模块112配置成基于待回复页面中的待回复评论数据，确定评论对象。
33.文本识别模块114，所述文本识别模块114配置成基于自然语言处理，识别所述评论对象中的评论文本的评论主体和第一评论观点。
34.图像识别模块116，所述图像识别模块116配置成基于图像处理，识别所述评论对象中的评论图像的第二评论观点。
35.标签生成模块118，所述标签生成模块118配置成基于所述第一评论观点和所述第二评论观点，生成针对所述评论主体的观点回复标签。
36.评论生成模块120，所述评论生成模块120配置成基于所述观点回复标签以及与所述评论主体相关联的背景上下文，生成与所述评论对象对应的评论回复。
37.图2示出了根据本公开的实施例的用于生成评论回复的方法200 的流程图。方法200可由如图1所示的计算设备110执行，也可以在图4所示的电子设备400处执行。应当理解的是，方法200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
38.在步骤202中，计算设备110配置成基于待回复页面中的待回复评论数据，确定评论对象。
39.在一个实施例中，待回复的网络页面是指互联网网络中所使用的页面，例如微博页面、论坛(bbs)页面、互联网网页以及用户原创内容(ugc)等。从海量的互联网网页、微博以及ugc资源中，挖掘出有情感倾向的文本的具体流程如下：首先，利用网络爬虫，定向抓取评论类型网页、新闻资讯评论、bbs及微博等潜在拥有评论数据的网站数据，然后，对网页内容进行提取以及断句，生成潜在的评论句，然后利用情感倾向性分析技术，选择出有情感倾向的句子，即为挖掘的评论文本。可以从页面中确定待回复评论数据，从数据中确定评论对象，评论对象为包括文本和图像的评论语句。本公开的方法是针对评论对象生成适当且符合上下文的回复。
40.在步骤204中，计算设备110配置成基于自然语言处理，识别所述评论对象中的评
论文本的评论主体和第一评论观点。
41.在一个实施例中，基于自然语言处理，识别所述评论对象中的评论文本的评论主体和第一评论观点包括基于卷积神经网络模型，训练评论观点专有的嵌入词向量。
42.在一个实施例中，计算设备110对文本隐含主题进行建模。建模基于lda的主题模型进行方面词提取和挖掘工作。本发明通过面向舆情特定领域的主题生成模型。在lda模型基础上利用现有数据得到的主题分析结果，作为增量式主题模型的先验知识，从而帮助新一轮的主题模型学习和分析。同时，在现有lda模型的基础上，增加时间属性，实现增量式主题模型，一方面可以分析出随着时间的推移和事件发展主题的变化，另一方面也可以将大量的文本输入流在时间片上进行划分，从而针对每个时间片进行增量式更新，可以解决海量数据的分析问题。
43.在一个实施例中，计算设备110采用lstm模型和所述嵌入词向量训练评论观点分类模型。深度学习是当前重要的机器学习算法之一，在图像识别、自然语言处理等领域已有很好的应用案例出现。深度学习算法能够有效提升有监督学习模型训练和测试的准确率。本发明将通过基于深度学习的web短文本立场判定技术，从特征建模的层面出发，将立场作为特征的一部分，为立场判定构建专有的embedding 特征，训练专有的用于立场判定分类的词向量。同时，有效的立场判定方法不仅需要考察词的分类特征，还需要兼顾上下文的信息。注意力机制即attention mechanism在序列学习任务上具有巨大的提升作用。
44.lstm(long short-term memory)是长短期记忆网络，是一种时间递归神经网络，适合处理和预测时间序列中间隔和延迟相对较长的重要事件，在很多任务中比标准的rnn(循环神经网络)表现得更好。因此，本发明将基于attention机制构建lstm深度神经网络，用于训练立场判定模型，提高分类的准确率。
45.在一个实施例中，计算设备110利用在上述步骤中所建立的所述评论观点分类模型，确定针对所述评论对象的第一评论观点，即，确定评论对象的评论文本中的主要观点。基于评论观点分类模型可以将评论中的主要论点提炼出来，并且确定用户对论点的情绪，例如证明情绪或者负面情绪。
46.具体来说，计算设备110可以针对一个或多个待回复评论数据确定一个或多个评论观点集合；对所述一个或多个评论观点集合做水平划分，使得相同时间段内的评论观点划分到相同的评论观点集合，从而根据产生评论观点的频度确定时间间隔；对相同的评论观点集合的评论观点进行预处理；采用高频词选取的方法对预处理后的评论观点获取文档特征，从而降低文档的表示维度；利用lsh局部敏感哈希函数来处理所获取的文档特征，从而获取相似度超过预定阈值的评论观点文本；以及基于相似度超过预定阈值的评论观点文本，基于lstm 模型和所述嵌入词向量构建评论观点分类模型。基于超过预定阈值的评论观点文本，基于lstm模型和所述嵌入词向量构建评论观点分类模型。
47.在步骤206中，计算设备110配置成基于图像处理，识别所述评论对象中的评论图像的第二评论观点。
48.在一个实施例中，计算设备110对所述评论图像执行预处理，从而获取核心区域图像。预处理包括对图像执行去噪、分割等常规图像处理操作，从而排除不重要的非核心区域，获取核心区域图像。
49.计算设备110可以对所述核心区域图像执行底层特征语义提取，从而形成特征向
量空间。
50.所述特征包括颜色特征(例如直方图、累计直方图或局部直方图)、纹理特征(例如统计法、频谱法或结构法)、形状特征(例如面积、周长或拐点数)，以及其它有效特征。于此，为了防止某些特征权重过大，需要对上述特征进行归一化处理。同时，对这些特征进行合理的拆分、组合处理，形成高维特征向量空间。本实施例中，具体的特征提取方法、特征权重的归一化处理、特征的拆分和组合可以采用任何现有的成熟技术，然而本发明对此并不做限制。
51.接下来，利用提取到的高维特征向量，训练基于支持向量机(svm)的有监督的分类器，得到元素的最优分割曲面，对图像进行分割。同时，需要对获得的背景区域尤其是一些离散的小块，采用区域融合的方法，将其拼接成为一个完整的目标区域。于此，分类器也可以采用其它的机器学习模型，包括区域融合方法等，然而本发明对此并不做限制。
52.计算设备110可以将所述特征向量空间中的特征向量转换至用于指示语义概念的语义元素，例如，语义概念层，从而获取不同的语义元素。
53.具体而言，图像分割之后得到的每个独立的区域单元即为元素。元素是有具体物理意义的个体，需要通过元素识别，用具体的文字来说明元素的含义。如果图像中的元素是一条白色的裤子，那么元素识别的过程就是获取该元素的文字说明，即“白色的裤子”。具体的识别方法为，通过查询图像-文字映射关系表，key值为元素图像，采用精确匹配的图像检索方法。其中，关系映射表通过网络自动挖掘构建，通过该方法，可以将图像转化成为文字说明。接下来，根据获取的说明文字将其转换至语义概念层。例如将“白色的裤子”抽象成“裤子”概念，即忽略其颜色、形状或纹理等底层特征属性。
54.在一个实施例中，计算设备110可以根据所述语义元素的相对距离及共现概率，确定所述评论图像的不同的语义元素是否相关。以响应于所述语义元素与所述评论图像，则将所述语义元素组合成第二评论观点。例如，坏笑的图像或表情中可以将欢笑表情抽象出来，从而确定评论中滑稽或者负面的用户情感，从而为后续评论回复做出指引。
55.在一个实施例中，计算设备110还可以计算所述特征向量在所述特征向量空间中的相对空间位置及占比面积；基于所述相对空间位置及占比面积，从所述评论图像中识别出焦点对象；根据所述焦点对象以及与所述评论图像相关联的主题语义模型，获取与所述评论图像相关联的一个或多个评论观点；计算所获取的一个或多个评论观点与所述焦点对象之间的语义距离；以及基于最接近的语义距离，从所述一个或多个评论观点中确定第二评论观点。
56.通过识别焦点对象，可以获取一个图像对应的一个或多个评论观点。结合上下文或者背景，可以为图像确定最接近的评论观点，从而为后续步骤中提供最合适的回复。
57.在步骤208中，计算设备110配置成基于所述第一评论观点和所述第二评论观点，生成针对所述评论主体的观点回复标签。
58.在一个实施例中，观点回复标签(tag)是约束回复评论的应用环境的词的集合。基于评论观点分类模型可以将评论中的主要论点提炼出来，并且确定用户对论点的情绪。观点回复标签可以用于对相关的类似评论进行回复。
59.在步骤210中，计算设备110配置成基于所述观点回复标签以及与所述评论主体相关联的背景上下文，生成与所述评论对象对应的评论回复。
60.在一个实施例中，计算设备110可以基于隐马尔可夫模型(hiddenmarkov model，hmm)、最大熵马尔可夫模型(maximum entropymarkov model，memm)以及条件随机场(conditional random field， crf)等模型来生成与所述评论对象对应的评论回复。
61.具体地，以crf为例，crf模型所用到的评论文本中的特征主要可以包括：词特征、词性特征、实体特征和句法特征。例如：评论文本“aa篇，蛮好看的！”，其中评论主体是“aa篇”，评论观点是“蛮好看”；评论文本“我喜欢bbb”，评论主体是“bbb”，因此可能生成的评论回复为“我喜欢”。
62.在一个实施例中，计算设备110还可以基于所述观点回复标签以及与所述评论主体相关联的背景上下文生成包括评论主体、评论观点和情感倾向的评论回复。
63.例如，在上述步骤中生成的评论标签包括评论标签内容，以及该标签内容的一些属性，例如属性是类型(包括：动作词，人名，地名，书名，电影名，等)，评论标签内容是指有实际意义的词或者短语，例如专名，名词，实义动词等，例如：“x宝”“坐实恋情”，“y 仔”。
64.因此，生成的评论回复可以包括：评论标签、评论主体，评论观点以及评论的情感倾向，例如在正面的标签下，回复可以为“恋情太暖”。在上下文以及情感倾向为负面的情况下，回复可以为“太多恋情让人失望”。
65.基于人工智能构建评论回复的方法，在对外提供评论时，提高了评论的针对性、精准性以及对评论情感的控制，并且由于构建评论回复的来源丰富，覆盖面广，因此向外提供的评论也反映大多数评论意见，提升了评论回复的适用范围。
66.图3示出了根据本公开的实施例的基于第一评论观点和第二评论观点生成针对评论主体的观点回复标签的方法300的流程图。方法 300可由如图1所示的计算设备110执行，也可以在图4所示的电子设备400处执行。应当理解的是，方法300还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
67.在步骤302中，计算设备110可以将所述第一评论观点、所述第二评论观点输入至多模态融合网络层进行特征融合，获得多模态信息的特征表示。
68.在一个实施例中，计算设备110可以基于所述主题特征表示，在观点回复标签库中生成针对所述评论主体的观点回复标签。通过获取社交媒体的评论数据，所述评论数据包括文本和图像，获取所述文本的上下文词向量、目标词向量和位置词向量，将所述上下文词向量和所述位置词向量输入至多头自注意力机制进行编码，获得所述文本的上下文语义表示，将所述目标词向量和预设的主题词向量输入至双向门控循环单元进行编码，获得隐藏层状态表示，将所述图像输入至依次连接的残差网络和单层胶囊网络进行特征提取，获得图像的位置表示，将所述文本输入至lda主题模型进行主题提取，获得所述文本的主题嵌入表示，将所述上下文语义表示、所述隐藏层状态表示、所述图像的位置表示、以及所述主题嵌入表示输入至多头交互注意力机制进行编码，获得第一评论观点、第二评论观点，将所述第一评论观点、所述第二评论观点输入至多模态融合网络层进行特征融合，获得多模态信息的特征表示。
69.在步骤304中，计算设备110可以将所述多模态信息的特征表示与所述评论文本的文本的主题概率分布中每个主题的生成概率相乘并求和，从而获得主题特征表示。
70.在一个实施例中，计算设备110可以将所述多模态信息的特征表示输入至softmax分类器进行情感极性识别，获得情感分类结果。本发明通过多模态融合网络层的门控机制
对各模态对情感传递的贡献进行选择，使用主题模型自动生成文本的主题信息以及通过手工的方法标注出图像和文本的主题信息，对文本进行增强表示，从而提高了多模态情感分类的精度。
71.在步骤306中，计算设备110可以基于所述主题特征表示，在观点回复标签库中生成针对所述评论主体的观点回复标签。
72.在一个实施例中，计算设备110可以在上述步骤中所获取的多模态融合特征表示、所述主题特征表示、以及可选的平均上下文语义表示、以及所述图像特征表示组合，从而生成针对所述评论主体的观点回复标签。
73.利用以上技术手段，可以通过多模态融合层的门控机制对各模态对评论情感传递的贡献进行选择，使用主题模型自动生成评论文本的主题信息以及通过手工的方法标注出评论图像和评论文本的主题信息，对评论文本进行增强表示，从而提高了主题分类的精度。
74.图4示出了可以用来实施本公开内容的实施例的示例电子设备 400的示意性框图。例如，如图1所示的计算设备110可以由电子设备400来实施。如图所示，电子设备400包括中央处理单元(cpu) 401，其可以根据存储在只读存储器(rom)402中的计算机程序指令或者从存储单元408加载到随机存取存储器(ram)403中的计算机程序指令，来执行各种适当的动作和处理。在随机存取存储器403 中，还可存储电子设备400操作所需的各种程序和数据。中央处理单元401、只读存储器402以及随机存取存储器403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。
75.电子设备400中的多个部件连接至输入/输出接口405，包括：输入单元406，例如键盘、鼠标、麦克风等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
76.上文所描述的各个过程和处理，例如方法200、300可由中央处理单元401执行。例如，在一些实施例中，方法200、300可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元 408。在一些实施例中，计算机程序的部分或者全部可以经由只读存储器402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序被加载到随机存取存储器403并由中央处理单元401执行时，可以执行上文描述的方法200、300的一个或多个动作。
77.本公开涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本公开的各个方面的计算机可读程序指令。
78.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom 或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传
输的电信号。
79.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘计算设备。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
80.用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、 c++等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
81.这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
82.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
83.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
84.附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或
流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
85.以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
技术特征：1.一种用于生成评论回复的方法，包括：基于待回复页面中的待回复评论数据，确定评论对象；基于自然语言处理，识别所述评论对象中的评论文本的评论主体和第一评论观点；基于图像处理，识别所述评论对象中的评论图像的第二评论观点；基于所述第一评论观点和所述第二评论观点，生成针对所述评论主体的观点回复标签；以及基于所述观点回复标签以及与所述评论主体相关联的背景上下文，生成与所述评论对象对应的评论回复。2.根据权利要求1所述的方法，其中基于自然语言处理，识别所述评论对象中的评论文本的评论主体和第一评论观点包括：基于卷积神经网络模型，训练评论观点专有的嵌入词向量；采用lstm模型和所述嵌入词向量训练评论观点分类模型；以及利用所述评论观点分类模型，确定针对所述评论对象的第一评论观点。3.根据权利要求2所述的方法，其中采用lstm模型和所述嵌入词向量训练评论观点分类模型包括：针对一个或多个待回复评论数据确定一个或多个评论观点集合；对所述一个或多个评论观点集合做水平划分，使得相同时间段内的评论观点划分到相同的评论观点集合，从而根据产生评论观点的频度确定时间间隔；对相同的评论观点集合的评论观点进行预处理；采用高频词选取的方法对预处理后的评论观点获取文档特征，从而降低文档的表示维度；利用lsh局部敏感哈希函数来处理所获取的文档特征，从而获取相似度超过预定阈值的评论观点文本；以及基于相似度超过预定阈值的评论观点文本，基于lstm模型和所述嵌入词向量构建评论观点分类模型。4.根据权利要求3所述的方法，其中对相同的评论观点集合的评论观点进行预处理包括：对所述评论观点执行以下处理中的一项或多项：分词、去停用词和标签提取。5.根据权利要求1所述的方法，其中基于图像处理识别所述评论对象中的评论图像的第二评论观点包括：对所述评论图像执行预处理，从而获取核心区域图像；对所述核心区域图像执行底层特征语义提取，从而形成特征向量空间；将所述特征向量空间中的特征向量转换至用于指示语义概念的语义元素，从而获取不同的语义元素；根据所述语义元素的相对距离及共现概率，确定所述评论图像的不同的语义元素是否相关；以及响应于所述语义元素与所述评论图像相关，则将所述语义元素组合成第二评论观点。6.根据权利要求1或5所述的方法，其中基于图像处理识别所述评论对象中的评论图像的第二评论观点包括：
计算所述特征向量在所述特征向量空间中的相对空间位置及占比面积；基于所述相对空间位置及占比面积，从所述评论图像中识别出焦点对象；根据所述焦点对象以及与所述评论图像相关联的主题语义模型，获取与所述评论图像相关联的一个或多个评论观点；计算所获取的一个或多个评论观点与所述焦点对象之间的语义距离；以及基于最接近的语义距离，从所述一个或多个评论观点中确定第二评论观点。7.根据权利要求1所述的方法，其中基于所述第一评论观点和所述第二评论观点生成针对所述评论主体的观点回复标签包括：将所述第一评论观点、所述第二评论观点输入至多模态融合网络层进行特征融合，以便获得多模态信息的特征表示；将所述多模态信息的特征表示与所述评论文本的文本的主题概率分布中每个主题的生成概率相乘并求和，从而获得主题特征表示；以及基于所述主题特征表示，在观点回复标签库中生成针对所述评论主体的观点回复标签。8.根据权利要求7所述的方法，其中评论文本的主题概率分布是基于lda主题模型而生成的。9.一种计算设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。
技术总结本公开的实施例涉及一种用于生成评论回复的方法、设备和介质，其中所述方法包括：基于待回复页面中的待回复评论数据，确定评论对象；基于自然语言处理，识别所述评论对象中的评论文本的评论主体和第一评论观点；基于图像处理，识别所述评论对象中的评论图像的第二评论观点；基于所述第一评论观点和所述第二评论观点，生成针对所述评论主体的观点回复标签；以及基于所述观点回复标签以及与所述评论主体相关联的背景上下文，生成与所述评论对象对应的评论回复。应的评论回复。应的评论回复。
技术研发人员：黄正龙 张璐 陶明 张小亮 李成岭 尹顺顺
受保护的技术使用者：上海任意门科技有限公司
技术研发日：2022.05.11
技术公布日：2022/11/1
