一种基于信息瓶颈的方面级情感分析方法

专利2025-04-25  16


本发明涉及自然语言处理领域,特别是基于信息瓶颈的方面级情感分析方法,用于增强方面级情感分析模型的性能和解释性。


背景技术:

1、在当今信息化快速发展的社会背景下,自然语言处理技术作为人工智能的关键分支,在解析和理解人类语言方面取得了突破性进展。特别是在方面级情感分析这一子领域,研究者们投入了巨大精力,以期开发出能够精确捕捉文本中特定实体或属性的情感倾向的高级模型。这些模型在诸多领域扮演着至关重要的角色,包括但不限于产品评论分析、舆情监控、客户反馈处理等,它们为商业智能、公共安全评估和政策制定提供了数据支持和洞察。

2、然而,随着模型架构的日益复杂化,深度学习模型的决策过程往往变得难以捉摸,形成了所谓的“黑箱”问题。这一问题在nlp领域引起了广泛关注,尤其是在那些对模型解释性有严格要求的领域,如医疗诊断、法律分析、金融服务等,模型的决策过程不仅需要高度的准确性,更需要清晰的逻辑和透明度,以便专业人士进行复现、验证和信任。

3、ieee transactions on knowledge and data engineering(ieee知识与数据工程汇刊)2022年发表题目为:asurvey on aspect-based sentiment analysis:tasks,methods,and challenges(基于方面的情感分析调查:任务、方法和挑战),该文提供了一种新的方面级情感分析分类法,从关注的情感元素的轴线组织现有研究,特别强调了复合方面级情感分析任务的最新进展。从解决方案的角度来看,文中总结了预训练语言模型在方面级情感分析中的应用,这些模型显著提高了方面级情感分析的性能。

4、在2024年中国出版的期刊:计算机科学与探索,题目为:《基于bert的双特征融合注意力的方面情感分析模型》,作者是:李锦等,该文提出了一种双特征融合注意力方面情感分析模型(dflga-bert),解决了现有模型在上下文语境信息和方面词重要性方面的不足。通过设计局部与全局特征抽取模块,以及改进的“准”注意力机制,该模型在sentihood和semeval 2014task4数据集上表现出显著的性能提升。

5、基于梯度基础的解释方法和信息瓶颈理论,学者们围绕自然语言处理中的模型解释性进行了广泛研究,推动了神经网络模型透明度和可信度的发展。在这些研究中,发明人在实施过程中发现,尽管现有方法在确定单词重要性方面取得了进展,但在面向方面的情感分析中,它们并没有考虑到不同维度的重要性差异。具体来说,作者们在初步分析中发现,不是所有嵌入维度在完成方面级情感分析任务时都同等重要,而且关键维度在不同数据集中有所不同。这表明,尽管现有方法在许多应用中有效,但在方面级情感分析领域仍存在进一步研究的空间:

6、发明人发现对于用户情感博弈演化的方法但仍存在进一步研究的空间:

7、(1)需要开发新的方法来自动辨识和选择对情感分析任务最为关键的维度,这些方法应超越传统假设,能够根据不同数据集和上下文动态调整,以更准确地反映和解释模型的决策过程;

8、(2)研究应聚焦于如何通过信息瓶颈理论来优化模型的内在表示,这不仅能使模型的预测更加透明,理解起来更加直观,同时可能通过精简和强化特征来增强模型对情感倾向的识别能力。


技术实现思路

1、鉴于以上所述现有技术存在的问题和不足,本发明提供了一种基于信息瓶颈的方面级情感分析方法,该方法通过识别和提炼关键的内在维度来增强模型的解释力和性能。ibg方法利用信息瓶颈原理来压缩和优化词嵌入,确保在降低数据复杂性的同时,保留对情感分析任务至关重要的信息。该框架通过精炼词嵌入的内在维度,提取关键情感特征,以提高模型对文本情感倾向的识别能力。

2、为了解决上述问题,本发明采用下述技术方案:

3、本发明是一种社交网络用户情感演化的决策方法,其特点是:其具体步骤如下:

4、a、利用信息瓶颈理论,通过最大化输入与压缩表示之间的信息传递量,最小化压缩表示与输出之间的信息损失;

5、b、通过计算模型预测输出与输入特征之间的梯度,识别关键特征及其相互作用;

6、c、在情感分析任务中,利用信息瓶颈原理压缩和优化词嵌入,确保在降低数据复杂性的同时保留重要信息。

7、上述技术方案步骤(a)中所述的最小化压缩表示与输出之间的信息损失的构建,其具体步骤如下:

8、a1、利用信息瓶颈理论,通过最大化输入x与压缩表示z之间的互信息i(x;z),以确保尽可能多地保留输入信息,如公式(1)所示:

9、lmax=i(x;z)          (15)

10、其中,i(x;z)是输入x和压缩表示z之间的互信息。

11、a2、在最大化输入与压缩表示之间信息传递的同时,最小化压缩表示z与输出y之间的信息损失,如公式(2)所示:

12、lmin=-βi(z;y)          (16)

13、其中,β是平衡系数,用于控制信息压缩与保持的权衡,i(z;y)是压缩表示z和输出y之间的互信息。

14、a3、结合上述两个目标,定义总损失函数l:

15、l=i(x;z)-βi(z;y)         (17)

16、其中,l是需要优化的目标函数,通过最大化i(x;z)和最小化-βi(z;y),实现信息压缩与优化。它的具体步骤如下:

17、输入特征x的处理:

18、p(x)=输入数据的概率分布        (18)

19、根据输入数据的概率分布p(x),通过编码器q(z|x)对x进行编码,得到压缩表示z:

20、z=q(z|x)         (19)

21、压缩表示z的优化:

22、利用信息瓶颈原理,最大化i(x;z):

23、

24、其中,p(x,z)是联合概率分布,p(z|x)是条件概率分布,p(z)是边际概率分布。

25、输出y的生成:

26、通过解码器p(y|z)对z进行解码,生成输出y:

27、y=p(y|z)         (21)

28、信息损失的最小化:

29、最小化i(z;y):

30、

31、其中,p(z,y)是联合概率分布,p(y|z)是条件概率分布,p(y)是边际概率分布。

32、总目标的优化:

33、综合上述两部分,优化总损失函数l:

34、

35、上述技术方案步骤(b)中所述的计算模型预测输出与输入特征之间的梯度,其具体步骤如下:

36、b1、通过对模型的输出的y相对于输入特征x计算梯度,可以确定每个输入特征对输出的影响大小:

37、

38、其中f(x)表示模型输出,grad(f)表示梯度。

39、b2:根据计算得到的梯度值,识别出对模型输出影响最大的输入特征。具体方法可以是选择绝对值最大的前若干个特征作为关键特征,或者根据某个阈值筛选出对输出有显著影响的特征:

40、xk={xi||grad(f)i||>0}        (25)

41、其中grad(f)i|表示第i个输入特征的梯度,grad(f)是预设的阈值。

42、b3、通过分析关键特征之间的梯度关系,识别出特征之间的相互作用。可以使用二阶梯度(hessian矩阵)来衡量特征之间的相互影响:

43、

44、其中,hess(f)表示hessian矩阵,其元素hessij(f)表示输入特征之间的二阶导数。特征之间的相互作用可以通过hessian矩阵的非对角线元素来判断。

45、上述技术方案步骤(c)中利用信息瓶颈原理压缩和优化词嵌入,确保在降低数据复杂性的同时保留重要信息,其具体步骤如下:

46、c1:通过最大化输入x与压缩表示z之间的信息传递量,并最小化压缩表示z与输出y之间的信息损失,以确保模型能够在降低数据复杂性的同时,保留对情感分析任务至关重要的信息,如公式(3)所示。

47、c2:在情感分析任务中,通过信息瓶颈原理对词嵌入进行压缩与优化,确保在降低数据复杂性的同时保留重要信息。

48、首先,将输入文本数据x转换为词嵌入表示e:

49、e=embed(x)          (27)

50、其中,embed(x)表示输入文本x转换为词嵌入表示e:

51、然后,应用信息瓶颈原理对词嵌入表示e进行压缩与优化,得到压缩表示z:

52、z=compress(e)          (28)

53、c3、通过信息瓶颈原理,确保在压缩过程中保留对情感分析任务至关重要的信息。在训练过程中,调整平衡系数β以找到最佳的压缩与信息保留的平衡点。

54、与现有技术相比,本发明具有以下有益效果:

55、本发明基于信息瓶颈理论,旨在通过优化和压缩情感分析任务中的词嵌入来增强模型的解释力和性能。在现代社交网络中,用户情感的表达和传播是复杂而动态的过程,本发明提出了一种方法,通过识别和提炼关键的内在维度,确保在降低数据复杂性的同时保留对情感分析任务至关重要的信息。本发明首先利用信息瓶颈理论,通过最大化输入与压缩表示之间的信息传递量,并最小化压缩表示与输出之间的信息损失,以实现信息的优化和压缩。通过定义和优化目标函数,本发明能够有效地压缩和优化词嵌入,确保保留对情感分析任务关键的信息,同时剔除无关或冗余的信息。这种方法不仅提高了模型的性能,还增强了其解释力,使得模型能够更准确地识别和理解用户的情感表达。

56、本发明详通过计算模型预测输出与输入特征之间的梯度,本发明能够识别出对预测结果影响最大的关键特征,并揭示这些特征之间的相互作用。通过这种方式,模型可以更好地理解和解释情感分析任务中的重要特征和影响因素。在情感分析任务中,本发明进一步利用信息瓶颈原理对词嵌入进行压缩和优化。通过定义和优化目标函数,模型能够在降低数据复杂性的同时保留对情感分析任务至关重要的信息。优化后的词嵌入表示不仅提高了模型的性能,还增强了其对用户情感的理解和解释能力。

57、本发明提出的基于信息瓶颈的方面级情感分析解释方法,通过精确识别与情感分析任务密切相关的特定维度,实现模型预测精度的显著提升。该方法通过内在维度的学习和信息瓶颈机制的引入,增强了模型决策过程的透明度,从而便于研究者和实践者深入理解模型的内部工作原理和预测逻辑。此外,通过降低模型的复杂性,本发明有效减少了对计算资源的依赖,使得模型能够在资源受限的条件下得以高效部署。尤为重要的是,通过提升模型的可解释性,本发明有助于构建用户对模型预测结果的信任感,特别是在对预测可靠性要求极高的关键应用场景中,这种信任的建立对于模型的采纳和应用具有决定性意义。

58、总之,本发明方法结合了信息瓶颈理论和梯度解释框架,提供了一种高效且具有解释力的解决方案,适用于对社交网络用户情感演化过程的仿真和分析。这种方法不仅提高了情感分析任务的性能,还增强了模型的解释力,使得模型能够更好地理解和应对复杂的社交网络情感表达和传播过程。


技术特征:

1.一种基于信息瓶颈的方面级情感分析方法,其特征在于:具体步骤如下:

2.根据权利要求1所述的一种基于信息瓶颈的方面级情感分析方法,其特征在于:上述步骤(a)具体步骤如下:

3.根据权利要求1所述的一种基于信息瓶颈的方面级情感分析方法,其特征在于,上述步骤(b)具体步骤如下:

4.根据权利要求1所述的一种基于信息瓶颈的方面级情感分析方法,其特征在于,上述步骤(c)的具体步骤如下:


技术总结
本发明公开了一种基于信息瓶颈的方面级情感分析解释方法,属于自然语言处理技术领域。该方法利用信息瓶颈理论,通过最大化输入与压缩表示之间的信息传递量,最小化压缩表示与输出之间的信息损失;通过计算模型预测输出与输入特征之间的梯度,识别关键特征及其相互作用;在情感分析任务中,利用信息瓶颈原理压缩和优化词嵌入,在降低数据复杂性的同时保留重要信息。本发明方法提高了方面级情感分析任务中模型的性能和可解释性,能够更准确地识别和解释与情感相关的特征,有助于自然语言处理领域中情感分析的研究和应用。

技术研发人员:仲兆满,张丽玲,曹璐,周之尧,杨钰颖,蒋岚
受保护的技术使用者:江苏海洋大学
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-13512.html

最新回复(0)