文本分类方法、装置、非易失性存储介质及电子设备与流程

专利2026-02-18  12


本发明涉及人工智能领域,具体而言,涉及一种文本分类方法、装置、非易失性存储介质及电子设备。


背景技术:

1、随着深度学习技术的不断发展,因其出色的性能在多个领域得到了广泛应用,然而这些大模型通常包含庞大的参数数量,动辄数亿甚至数千亿,导致了显著的计算资源消耗和训练效率低下的问题。这不仅增加了模型训练和部署的成本,也限制了模型在现实场景和工业应用中的广泛使用。相关技术在训练资源有限的条件下,由于计算资源消耗与有限学习能力之间不匹配,导致文本分类的准确性不理想。

2、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本发明实施例提供了一种文本分类方法、装置、非易失性存储介质及电子设备,以至少解决相关技术中存在训练资源有限的条件下,文本分类的准确性不理想的技术问题。

2、根据本发明实施例的一个方面,提供了一种文本分类方法,包括:基于输入文本向量,输入目标模型包括的多个网络层进行处理,确定语义依赖特征,其中,所述多个网络层分别连接有自适应网络,所述自适应网络的参数量小于对应网络层的参数量,所述目标模型为采用对所述自适应网络中包括的参数进行调节的方式完成模型训练处理;采用所述目标模型中包括的分类器,对所述语义依赖特征进行处理,得到所述输入文本向量的目标分类结果。

3、可选地,所述多个网络层还分别包括对应的注意力机制模块和前馈神经网络模块,所述注意力机制模块和所述前馈神经网络模块之间通过残差模块连接,其中,所述注意力机制模块用于对所述输入文本向量中不同位置的特征进行提取,所述前馈神经网络模块用于增加对应网络层的非线性能力;按照预定替换策略,所述自适应网络通过替换对应网络层中包括的注意力机制模块,和/或前馈神经网络模块的方式,与对应网络层连接,其中,所述多个网络层分别对应设置预定替换策略。

4、可选地,所述多个网络层采用预定顺序进行叠加设置,所述基于输入文本向量,输入目标模型包括的多个网络层进行处理,确定语义依赖特征,包括:将所述输入文本向量按照所述预定顺序,依次输入所述多个网络层进行处理;将所述多个网络层中包括的前一网络层的输出特征,作为后一网络层的输入特征,得到所述多个网络层包括的最后一个网络层的输出特征,作为所述语义依赖特征,其中,所述多个网络层分别用提取不同层次的文本特征。

5、可选地,所述将所述多个网络层中包括的前一网络层的输出特征,作为后一网络层的输入特征,包括:基于所述前一网络层的输出特征进行降维处理,得到降维特征;基于所述降维特征进行非线性处理,得到非线性特征;在所述自适应网络中包括子学习模块的情况下,采用所述子学习模块,基于所述非线性特征进行特征提取,得到目标特征,其中,所述子学习模块用于增强提取特征的能力;基于所述目标特征进行升维处理,得到所述后一网络层的输入特征。

6、可选地,所述子学习模块设置为以下至少任意之一:自注意力层,卷积层,全连接层。

7、可选地,所述方法还包括:在所述自适应网络中未包括子学习模块的情况下,基于所述非线性特征进行升维处理,得到所述后一网络的输入特征。

8、可选地,所述多个网络层采用预定顺序进行叠加设置,所述多个网络层分别设置有子分类器,所述方法还包括:采用所述多个网络层分别设置的子分类器,对所述多个网络层分别生成的输出特征进行分类,得到所述多个网络层分别对应的子分类结果;按照所述预定顺序指示由前到后,确定所述多个网络层中预定数量的网络层分别对应的子分类结果之间的一致性结果;在所述一致性结果满足预定条件的情况下,停止所述多个网络层中在所述预定数量的网络层之后的网络层进行处理;基于所述预定数量的网络层分别对应的子分类结果,确定所述目标分类结果。

9、根据本发明实施例的另一方面,提供了一种文本分类装置,包括:输入模块,用于基于输入文本向量,输入目标模型包括的多个网络层进行处理,确定语义依赖特征,其中,所述多个网络层分别连接有自适应网络,所述自适应网络的参数量小于对应网络层的参数量,所述目标模型为采用对所述自适应网络中包括的参数进行调节的方式完成模型训练处理;分类模块,用于采用所述目标模型中包括的分类器,对所述语义依赖特征进行处理,得到所述输入文本向量的目标分类结果。

10、根据本发明实施例的另一方面,提供了一种非易失性存储介质,所述非易失性存储介质存储有多条指令,所述指令适于由处理器加载并执行任意一项所述的文本分类方法。

11、根据本发明实施例的另一方面,提供了一种电子设备,包括:一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现任意一项所述的文本分类方法。

12、在本发明实施例中,通过基于输入文本向量,输入目标模型包括的多个网络层进行处理,确定语义依赖特征,其中,所述多个网络层分别连接有自适应网络,所述自适应网络的参数量小于对应网络层的参数量,所述目标模型为采用对所述自适应网络中包括的参数进行调节的方式完成模型训练处理;采用所述目标模型中包括的分类器,对所述语义依赖特征进行处理,得到所述输入文本向量的目标分类结果。达到了在有限的训练资源下提高文本分类准确性的目的,实现了降低模型训练需要处理的参数量,并保持文本分类准确性的技术效果,进而解决了相关技术中存在训练资源有限的条件下,文本分类的准确性不理想的技术问题。



技术特征:

1.一种文本分类方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述多个网络层还分别包括对应的注意力机制模块和前馈神经网络模块,所述注意力机制模块和所述前馈神经网络模块之间通过残差模块连接,其中,所述注意力机制模块用于对所述输入文本向量中不同位置的特征进行提取,所述前馈神经网络模块用于增加对应网络层的非线性能力;

3.根据权利要求1所述的方法,其特征在于,所述多个网络层采用预定顺序进行叠加设置,所述基于输入文本向量,输入目标模型包括的多个网络层进行处理,确定语义依赖特征,包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述多个网络层中包括的前一网络层的输出特征,作为后一网络层的输入特征,包括:

5.根据权利要求4所述的方法,其特征在于,所述子学习模块设置为以下至少任意之一:自注意力层,卷积层,全连接层。

6.根据权利要求4所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1至6中任意一项所述的方法,其特征在于,所述多个网络层采用预定顺序进行叠加设置,所述多个网络层分别设置有子分类器,所述方法还包括:

8.一种文本分类装置,其特征在于,包括:

9.一种非易失性存储介质,其特征在于,所述非易失性存储介质存储有多条指令,所述指令适于由处理器加载并执行权利要求1至7中任意一项所述的文本分类方法。

10.一种电子设备,其特征在于,包括:一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的文本分类方法。


技术总结
本发明公开了一种文本分类方法、装置、非易失性存储介质及电子设备。其中,该方法包括:基于输入文本向量,输入目标模型包括的多个网络层进行处理,确定语义依赖特征,其中,多个网络层分别连接有自适应网络,自适应网络的参数量小于对应网络层的参数量,目标模型为采用对自适应网络中包括的参数进行调节的方式完成模型训练处理;采用目标模型中包括的分类器,对语义依赖特征进行处理,得到输入文本向量的目标分类结果。本发明解决了相关技术中存在训练资源有限的条件下,文本分类的准确性不理想的技术问题。

技术研发人员:高香香,谢巍盛,徐小龙
受保护的技术使用者:天翼电子商务有限公司
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-20010.html

最新回复(0)