1.本发明涉及自然语言处理技术领域,尤其涉及的是多语言翻译系统的持续学习方法、装置、终端及存储介质。
背景技术:2.在自然语言处理领域,基于大规模数据训练的多语言翻译模型如m2m100,已经具备强大的多对多的机器翻译能力,即一个模型同时支持多个方向的翻译。然而,现实的翻译系统如百度翻译、google翻译仍是一项复杂的系统工程,包括繁琐重复的数据收集整理、离线训练多个双语言翻译模型、在线部署多个双语言翻译模型过程,需要大量的规则处理、系统工程和人工参与,缺乏人机协作和持续学习的能力。
3.人机协作是指将用户和系统置于同等的地位,用户和系统均做为信息的提供者和接收者,抛弃传统的用户被动接收信息的范式,增强用户的参与度和对系统的影响力,通过人和机器系统的双向交互和相互促进,在人机交互的过程中不断提升系统的可用性。然而,目前翻译系统中的人机交互通常是单向的、简单的,翻译系统单向的用户输出翻译结果,不关注用户对结果的反馈、用户反馈的响应,无法利用人机协作的反馈过程提升翻译系统的性能。
4.持续学习指模型持续学习新任务或者新知识的能力,在实际场景中数据通常不是一次性获得的而是边服务边产生的,这就要求系统能高效从这种流式数据中进行持续学习以扩充能力和增强性能。然而,目前的翻译系统通常采用数据收集、模型离线训练、模型在线部署的流程范式,在这种范式条件下为了扩充模型的能力就不得不需要重新收集数据并设计新的模型进行重新的离线训练,无法自动持续的进行持续学习以扩展翻译模型的能力和性能,效率低实时性差。
5.因此,现有技术还有待改进。
技术实现要素:6.本发明要解决的技术问题在于,针对现有技术缺陷,本发明提供一种多语言翻译系统的持续学习方法、装置、终端及存储介质,以解决现有的翻译系统因无法持续学习而导致效率低实时性差的技术问题。
7.本发明解决技术问题所采用的技术方案如下:
8.第一方面,本发明提供一种多语言翻译系统的持续学习方法,包括:
9.获取输入的翻译请求,并根据预先设置的处理策略对所述翻译请求进行预处理,得到处理后的翻译请求;
10.根据所述处理后的翻译请求分发对应的翻译模型,并通过所述翻译模型对所述处理后的翻译请求进行翻译推理,输出翻译结果;
11.根据所述翻译结果进行置信度评估,并根据置信度评估结果触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧;
12.接收所述在线专家或所述其他用户侧反馈的翻译参考答案,激励所述翻译模型对反馈的翻译参考答案进行答案融合;
13.接收所述其他用户侧反馈的翻译结果评分,并根据所述翻译结果评分及反馈的翻译参考答案对所述翻译模型进行持续学习,以扩充所述翻译模型的翻译分析数据和持续学习数据。
14.在一种实现方式中,所述获取输入的翻译请求,并根据预先设置的处理策略对所述翻译请求进行预处理,得到处理后的翻译请求,包括:
15.获取输入的翻译请求;
16.根据所述预先设置的处理策略对所述翻译请求进行语种检测、去异常字符以及大小写转换处理,得到所述处理后的翻译请求。
17.在一种实现方式中,所述根据所述处理后的翻译请求分发对应的翻译模型,并通过所述翻译模型对所述处理后的翻译请求进行翻译推理,输出翻译结果,包括:
18.根据所述处理后的翻译请求的语种检测结果匹配及分发对应的翻译模型;
19.根据所述翻译模型对应的翻译分析数据对所述处理后的翻译请求进行翻译推理,输出翻译结果。
20.在一种实现方式中,所述根据所述翻译结果进行置信度评估,并根据置信度评估结果触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧,包括:
21.将所述翻译结果及所述处理后的翻译请求输入至自评估模型;
22.通过所述自评估模型对所述翻译结果进行置信度评估,得到置信度评估得分;
23.根据所述置信度评估得分触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧。
24.在一种实现方式中,所述根据所述置信度评估得分触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧,包括:
25.判断所述置信度评估得分是否低于预设阈值;
26.若所述置信度评估得分低于所述预设阈值,则触发所述请你翻译模式,并将所述处理后的翻译请求调度至在线专家或其他用户侧。
27.在一种实现方式中,所述接收所述在线专家或所述其他用户侧反馈的翻译参考答案,激励所述翻译模型对反馈的翻译参考答案进行答案融合,包括:
28.接收所述在线专家或所述其他用户侧反馈的翻译参考答案;
29.将所述翻译参考答案及所述处理后的翻译请求输入至所述翻译模型,进行融合翻译推理,得到融合后的翻译结果。
30.在一种实现方式中,所述将所述翻译参考答案及所述处理后的翻译请求输入至所述翻译模型,进行融合翻译推理,之后还包括:
31.对所述融合后的翻译结果进行语种检测、去异常字符以及大小写转换处理,并对处理后的翻译结果按照置信度评估得分进行排序;
32.将排序后的翻译结果发送至所述其他用户侧。
33.在一种实现方式中,所述接收所述其他用户侧反馈的翻译结果评分,并根据所述翻译结果评分及反馈的翻译参考答案对所述翻译模型进行持续学习,包括:
34.接收所述其他用户侧反馈的翻译结果评分;
35.根据所述翻译结果评分及反馈的翻译参考答案输入至持续学习算法,通过所述持续学习算法对所述翻译模型进行翻译数据增强学习、语种扩展学习以及翻译领域增强学习的操作。
36.在一种实现方式中,所述接收所述其他用户侧反馈的翻译结果评分,并根据所述翻译结果评分及反馈的翻译参考答案对所述翻译模型进行持续学习,之后包括:
37.以一定时间间隔为周期获取数据源;
38.对所述数据源进行聚类、评估、清洗以及挖掘操作,以挖掘所述数据源中满足条件的语料数据;
39.将所述语料数据分发调度至所述在线专家或所述其他用户侧,以更新所述在线专家或所述其他用户侧的翻译数据库。
40.在一种实现方式中,所述方法还包括:
41.通过正则化、参数隔离以及数据回放的持续学习技术对所述翻译模型进行持续训练;
42.对所述翻译模型进行持续的翻译质量评估,根据翻译质量评估结果进行持续学习的策略调整,并生成及部署调整后的翻译模型。
43.第二方面,本发明提供一种多语言翻译系统的持续学习装置,包括:
44.预处理模块,用于获取输入的翻译请求,并根据预先设置的处理策略对所述翻译请求进行预处理,得到处理后的翻译请求;
45.翻译推理模块,用于根据所述处理后的翻译请求分发对应的翻译模型,并通过所述翻译模型对所述处理后的翻译请求进行翻译推理,输出翻译结果;
46.置信度评估模块,用于根据所述翻译结果进行置信度评估,并根据置信度评估结果触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧;
47.翻译融合模块,用于接收所述在线专家或所述其他用户侧反馈的翻译参考答案,激励所述翻译模型对反馈的翻译参考答案进行答案融合;
48.持续学习模块,用于接收所述其他用户侧反馈的翻译结果评分,并根据所述翻译结果评分及反馈的翻译参考答案对所述翻译模型进行持续学习,以扩充所述翻译模型的翻译分析数据和持续学习数据。
49.第三方面,本发明提供一种终端,包括:处理器以及存储器,所述存储器存储有多语言翻译系统的持续学习程序,所述多语言翻译系统的持续学习程序被所述处理器执行时用于实现如第一方面所述的多语言翻译系统的持续学习方法的操作。
50.第四方面,本发明还提供一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质存储有多语言翻译系统的持续学习程序,所述多语言翻译系统的持续学习程序被处理器执行时用于实现如第一方面所述的多语言翻译系统的持续学习方法的操作。
51.本发明采用上述技术方案具有以下效果:
52.本发明通过反馈打分和请你翻译的人机协作方式,增强用户和翻译系统的双向交互和影响,提升翻译系统的可用性;并且,基于持续学习的方式持续增强翻译系统的能力和性能,智能推动翻译系统不断适应真实世界并持续演进,从而将人机协作和持续学习联系起来,利用人机协作产生的数据作为翻译模型持续学习的数据,使得翻译模型不再是系统中一次训练和一直使用的静态组件,而是随着翻译系统与用户在内的外部世界的持续交互
而不断学习的过程,并在此过程中人类智能与机器智能相互赋能持续提升,动态提升了翻译系统的翻译性能。
附图说明
53.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图示出的结构获得其他的附图。
54.图1是本发明的一种实现方式中多语言翻译系统的持续学习方法的流程图。
55.图2是本发明的一种实现方式中多语言翻译系统的整体框架示意图。
56.图3是本发明的一种实现方式中持续学习原理框图。
57.图4是本发明的一种实现方式中终端的功能原理图。
58.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
59.为使本发明的目的、技术方案及优点更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
60.示例性方法
61.目前的翻译系统通常采用数据收集、模型离线训练、模型在线部署的流程范式,在这种范式条件下为了扩充模型的能力就不得不需要重新收集数据并设计新的模型进行重新的离线训练,无法自动持续的进行持续学习以扩展翻译模型的能力和性能,效率低实时性差。
62.针对上述技术问题,本实施例中提供了一种多语言翻译系统的持续学习方法,通过反馈打分和请你翻译的人机协作方式,增强用户和翻译系统的双向交互和影响,提升翻译系统的可用性;并且,基于持续学习的方式持续增强翻译系统的能力和性能,智能推动翻译系统不断适应真实世界并持续演进,从而将人机协作和持续学习联系起来,利用人机协作产生的数据作为翻译模型持续学习的数据,使得翻译模型不再是系统中一次训练和一直使用的静态组件,而是随着翻译系统与用户在内的外部世界的持续交互而不断学习的过程,并在此过程中人类智能与机器智能相互赋能持续提升,动态提升了翻译系统的翻译性能。
63.如图1所示,本发明实施例提供一种多语言翻译系统的持续学习方法,包括以下步骤:
64.步骤s100,获取输入的翻译请求,并根据预先设置的处理策略对所述翻译请求进行预处理,得到处理后的翻译请求。
65.在本实施例中,所述多语言翻译系统的持续学习方法应用于终端上,所述终端包括但不限于:计算机等设备。
66.当前的多语言翻译翻译系统需要复杂的系统工程来不断提升翻译系统的能力,高价且低效,也无法满足用户的人机协作个性化需求。本实施例中基于现有的多语言翻译翻
译系统,采用人机协作和持续学习的方式,一方面能增强用户的参与度和对系统的影响力来提升系统的可用性,另一方面人机协作过程中产生的流式数据可以用于多语言翻译模型的持续学习以扩充能力和增强性能。因此,本实施例中设计有效的人机协作和持续学习方案用于多语言翻译系统能极大的提升系统的可用性、提升系统的演进效率和降低人工成本。
67.在本实施例中,通过反馈打分和请你翻译的人机协作增强用户和翻译系统的双向交互和影响,人机协作过程产生的流式数据进一步用于多语言翻译模型的持续学习,从而实现翻译系统与用户的持续交互而不断学习。
68.具体地,在本实施例的一种实现方式中,步骤s100包括以下步骤:
69.步骤s101,获取输入的翻译请求;
70.步骤s102,根据所述预先设置的处理策略对所述翻译请求进行语种检测、去异常字符以及大小写转换处理,得到所述处理后的翻译请求。
71.如图2所示,在本实施例中,在基于人机协作持续学习的多语言翻译系统中,整体框架由翻译系统、翻译模型、数据仓库、处理策略组成;其中,翻译系统包括人机协作和多语言翻译两部分;翻译模型包括持续学习和模型簇两部分;数据仓库包括人机协作日志、数据处理、持续演进三部分;处理策略包括分发、预处理、后处理、融合排序四部分。
72.在本实施例中,翻译系统向用户提供多语言翻译服务,基于反馈打分和请你翻译的人机协作方式,增强用户和翻译系统的双向交互和影响,提升翻译系统的可用性;在翻译系统中,用户可以输入想要翻译的语句,从而在翻译系统中形成翻译请求;而翻译系统则获取用户输入的翻译请求,并且根据预先设置的处理策略对翻译请求进行语种检测、去异常字符以及大小写转换等预处理,从而得到符合系统翻译规则的翻译请求。
73.如图1所示,在本发明实施例的一种实现方式中,多语言翻译系统的持续学习方法还包括以下步骤:
74.步骤s200,根据所述处理后的翻译请求分发对应的翻译模型,并通过所述翻译模型对所述处理后的翻译请求进行翻译推理,输出翻译结果。
75.在本实施例中,多语言翻译系统的翻译过程涉及智能模型、用户、专家的多方参与和实时交互,用户和系统均做为信息的提供者和接收者,抛弃传统的用户被动接收信息的范式,增强用户的参与度和对系统的影响力,通过人和机器系统的双向交互和相互促进,在人机交互的过程不断提升系统的可用性。
76.具体地,在本实施例的一种实现方式中,步骤s200包括以下步骤:
77.步骤s201,根据所述处理后的翻译请求的语种检测结果匹配及分发对应的翻译模型;
78.步骤s202,根据所述翻译模型对应的翻译分析数据对所述处理后的翻译请求进行翻译推理,输出翻译结果。
79.在本实施例中,翻译工作是由翻译模型实现,翻译模型是进行翻译推理的智能体,基于持续学习支撑的模型簇向上提供翻译推理服务。模型簇由一系列不同特性的多语种翻译模型组成,不同模型的差异主要是语种支持度、翻译方向侧重度、模型参数规模、推理效率等方面,所有的模型均支持持续学习动态扩充能力和增强性能。持续学习一组支持翻译模型进行持续学习的算法和策略组件,包括数据增强学习、语种扩展、领域增强学习等。
80.在翻译模型的翻译过程中,先由翻译系统根据处理后的翻译请求的语种检测结果匹配及分发对应的翻译模型,然后,根据翻译模型对应的翻译分析数据对处理后的翻译请求进行翻译推理,输出翻译结果;在翻译模型的整个翻译过程中,所应用的翻译分析数据为数据仓库中的数据。
81.可以理解的是,数据仓库中的数据可以是初次发布时的数据,也可以是上一轮人机交互学习过程中得到的数据;也就是说,本实施例中的数据仓库是支撑翻译模型持续学习的数据源,基于人机协作过程中产生的数据源源不断的提供持续演进的可供翻译模型持续学习的数据。在多方参与人机协作中产生的数据如翻译请求、模型翻译结果、用户翻译修改等被用于持续数据构造。
82.如图1所示,在本发明实施例的一种实现方式中,多语言翻译系统的持续学习方法还包括以下步骤:
83.步骤s300,根据所述翻译结果进行置信度评估,并根据置信度评估结果触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧。
84.在本实施例中,翻译模型的数据处理的过程是对人机协作进行聚类、评估、清洗、挖掘等操作以挖掘有价值的语料数据。持续演进对数据处理后的数据进行智能标注、过滤、更新以形成可供翻译模型持续学习的持续演进数据仓库,其中智能标注会触发人机协作的请你翻译流程,将模型翻译结果和用户翻译修改置信度均低于一定阈值的数据智能调度到在线的专家或者用户请求提供的翻译标注。
85.具体地,在本实施例的一种实现方式中,步骤s300包括以下步骤:
86.步骤s301,将所述翻译结果及所述处理后的翻译请求输入至自评估模型;
87.步骤s302,通过所述自评估模型对所述翻译结果进行置信度评估,得到置信度评估得分;
88.步骤s303,根据所述置信度评估得分触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧。
89.在本实施例中,翻译模型针对翻译请求进行翻译推理,输出翻译结果,同时对翻译结果进行自动的置信度评估,如果翻译结果置信度低于一定的阈值则触发请你翻译流程,将翻译请求智能调度到在线的专家或者其他用户侧请求提供实时的翻译参考答案,激励翻译模型对参考答案进行融合以提升翻译推理的性能。
90.具体地,在本实施例的一种实现方式中,步骤s303包括以下步骤:
91.步骤s303a,判断所述置信度评估得分是否低于预设阈值;
92.步骤s303b,若所述置信度评估得分低于所述预设阈值,则触发所述请你翻译模式,并将所述处理后的翻译请求调度至在线专家或其他用户侧。
93.在本实施例中,通过预先设置的已经训练好的一个自动评估打分模型(即自评估模型)进行置信度评估,在该自动评估打分模型中,输入为翻译请求文本和翻译结果文本对,输出为对应得分(0至1分),通过判断置信度评估得分是否低于预设阈值(例如,预设阈值为0.85分),即可根据判断结果触发请你翻译模式;具体为,若置信度评估得分低于所述预设阈值,则触发请你翻译模式,并将翻译请求调度至在线专家或其他用户侧,以请求在线专家或其他用户侧提供实时的翻译参考答案,激励翻译模型对参考答案进行融合以提升翻译推理的性能。
94.如图1所示,在本发明实施例的一种实现方式中,多语言翻译系统的持续学习方法还包括以下步骤:
95.步骤s400,接收所述在线专家或所述其他用户侧反馈的翻译参考答案,激励所述翻译模型对反馈的翻译参考答案进行答案融合。
96.在本实施例中,基于多方参与的反馈打分和请你翻译的人机协作,通过用户、在线专家、翻译系统多方的智能交互过程,对翻译过程进行翻译、反馈、打分、修改、评估,构建一个基于智能交互的人机协作的高可用高性能翻译系统。
97.具体地,在本实施例的一种实现方式中,步骤s400包括以下步骤:
98.步骤s401,接收所述在线专家或所述其他用户侧反馈的翻译参考答案;
99.步骤s402,将所述翻译参考答案及所述处理后的翻译请求输入至所述翻译模型,进行融合翻译推理,得到融合后的翻译结果;
100.步骤s403,对所述融合后的翻译结果进行语种检测、去异常字符以及大小写转换处理,并对处理后的翻译结果按照置信度评估得分进行排序;
101.步骤s404,将排序后的翻译结果发送至所述其他用户侧。
102.在本实施例中,在得到用户反馈的翻译参考答案后,将翻译参考答案及处理后的翻译请求输入至翻译模型,进行融合翻译推理,得到融合后的翻译结果;在翻译模型融合的过程中,翻译模型支持带参考答案的翻译推理以提升翻译质量,融合时即将参考答案与翻译请求文本一起输入翻译模型进行翻译推理,如果有多个翻译模型产生输出翻译结果,则对多个翻译结果进行融合排序决策输出最终翻译结果;然后,对融合后的翻译结果进行语种检测、去异常字符以及大小写转换处理,并对处理后的翻译结果按照置信度评估得分进行排序;最后,将排序后的翻译结果发送至其他用户侧,以通过其他用户侧进行评分或修正。
103.在本实施例的一种实现方式中,反馈过分是用户和翻译系统间的一种双向的反馈交互过程。首先,翻译系统对用户的翻译请求反馈出翻译结果和翻译结果的置信度。其次,用户对翻译结果打分并修正后反馈给翻译系统。最后,翻译系统对用户修正的结果进行自动评估打分并反馈给用户,同时将用户反馈的结果存入日志用于分析和持续数据构造。整个过程涉及用户和翻译系统的实时参与和交互,用户和系统均做为信息的提供者和接收者,抛弃传统的用户被动接收信息的范式,增强用户的参与度和对系统的影响力,通过人和机器系统的双向交互和相互促进,在人机交互的过程不断提升系统的可用性。
104.请你翻译的人机协作过程主要表现在两方面,其一是在翻译过程中辅助翻译模型的在线翻译推理,其二是支持数据持续构造中的智能标注过程。辅助翻译模型的在线推理是当翻译模型的翻译结果评估打分置信度低于一定的阈值时,将翻译请求智能调度到在线的专家或者其他用户侧请求提供实时的翻译参考答案,激励翻译模型对参考答案进行融合以提升翻译推理的性能。支持数据持续构造中的智能标注过程是当基于翻译模型的自动标注结果的评估打分置信度低于一定的阈值时通过在线用户和专家的请你翻译过程对自动标注结果进行进一步修正,以提升语料数据的标注质量。
105.如图1所示,在本发明实施例的一种实现方式中,多语言翻译系统的持续学习方法还包括以下步骤:
106.步骤s500,接收所述其他用户侧反馈的翻译结果评分,并根据所述翻译结果评分
及反馈的翻译参考答案对所述翻译模型进行持续学习,以扩充所述翻译模型的翻译分析数据和持续学习数据。
107.在本实施例中,翻译模型输出的翻译结果经过处理策略模块处理后提交给用户,用户可以对翻译结果打分并且可以修正提交,系统会对用户修正的结果进行自动评估打分并反馈给用户,反馈的结果会被存入日志用于分析和持续数据构造。
108.具体地,在本实施例的一种实现方式中,步骤s500包括以下步骤:
109.步骤s501,接收所述其他用户侧反馈的翻译结果评分;
110.步骤s502,根据所述翻译结果评分及反馈的翻译参考答案输入至持续学习算法,通过所述持续学习算法对所述翻译模型进行翻译数据增强学习、语种扩展学习以及翻译领域增强学习的操作。
111.在本实施例中,可以根据翻译结果评分及反馈的翻译参考答案对翻译模型进行持续学习,持续学习模块为一组支持翻译模型进行持续学习的算法和策略组件,通过持续学习算法对翻译模型进行翻译数据增强学习、语种扩展学习以及翻译领域增强学习的操作;数据增强学习是指翻译数据扩充的过程,数据增强是数据增量的学习,领域增强学习是指领域增量的学习。
112.具体地,在本实施例的一种实现方式中,步骤s502之后还包括以下步骤:
113.步骤s503,以一定时间间隔为周期获取数据源;
114.步骤s504,对所述数据源进行聚类、评估、清洗以及挖掘操作,以挖掘所述数据源中满足条件的语料数据;
115.步骤s505,将所述语料数据分发调度至所述在线专家或所述其他用户侧,以更新所述在线专家或所述其他用户侧的翻译数据库。
116.在本实施例的一种实现方式中,基于人机协作持续构造数据的持续学习,以持续学习的方式提供服务,首先根据已有数据训练一个初始模型,然后利用初始模型提供在线翻译服务,在翻译过程中通过人机协作的方式提升翻译质量,同时在线的数据经过持续的数据演化后用于以无/有监督的方式不断更新和增强模型。整体的持续学习过程的原理框图如图3所示。
117.初始翻译模型用于翻译系统的冷启动。通过数据收集与制作的方式获取初始的翻译训练数据,然后对其进行数据清洗操作以提升数据质量,主要的数据清洗操作包括快速对齐、删除源句长/目标句长大于指定阈值的句对、语种检测、删除html tags和多余空白、去重等清洗过滤操作。经过数据清洗的高质量数据做为基础数据集用于初始的多语言翻译模型的训练,得到的初始翻译模型用于翻译系统的翻译推理,并基于人机协作的持续构造数据进行持续学习不断提升其能力和性能。
118.数据持续构造是基于人机协作过程中产生的数据日志进行持续的数据构造。以一定时间间隔为周期从人机协作日志中抽出用于构造的数据源,对其进行聚类、评估、清洗、挖掘等数据清洗操作以挖掘有价值的语料数据,清洗的语料数据通过数据智能分发调度到翻译系统中在线用户和专家侧进行智能标注过程,智能标注过程会对已标注语料进行评估打分、对未标注语料进行人机协作的标注,人机协作的标注就是通过翻译模型得到一个初始的翻译结果再通过在线用户和专家的请你翻译过程进行修正,最后经过智能标注过的语料数据按照评估打分进行过滤便形成了持续构造的新数据。
119.在本发明实施例的一种实现方式中,多语言翻译系统的持续学习方法还包括以下步骤:
120.步骤s600,通过正则化、参数隔离以及数据回放的持续学习技术对所述翻译模型进行持续训练;
121.步骤s700,对所述翻译模型进行持续的翻译质量评估,根据翻译质量评估结果进行持续学习的策略调整,并生成及部署调整后的翻译模型。
122.在本实施例中,模型持续学习是基于生成的持续构造数据对翻译模型或初始翻译模型进行持续的学习以不断提升能力和性能。基于周期性持续构造的新数据,应用如正则化、参数隔离、数据回放等持续学习技术在维持模型已有能力和性能前提下进行持续训练,在训练中和训练后会对模型进行持续的翻译质量评估,基于评估的结果做持续学习的策略调整并生成用于在线部署的翻译模型。因为每次持续训练仅对新构建的数据进行训练而无需历史的全量数据,所以持续学习过程是高效快速的,无需大量的规则处理、系统工程和人工参与,提升了系统的演进效率和降低了人工成本。
123.本实施例通过上述技术方案达到以下技术效果:
124.本实施例支持翻译系统与外部世界的持续交互而不断学习。构建了多方参与的人机协作过程,通过智能交互的反馈打分增强人机的双向交互和相互促进不断提升系统的可用性,通过多方参与的请你翻译增强在线翻译模型的翻译性能和智能标注的数据质量。构建了基于人机协作持续构造数据的模型持续学习过程,对翻译模型进行自动的持续学习不断提升能力和性能。通过人类智能与机器智能相互赋能进行持续的能力和性能提升,无需大量的规则处理、系统工程和人工参与,高效且低价。
125.示例性设备
126.基于上述实施例,本发明还提供一种多语言翻译系统的持续学习装置,包括:
127.预处理模块,用于获取输入的翻译请求,并根据预先设置的处理策略对所述翻译请求进行预处理,得到处理后的翻译请求;
128.翻译推理模块,用于根据所述处理后的翻译请求分发对应的翻译模型,并通过所述翻译模型对所述处理后的翻译请求进行翻译推理,输出翻译结果;
129.置信度评估模块,用于根据所述翻译结果进行置信度评估,并根据置信度评估结果触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧;
130.翻译融合模块,用于接收所述在线专家或所述其他用户侧反馈的翻译参考答案,激励所述翻译模型对反馈的翻译参考答案进行答案融合;
131.持续学习模块,用于接收所述其他用户侧反馈的翻译结果评分,并根据所述翻译结果评分及反馈的翻译参考答案对所述翻译模型进行持续学习,以扩充所述翻译模型的翻译分析数据和持续学习数据。
132.基于上述实施例,本发明还提供一种终端,其原理框图可以如图4所示。
133.该终端包括:通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块;其中,该终端的处理器用于提供计算和控制能力;该终端的存储器包括存储介质以及内存储器;该存储介质存储有操作系统和计算机程序;该内存储器为存储介质中的操作系统和计算机程序的运行提供环境;该接口用于连接外部设备,例如,移动终端以及计算机等设备;该显示屏用于显示相应的信息;该通讯模块用于与云端服务器或移动终端进行通讯。
134.该计算机程序被处理器执行时用以实现一种多语言翻译系统的持续学习方法的操作。
135.本领域技术人员可以理解的是,图4中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的终端的限定,具体的终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
136.在一个实施例中,提供了一种终端,其中,包括:处理器和存储器,存储器存储有多语言翻译系统的持续学习程序,多语言翻译系统的持续学习程序被处理器执行时用于实现如上的多语言翻译系统的持续学习方法的操作。
137.在一个实施例中,提供了一种存储介质,其中,存储介质存储有多语言翻译系统的持续学习程序,多语言翻译系统的持续学习程序被处理器执行时用于实现如上的多语言翻译系统的持续学习方法的操作。
138.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,计算机程序可存储于一非易失性存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。
139.综上,本发明提供了一种多语言翻译系统的持续学习方法、装置、终端及存储介质,方法包括:根据处理策略对翻译请求进行预处理;根据处理后的翻译请求分发对应的翻译模型,并通过翻译模型对处理后的翻译请求进行翻译推理;根据翻译结果进行置信度评估,并根据置信度评估结果触发请你翻译模式,将处理后的翻译请求调度至在线专家或其他用户侧;接收在线专家或其他用户侧反馈的翻译参考答案,激励翻译模型对反馈的翻译参考答案进行答案融合;接收其他用户侧反馈的翻译结果评分,并根据翻译结果评分及反馈的翻译参考答案对翻译模型进行持续学习,以扩充翻译模型的翻译分析数据和持续学习数据。本发明通过反馈打分和请你翻译的人机协作提高系统翻译性能。
140.应当理解的是,本发明的应用不限于上述的举例,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,所有这些改进和变换都应属于本发明所附权利要求的保护范围。
技术特征:1.一种多语言翻译系统的持续学习方法,其特征在于,包括:获取输入的翻译请求,并根据预先设置的处理策略对所述翻译请求进行预处理,得到处理后的翻译请求;根据所述处理后的翻译请求分发对应的翻译模型,并通过所述翻译模型对所述处理后的翻译请求进行翻译推理,输出翻译结果;根据所述翻译结果进行置信度评估,并根据置信度评估结果触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧;接收所述在线专家或所述其他用户侧反馈的翻译参考答案,激励所述翻译模型对反馈的翻译参考答案进行答案融合;接收所述其他用户侧反馈的翻译结果评分,并根据所述翻译结果评分及反馈的翻译参考答案对所述翻译模型进行持续学习,以扩充所述翻译模型的翻译分析数据和持续学习数据。2.根据权利要求1所述的多语言翻译系统的持续学习方法,其特征在于,所述获取输入的翻译请求,并根据预先设置的处理策略对所述翻译请求进行预处理,得到处理后的翻译请求,包括:获取输入的翻译请求;根据所述预先设置的处理策略对所述翻译请求进行语种检测、去异常字符以及大小写转换处理,得到所述处理后的翻译请求。3.根据权利要求1所述的多语言翻译系统的持续学习方法,其特征在于,所述根据所述处理后的翻译请求分发对应的翻译模型,并通过所述翻译模型对所述处理后的翻译请求进行翻译推理,输出翻译结果,包括:根据所述处理后的翻译请求的语种检测结果匹配及分发对应的翻译模型;根据所述翻译模型对应的翻译分析数据对所述处理后的翻译请求进行翻译推理,输出翻译结果。4.根据权利要求1所述的多语言翻译系统的持续学习方法,其特征在于,所述根据所述翻译结果进行置信度评估,并根据置信度评估结果触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧,包括:将所述翻译结果及所述处理后的翻译请求输入至自评估模型;通过所述自评估模型对所述翻译结果进行置信度评估,得到置信度评估得分;根据所述置信度评估得分触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧。5.根据权利要求4所述的多语言翻译系统的持续学习方法,其特征在于,所述根据所述置信度评估得分触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧,包括:判断所述置信度评估得分是否低于预设阈值;若所述置信度评估得分低于所述预设阈值,则触发所述请你翻译模式,并将所述处理后的翻译请求调度至在线专家或其他用户侧。6.根据权利要求1所述的多语言翻译系统的持续学习方法,其特征在于,所述接收所述在线专家或所述其他用户侧反馈的翻译参考答案,激励所述翻译模型对反馈的翻译参考答
案进行答案融合,包括:接收所述在线专家或所述其他用户侧反馈的翻译参考答案;将所述翻译参考答案及所述处理后的翻译请求输入至所述翻译模型,进行融合翻译推理,得到融合后的翻译结果。7.根据权利要求6所述的多语言翻译系统的持续学习方法,其特征在于,所述将所述翻译参考答案及所述处理后的翻译请求输入至所述翻译模型,进行融合翻译推理,之后还包括:对所述融合后的翻译结果进行语种检测、去异常字符以及大小写转换处理,并对处理后的翻译结果按照置信度评估得分进行排序;将排序后的翻译结果发送至所述其他用户侧。8.根据权利要求1所述的多语言翻译系统的持续学习方法,其特征在于,所述接收所述其他用户侧反馈的翻译结果评分,并根据所述翻译结果评分及反馈的翻译参考答案对所述翻译模型进行持续学习,包括:接收所述其他用户侧反馈的翻译结果评分;根据所述翻译结果评分及反馈的翻译参考答案输入至持续学习算法,通过所述持续学习算法对所述翻译模型进行翻译数据增强学习、语种扩展学习以及翻译领域增强学习的操作。9.根据权利要求1所述的多语言翻译系统的持续学习方法,其特征在于,所述接收所述其他用户侧反馈的翻译结果评分,并根据所述翻译结果评分及反馈的翻译参考答案对所述翻译模型进行持续学习,之后包括:以一定时间间隔为周期获取数据源;对所述数据源进行聚类、评估、清洗以及挖掘操作,以挖掘所述数据源中满足条件的语料数据;将所述语料数据分发调度至所述在线专家或所述其他用户侧,以更新所述在线专家或所述其他用户侧的翻译数据库。10.根据权利要求1所述的多语言翻译系统的持续学习方法,其特征在于,所述方法还包括:通过正则化、参数隔离以及数据回放的持续学习技术对所述翻译模型进行持续训练;对所述翻译模型进行持续的翻译质量评估,根据翻译质量评估结果进行持续学习的策略调整,并生成及部署调整后的翻译模型。11.一种多语言翻译系统的持续学习装置,其特征在于,包括:预处理模块,用于获取输入的翻译请求,并根据预先设置的处理策略对所述翻译请求进行预处理,得到处理后的翻译请求;翻译推理模块,用于根据所述处理后的翻译请求分发对应的翻译模型,并通过所述翻译模型对所述处理后的翻译请求进行翻译推理,输出翻译结果;置信度评估模块,用于根据所述翻译结果进行置信度评估,并根据置信度评估结果触发请你翻译模式,将所述处理后的翻译请求调度至在线专家或其他用户侧;翻译融合模块,用于接收所述在线专家或所述其他用户侧反馈的翻译参考答案,激励所述翻译模型对反馈的翻译参考答案进行答案融合;
持续学习模块,用于接收所述其他用户侧反馈的翻译结果评分,并根据所述翻译结果评分及反馈的翻译参考答案对所述翻译模型进行持续学习,以扩充所述翻译模型的翻译分析数据和持续学习数据。12.一种终端,其特征在于,包括:处理器以及存储器,所述存储器存储有多语言翻译系统的持续学习程序,所述多语言翻译系统的持续学习程序被所述处理器执行时用于实现如权利要求1-10中任意一项所述的多语言翻译系统的持续学习方法的操作。13.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质存储有多语言翻译系统的持续学习程序,所述多语言翻译系统的持续学习程序被处理器执行时用于实现如权利要求1-10中任意一项所述的多语言翻译系统的持续学习方法的操作。
技术总结本发明公开了一种多语言翻译系统的持续学习方法、装置、终端及存储介质,方法包括:根据处理策略对翻译请求进行预处理;根据处理后的翻译请求分发对应的翻译模型,并通过翻译模型对处理后的翻译请求进行翻译推理;根据翻译结果进行置信度评估,并根据置信度评估结果触发请你翻译模式,将处理后的翻译请求调度至在线专家或其他用户侧;接收在线专家或其他用户侧反馈的翻译参考答案,激励翻译模型对反馈的翻译参考答案进行答案融合;接收其他用户侧反馈的翻译结果评分,并根据翻译结果评分及反馈的翻译参考答案对翻译模型进行持续学习,以扩充翻译模型的翻译分析数据和持续学习数据。本发明通过反馈打分和请你翻译的人机协作提高系统翻译性能。系统翻译性能。系统翻译性能。
技术研发人员:蒋芳清 余跃 王晖 刘欣 李文龙 张叶红 张艳 李革 陶恒韬
受保护的技术使用者:鹏城实验室
技术研发日:2022.07.22
技术公布日:2022/11/1