1.本发明涉及语音识别技术领域，具体为一种多口音语音识别的具有域对抗训练的自适应注意力方法，基于多层自注意力模型、对抗训练和自适应方法的语音识别算法。
背景技术：2.自动语音识别(asr)旨在从语音中获取转录。在众多直播录制场景中取得了骄人的成绩。然而，现实世界中的语音可变性问题对asr系统提出了严峻的挑战。口音是一个典型的语音变异问题，它是由地理区域、社会群体等引起的(参考文献
1.)。不同口音的asr之间的性能差距仍然很大，在一种口音或标准语音上训练的asr系统在面对其他口音语音时会降级。因此，很难用有限的口音语音数据构建口音鲁棒系统。
3.以前的工作主要通过两种方式探索构建具有口音鲁棒性的asr系统：引入口音相关信息和生成口音无关特征。引入口音相关信息的主要思想是使用口音相关信息，例如i-vectors、口音ids或口音嵌入来管理多口音asr系统，或以多任务方式使用它。一些口音自适应网络还引入了口音相关信息(参考文献
2.)。这些架构旨在将口音信息合并到单个通用模型中，它们总是在看到的口音中取得更好的结果，而口音相关的自适应网络还可以减少训练数据和测试数据之间的不匹配。
4.为了生成与口音无关的特征，asr系统通常使声学模型的输出包含尽可能少的口音信息。对抗性训练可以有效缓解口音不匹配问题。域对抗训练(dat)是对抗训练的常用技术，它强制中间表示对于不同的口音语音是口音不变的。dat已被证明可以提高多口音asr模型的口音鲁棒性。域对抗训练(dat)(参考文献
3.)尝试从端到端(e2e)编码器(参考文献
4.)的输出中去除口音信息。但对抗训练并不能使得生成器生成的特征完全不受口音的影响，对于一些口音所生成的特征还具有很高的口音判别性，这使得生成的用于语音识别的特征对口音不够鲁棒，影响多口音语音识别的准确率。参考文献如下：
5.[1]koenecke,allison,et al."racial disparities in automated speech recognition."proceedings of the national academy of sciences 117.14(2020):7684-7689.
[0006]
[2]zhu,han,et al."multi-accent adaptation based on gate mechanism."arxiv preprint arxiv:2011.02774(2020).
[0007]
[3]ganin,yaroslav,et al."domain-adversarial training of neural networks."the journal of machine learning research 17.1(2016):2096-2030.
[0008]
[4]vaswani,ashish,et al."attention is all you need."advances in neural information processing systems 30(2017).
[0009]
kim,suyoun,takaaki hori,and shinji watanabe."joint ctc-attention based end-to-end speech recognition using multi-task learning."2017ieee international conference on acoustics,speech and signal processing(icassp).ieee,2017.
技术实现要素：[0010]
本发明为了提高多口音语音识别的准确度，提出了具有域对抗训练的自适应注意力方法(aanet)，使用域对抗训练并且进一步使用自适应方法，消除dat中残留口音信息的影响。aanet采用dat来初始化transformer编码器。实验结果表明，aanet可以进一步减少dat训练模型中的口音不匹配，可以提高许多口音的语音识别能力，尤其是提高看不见口音的性能。在aanet网络中，自适应注意力模块将编码器的输出转换为自适应特征并输入到transformer模型的解码器中，而基于注意力的适配器通过口音分类器获取口音信息。
[0011]
本发明的目的是通过以下技术方案实现的：多口音语音识别的具有域对抗训练的自适应注意力方法，包括如下步骤：
[0012]
(一)基于transformer模型的对抗训练模型：
[0013]
领域对抗训练(dat)已广泛应用于多种条件下的鲁棒asr系统，例如扬声器、噪声、口音和语言。它旨在学习一个域不变的中间潜在特征空间(对于本发明的工作来说，为口音不变的特征)。
[0014]
对抗训练策略可三个过程：优化口音分类器的参数，使其对训练数据的误差最小化；优化注意力编码器和解码器的参数以最小化asr任务的损失；同时对生成器的参数进行了优化，以最小化asr任务的损失并最大化口音分类器的损失。dat网络通过在生成器(transformer的编码器)和口音分类器(编码器后接的线性分类网络)之间应用梯度反转层，将三个训练过程嵌入到一个网络中。
[0015]
(二)口音判别性特征的提取
[0016]
口音提取器网络使用transformer-ctc模型(参考文献
[5]
)构建的，是一个基于自注意(sa)的多层编码器。本发明使用最后一个编码器的输出作为口音判别特征。对于口音分类，在最后一个编码器之后应用平均标准池化层以在t维度上池化输出，池化后，将其输入线性层以区分口音类并优化交叉熵损失。此外，使用asr下游任务训练的编码器来初始化口音分类网络的编码器，以提高口音特征的口音判别性。
[0017]
(三)自适应
[0018]
所提出的带有dat的自适应注意力方法(aanet)模型的架构基于e2e-dat架构，具有口音判别性特征提取网络和新颖的自适应注意力模块。使用多头自注意力，并使用线性层作为位置编码层，这允许网络在特定口音嵌入的不同位置共同关注来自不同表示子空间的口音信息。
[0019]
(四)训练流程
[0020]
根据分析，dat生成的特征仍然是口音判别信息。因此，本发明应用提出的自适应注意模块来进一步优化dat训练的语音识别性能。所提出模型的架构如图1(d)所示。该模型由口音提取器网络、作为域不变特征生成器的编码器、作为域鉴别器的口音分类器、梯度反向层和asr任务的解码器组成。
[0021]
(1)对口音提取器进行预训练。它用于输出稳定的口音识别嵌入；
[0022]
(2)冻结口音提取器的参数，通过dat训练e2e asr网络，直到e2e网络收敛。
[0023]
判别器中口音分类的准确率不再下降，保持在一个较低的值。
[0024]
(3)冻结口音鉴别器的参数，并应用基于注意力的方法来优化dat预训练的asr网络。
[0025]
与现有技术相比，本发明具有的优点：
[0026]
与现有技术相比，本发明提出了一种基于域对抗训练(dat)的口音自适应器，进一步消除dat中剩余口音信息的影响。
[0027]
本发明使用dat对transformer编码器进行了预训练。然后，编码器输出和口音嵌入被输入到适配器以获得自适应特征。
[0028]
本发明发现dat对每种口音的处理方式不同；大多数编码器输出包含剩余的当前口音信息；一些编码器输出包含不正确的口音信息；而少数编码器输出包含丰富的口音信息或较少的口音信息。本发明所提出的方法在有限的数据集合上进行训练，不仅使用了对抗训练进行多口音语音识别的训练，使得模型具有鲁棒性，并且在对抗训练之后，使用基于自注意力的自适应机制，对域对抗训练后编码器中残留的口音进行自适应，从而进一步提高了多口音语音识别的准确性。
附图说明
[0029]
图1为本发明所使用的所有网络架构：
[0030]
(a)dat架构的流程图；(b)提议的自适应注意力模块；(c)具有
[0031]
e2e基线的自适应注意力；(d)提议的aanet；
[0032]
图2为本发明在2020aesrc测试集合不同口音上的语音识别结果；
[0033]
图3为本发明的口音特征提取起的分类精度；
[0034]
图4为本发明训练集合不可见的口音被口音分类网络分类为可见的某种口音的概率；
[0035]
图5为本发明中dat模型(测试集)中第n个最大softmax值的口音分类精度，sn代表第n个最大的softmax；
[0036]
图6模型(测试集)中第n个最大softmax值的训练集不存在的口音精度，sn代表第n个最大的softmax。
具体实施方式
[0037]
以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0038]
(一)基于transfomer模型的对抗训练模型：
[0039]
领域对抗训练(dat)已广泛应用于多种条件下的鲁棒asr系统，例如扬声器、噪声、口音和语言。它旨在学习一个域不变的中间潜在特征空间(对于本发明的工作来说，为口音不变的特征)。本发明的语音识别领域对抗框架在图1(a)中进行了说明，它由三个主要组件组成：口音不变特征f、生成器g、输入语音特征x和参数θf；口音分类网络c、输入口音判别性特征fa和参数θa，其中输入的口音判别性特征fa由注意力解码器产生的特征f输入到t维上的池化层中，产生的均值特征f
mean
和方差特征f
std
得到：
[0040]
fa＝f
mean
+f
std
[0041]
整个训练策略分为三个过程：优化口音分类器的参数，使其对训练数据的误差最小化；优化注意力编码器和解码器的参数以最小化asr任务的损失；同时对生成器的参数进行了优化，以最小化asr任务的损失并最大化口音分类器的损失。dat网络通过在生成器和
口音分类器之间应用梯度反转层，将三个训练过程嵌入到一个网络中。
[0042]
整个流程的损失函数为：
[0043]
e(θf，θy，θc)＝l
asr
(θf，θy)-λlc(θf，θc))
[0044]
其中θf，θy，θc，分别是生成器g，解码器d，口音分类器c的权重矩阵；l
asr
为transformer模型的损失函数，lc是口音分类模型的损失函数：
[0045]
l
asr
＝(1-γ)l
att
+γl
ctc
[0046]
其中l
att
为注意力的损失函数，l
ctc
为基于神经网络的时序类分类损失函数，γ为ctc损失函数的权重系数。
[0047]
对抗训练的优化策略为：
[0048][0049][0050]
梯度下降的规则为：
[0051][0052][0053][0054]
(二)口音判别性特征的提取
[0055]
口音提取器网络是使用transformer-ctc模型构建的，它是一个基于自注意力(sa)的多层编码器。本发明使用最后一个编码器的输出作为口音判别特征。对于口音分类，在最后一个编码器之后应用平均标准池化层以在t维度上池化输出，池化后，本发明将其输入线性层以区分口音类并优化交叉熵损失：
[0056]
le＝ce(linear(mean(va)+std(va))，v
true
)
[0057]
其中v
true
是样本的真实口音标签，va是输入的口音相关特征。
[0058]
此外，本发明还使用asr下游任务训练的编码器来初始化口音分类网络的编码器，以提高口音特征的口音判别性。
[0059]
(三)自适应注意力
[0060]
所提出的带有域对抗训练的自适应注意力方法(aanet)模型的架构基于transformer-ctc和dat架构，具有口音判别性特征提取网络和新颖的自适应注意模块。在本节中，本发明将详细描述每个模块并说明aanet的相应训练策略。
[0061]
自适应注意力模块的架构如图1(b)和图1(c)，分布描述了自适应注意力方法在简单的e2e网络中使用时的结构。自适应模块在下文中称为a
att
。将编码器输出表示为f，va是该样本的口音音嵌入，att表示注意力和位置层网络，其参数为θa。
[0062]
整个适应过程描述为如下公式：
[0063][0064]
其中
⊙
表示元素级积，att(va,θa)表示注意力网络。
[0065]
特别地，本发明使用多头自注意力，并使用线性层作为位置编码层，这允许网络在特定口音嵌入的不同位置共同关注来自不同表示子空间的口音信息。
[0066]
(四)训练流程
[0067]
根据分析，dat生成的特征仍然是口音判别信息。因此，本发明应用提出的自适应注意力模块来进一步优化dat训练的语音识别性能。所提出模型的架构如图1(d)所示。该模型由口音提取器网络、作为域不变特征生成器的编码器、作为域鉴别器的口音分类器、梯度反向层和asr任务的解码器组成。
[0068]
(1)对口音提取器进行预训练。它用于输出稳定的口音识别嵌入；
[0069]
(2)冻结口音提取器的参数，通过dat训练e2e asr网络，直到e2e网络收敛。
[0070]
判别器中口音分类的准确率不再下降，保持在一个较低的值；
[0071]
(3)冻结口音鉴别器的参数，并应用基于注意力的方法来优化dat预训练的asr网络。
[0072]
图2为本发明在2020aesrc测试集合不同口音上的语音识别结果；
[0073]
图3为本发明的口音特征提取起的分类精度；
[0074]
图4为本发明训练集合不可见的口音被口音分类网络分类为可见的某种口音的概率；
[0075]
图5为本发明中dat模型(测试集)中第n个最大softmax值的口音分类精度，sn代表第n个最大的softmax；
[0076]
图6模型(测试集)中第n个最大softmax值的训练集不存在的口音精度，sn代表第n个最大的softmax。
技术特征：1.多口音语音识别的具有域对抗训练的自适应注意力方法，其特征在于，包括如下步骤(1)训练基于transformer的对抗训练语音识别网络：首先使用对抗训练进行transformer模型的预训练，领域对抗训练通过使用梯度翻转层，同时优化生成器和分类器，最小化语音识别和口音分类的损失，使得生成器和分类器优化目标对抗，促进生成器生成更有泛化性的特征；(2)训练口音分类网络，提取口音判别性特征训练基于transformer的口音分类器，使用transformer的编码器后接线性层计算交叉熵损失来进行口音分类，并把训练好的transformer的编码器输出作为口音判别性特征，为达到更好的分类效果，该模型经过同数据集的语音识别预训练；(3)使用自适应模块进行语音识别模型的口音自适应使用dat进行预训练后，transformer编码器输出特征中仍具有一些口音的判别性，所构建的基于注意力的自适应模块，通过将输入的语音同时也输入到口音分类网络中，提取口音判别性特征，随后将判别性特征输入到自适应模块里，通过权重计算与主体网络的编码器输出特征融合以达到自适应的目的。2.根据权利要求1所述的多口音语音识别的具有域对抗训练的自适应注意力方法，其特征在于，步骤(1)中，使用dat预训练transformer语音识别网络，dat网络通过在生成器和口音分类器之间应用梯度反转层，将三个训练过程嵌入到一个网络中，同时最小化asr任务的损失并最大化口音分类器的损失。3.根据权利要求1所述的多口音语音识别的具有域对抗训练的自适应注意力方法，其特征在于，步骤(2)中，使用语音识别预训练transformer，并使用此transformer的编码器后接线性层计算交叉熵损失来进行口音分类，用编码器的特征作为口音判别性特征。4.根据权利要求1所述的多口音语音识别的具有域对抗训练的自适应注意力方法，其特征在于，步骤(3)中，具体步骤如下：(1)对口音提取器进行预训练，用于输出稳定的用于口音判别性特征；(2)冻结口音提取器的参数，通过dat训练端到端的asr网络，直到e2e网络收敛，判别器中口音分类的准确率不再下降，保持在一个较低的值；dat整个流程的损失函数为：e(θ
f
，θ
y
，θ
c
)＝l
asr
(θ
f
，θ
y
)-λ
lc
(θ
f
，θ
c
))其中：θ
f
，θ
y
，θ
c
，分别是生成器g，解码器d，口音分类器c的权重矩阵；l
asr
为transformer模型的损失函数，lc是口音分类模型的损失函数：l
asr
＝(1-γ)l
att
+γl
ctc
其中：l
att
为注意力的损失函数，l
ctc
为基于神经网络的时序类分类损失函数，γ为ctc损失函数的权重系数；其优化策略为：(3)冻结口音鉴别器的参数，并应用基于注意力的方法来优化dat预训练的语音识别模
型的识别效果，整个适应过程描述为如下公式：其中：
⊙
表示元素级积，att(v
a
,θ
a
)表示注意力网络；使用多头自注意力，并使用线性层作为位置编码层，这允许网络在特定口音嵌入的不同位置共同关注来自不同表示子空间的口音信息。
技术总结本发明公开多口音语音识别的具有域对抗训练的自适应注意力方法。首先建立基于Transformer的对抗端到端网络，使用细分类的领域对抗训练对模型进行预训练，使模型具有更好的口音鲁棒性，产生口音鲁棒的语音识别特征；通过外部口音分类网络提取每条语音的口音判别性特征；建立基于自注意力机制的自适应模块，加载用对抗训练预训练好的Transformer模型，将生成器生成的特征和使用口音分类网络提取的口音特征一同输入到自适应模块中进生成的自适应特征输入到解码器中，推理时加载口音特征提取网络、自适应模块和语音识别网络。本发明提高多口音语音识别性能。此外，所提出的方法对看不见的口音有很好的性能提升。方法对看不见的口音有很好的性能提升。方法对看不见的口音有很好的性能提升。
技术研发人员：杨颜冰 王龙标 侯庆志
受保护的技术使用者：天津大学
技术研发日：2022.06.24
技术公布日：2022/11/1
