1.本技术涉及智能终端
技术领域：
：，具体涉及一种数据处理方法、智能终端及存储介质。
背景技术：
：：2.随着互联网技术的不断发展，音视频以其便捷的访问体验、多样化的影片来源以及实时的更新速度吸引了广大的用户，使得音视频成为了用户生活中不可或缺的重要组成部分。字幕的出现，使音视频以一种更加直观可靠的方式帮助人们了解音视频的内容，越来越多的用户习惯了添加字幕的音视频文件。3.目前，智能终端可以通过服务器端对音频文件进行识别，然后生成对应的文字字幕，但是申请人发现在通过服务器进行识别时，为了控制网络流量常常会压缩音频采样率，导致转换效果差，并且在线处理在网络环境较差的条件下，存在延时的问题，导致字幕的显示不准确并且效率低，用户体验差。4.前面的叙述在于提供一般的背景信息，并不一定构成现有技术。技术实现要素：5.针对上述技术问题，本技术提供一种数据处理方法、智能终端及存储介质，可以提取音频并实时生成字幕，提升了字幕显示的准确性以及效率。6.为解决上述技术问题，本技术提供一种数据处理方法，可选地，应用于智能终端，包括以下步骤：7.s11：从目标数据中提取音频数据；8.s12：对所述音频数据进行识别和/或翻译，确定或生成文本信息；9.s13：对所述目标数据以及所述文本信息进行同步播放。10.可选地，所述s11包括：11.识别或确定所述目标数据中的音频流；12.将所述音频流划分为第一音频数据、第二音频数据以及第三音频数据，所述第一音频数据为目标音频数据。13.可选地，所述将所述音频流划分为第一音频数据、第二音频数据以及第三音频数据，包括：14.根据预设频率范围和/或音频特征信息，将所述音频流划分为第一音频数据、第二音频数据以及第三音频数据。15.可选地，16.所述s12包括：17.提取所述音频数据中的声纹信息，识别或确定所述声纹信息对应的目标语种；18.在所述目标语种对应的预设区域中对所述声纹信息进行匹配，确定或生成文本信息；和/或，19.所述s12之后，还包括：20.对所述文本信息进行语义分析，根据分析结果对所述文本信息进行调整。21.可选地，所述s13包括：22.提取所述音频数据的时间轴；23.识别或确定所述文本信息的显示参数；24.根据所述时间轴和所述显示参数对所述目标数据以及所述文本信息进行同步播放。25.可选地，所述识别或确定所述文本信息的显示参数，包括：26.识别或确定所述目标数据的场景信息；27.根据所述场景信息设置所述文本信息的显示参数。28.可选地，在所述s11之后，所述方法还包括：29.确定或生成所述音频数据中的预设声音；30.根据所述预设声音对所述音频数据进行降噪处理。31.可选地，所述s12包括：32.识别或确定所述音频数据对应的第一语种；33.在所述第一语种对应的数据库中对所述音频数据进行匹配，确定或生成初始文本信息；34.根据第二语种对所述第一文本信息进行翻译，确定或生成目标文本信息。35.本技术还提供一种智能终端，智能终端包括存储器、处理器，存储器上存储有数据处理程序，数据处理程序被处理器执行时实现上述任一所述数据处理方法的步骤。36.本技术还提供一种计算机可读存储介质，所述存储介质存储有数据处理程序，所述数据处理程序被处理器执行时实现如上任一所述数据处理方法的步骤。37.如上所述，本技术的数据处理方法，应用于智能终端，可以从目标数据中提取音频数据，对音频数据进行识别和/或翻译，确定或生成文本信息，对目标数据以及文本信息进行同步播放。通过本技术的技术方案可以在智能终端播放视频时自动对音频数据进行提取识别，并生成字幕与视频同步播放，提升了字幕显示的准确性以及效率。附图说明38.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。为了更清楚地说明本技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。39.图1为实现本技术各个实施例的一种智能终端的硬件结构示意图；40.图2为本技术实施例提供的一种通信网络系统架构图；41.图3为本技术实施例提供的数据处理方法的第一种流程示意图；42.图4为本技术实施例提供的数据处理方法的第一场景示意图；43.图5为本技术实施例提供的数据处理方法的第二场景示意图；44.图6为本技术实施例提供的数据处理方法的第三场景示意图；45.图7为本技术实施例提供的数据处理方法的第四场景示意图；46.图8为本技术实施例提供的数据处理方法的第二种流程示意图；47.图9为本技术实施例提供的数据处理方法的第五场景示意图；48.图10为本技术实施例提供的数据处理方法的第六场景示意图；49.图11为本技术实施例提供的数据处理方法的第三种流程示意图；50.图12为本技术实施例提供的数据处理装置的结构示意图；51.图13为本技术实施例提供的另一种数据处理装置的结构示意图。52.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为本领域技术人员说明本技术的概念。具体实施方式53.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。54.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素，此外，本技术不同实施例中具有同样命名的部件、特征、要素可能具有相同含义，也可能具有不同含义，其具体含义需以其在该具体实施例中的解释或者进一步结合该具体实施例中上下文进行确定。55.应当理解，尽管在本文可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本文范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语"如果"可以被解释成为"在……时"或"当……时"或"响应于确定"。再者，如同在本文中所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文中有相反的指示。应当进一步理解，术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组，但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。本技术使用的术语“或”、“和/或”、“包括以下至少一个”等可被解释为包括性的，或意味着任一个或任何组合。例如，“包括以下至少一个：a、b、c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a和b和c”，再如，“a、b或c”或者“a、b和/或c”意味着“以下任一个：a；b；c；a和b；a和c；b和c；a和b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时，才会出现该定义的例外。56.应该理解的是，虽然本技术实施例中的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。57.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。58.需要说明的是，在本文中，采用了诸如s11、s12等步骤代号，其目的是为了更清楚简要地表述相应内容，不构成顺序上的实质性限制，本领域技术人员在具体实施时，可能会先执行s12后执行s11等，但这些均应在本技术的保护范围之内。59.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。60.在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或者“单元”的后缀仅为了有利于本技术的说明，其本身没有特定的意义。因此，“模块”、“部件”或者“单元”可以混合地使用。61.智能终端可以以各种形式来实施。例如，本技术中描述的智能终端可以包括诸如手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理(personaldigitalassistant，pda)、便捷式媒体播放器(portablemediaplayer，pmp)、导航装置、可穿戴设备、智能手环、计步器等移动终端，在其他实施例中还可以包括诸如数字tv、台式计算机等固定终端。62.后续描述中将以移动终端为例进行说明，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本技术的实施方式的构造也能够应用于固定类型的终端。63.请参阅图1，其为实现本技术各个实施例的一种移动终端的硬件结构示意图，该移动终端100可以包括：rf(radiofrequency，射频)单元101、wifi模块102、音频输出单元103、a/v(音频/视频)输入单元104、传感器105、显示单元106、用户输入单元107、接口单元108、存储器109、处理器110、以及电源111等部件。本领域技术人员可以理解，图1中示出的移动终端结构并不构成对移动终端的限定，移动终端可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。64.下面结合图1对移动终端的各个部件进行可选地介绍：65.射频单元101可用于收发信息或通话过程中，信号的接收和发送，可选地，将基站的下行信息接收后，给处理器110处理；另外，将上行的数据发送给基站。通常，射频单元101包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元101还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于gsm(globalsystemofmobilecommunication，全球移动通讯系统)、gprs(generalpacketradioservice，通用分组无线服务)、cdma2000(codedivisionmultipleaccess2000，码分多址2000)、wcdma(widebandcodedivisionmultipleaccess,宽带码分多址)、td-scdma(timedivision-synchronouscodedivisionmultipleaccess，时分同步码分多址)、fdd-lte(frequencydivisionduplexing-longtermevolution，频分双工长期演进)、tdd-lte(timedivisionduplexing-longtermevolution，分时双工长期演进)和第五代(5thgeneration，5g)移动通信系统等。66.wifi属于短距离无线传输技术，移动终端通过wifi模块102可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了wifi模块102，但是可以理解的是，其并不属于移动终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。67.音频输出单元103可以在移动终端100处于呼叫信号接收模式、通话模式、记录模式、语音识别模式、广播接收模式等等模式下时，将射频单元101或wifi模块102接收的或者在存储器109中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元103还可以提供与移动终端100执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元103可以包括扬声器、蜂鸣器等等。68.a/v输入单元104用于接收音频或视频信号。a/v输入单元104可以包括图形处理器(graphicsprocessingunit，gpu)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元106上。经图形处理器1041处理后的图像帧可以存储在存储器109(或其它存储介质)中或者经由射频单元101或wifi模块102进行发送。麦克风1042可以在电话通话模式、记录模式、语音识别模式等等运行模式中经由麦克风1042接收声音(音频数据)，并且能够将这样的声音处理为音频数据。处理后的音频(语音)数据可以在电话通话模式的情况下转换为可经由射频单元101发送到移动通信基站的格式输出。麦克风1042可以实施各种类型的噪声消除(或抑制)算法以消除(或抑制)在接收和发送音频信号的过程中产生的噪声或者干扰。69.移动终端100还包括至少一种传感器105，比如光传感器、运动传感器以及其他传感器。可选地，光传感器包括环境光传感器及接近传感器，可选地，环境光传感器可根据环境光线的明暗来调节显示面板1061的亮度，接近传感器可在移动终端100移动到耳边时，关闭显示面板1061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。70.显示单元106用于显示由用户输入的信息或提供给用户的信息。显示单元106可包括显示面板1061，可以采用液晶显示器(liquidcrystaldisplay，lcd)、有机发光二极管(organiclight-emittingdiode,oled)等形式来配置显示面板1061。71.用户输入单元107可用于接收输入的数字或字符信息，以及产生与移动终端的用户设置以及功能控制有关的键信号输入。可选地，用户输入单元107可包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1071上或在触控面板1071附近的操作)，并根据预先设定的程式驱动相应的连接装置。触控面板1071可包括触摸检测装置和触摸控制器两个部分。可选地，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器110，并能接收处理器110发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1071。除了触控面板1071，用户输入单元107还可以包括其他输入设备1072。可选地，其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种，具体此处不做限定。72.可选地，触控面板1071可覆盖显示面板1061，当触控面板1071检测到在其上或附近的触摸操作后，传送给处理器110以确定触摸事件的类型，随后处理器110根据触摸事件的类型在显示面板1061上提供相应的视觉输出。虽然在图1中，触控面板1071与显示面板1061是作为两个独立的部件来实现移动终端的输入和输出功能，但是在某些实施例中，可以将触控面板1071与显示面板1061集成而实现移动终端的输入和输出功能，具体此处不做限定。73.接口单元108用作至少一个外部装置与移动终端100连接可以通过的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(i/o)端口、视频i/o端口、耳机端口等等。接口单元108可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到移动终端100内的一个或多个元件或者可以用于在移动终端100和外部装置之间传输数据。74.存储器109可用于存储软件程序以及各种数据。存储器109可主要包括存储程序区和存储数据区，可选地，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器109可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。75.处理器110是移动终端的控制中心，利用各种接口和线路连接整个移动终端的各个部分，通过运行或执行存储在存储器109内的软件程序和/或模块，以及调用存储在存储器109内的数据，执行移动终端的各种功能和处理数据，从而对移动终端进行整体监控。处理器110可包括一个或多个处理单元；优选的，处理器110可集成应用处理器和调制解调处理器，可选地，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器110中。76.移动终端100还可以包括给各个部件供电的电源111(比如电池)，优选的，电源111可以通过电源管理系统与处理器110逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。77.尽管图1未示出，移动终端100还可以包括蓝牙模块等，在此不再赘述。78.为了便于理解本技术实施例，下面对本技术的移动终端所基于的通信网络系统进行描述。79.请参阅图2，图2为本技术实施例提供的一种通信网络系统架构图，该通信网络系统为通用移动通信技术的lte系统，该lte系统包括依次通讯连接的ue(userequipment，用户设备)201，e-utran(evolvedumtsterrestrialradioaccessnetwork，演进式umts陆地无线接入网)202，epc(evolvedpacketcore，演进式分组核心网)203和运营商的ip业务204。80.可选地，ue201可以是上述移动终端100，此处不再赘述。81.e-utran202包括enodeb2021和其它enodeb2022等。可选地，enodeb2021可以通过回程(backhaul)(例如x2接口)与其它enodeb2022连接，enodeb2021连接到epc203，enodeb2021可以提供ue201到epc203的接入。82.epc203可以包括mme(mobilitymanagemententity，移动性管理实体)2031，hss(homesubscriberserver，归属用户服务器)2032，其它mme2033，sgw(servinggateway，服务网关)2034，pgw(pdngateway，分组数据网络网关)2035和pcrf(policyandchargingrulesfunction，政策和资费功能实体)2036等。可选地，mme2031是处理ue201和epc203之间信令的控制节点，提供承载和连接管理。hss2032用于提供一些寄存器来管理诸如归属位置寄存器(图中未示)之类的功能，并且保存有一些有关服务特征、数据速率等用户专用的信息。所有用户数据都可以通过sgw2034进行发送，pgw2035可以提供ue201的ip地址分配以及其它功能，pcrf2036是业务数据流和ip承载资源的策略与计费控制策略决策点，它为策略与计费执行功能单元(图中未示)选择及提供可用的策略和计费控制决策。83.ip业务204可以包括因特网、内联网、ims(ipmultimediasubsystem，ip多媒体子系统)或其它ip业务等。84.虽然上述以lte系统为例进行了介绍，但本领域技术人员应当知晓，本技术不仅仅适用于lte系统，也可以适用于其他无线通信系统，例如gsm、cdma2000、wcdma、td-scdma以及未来新的网络系统(如5g)等，此处不做限定。85.基于上述移动终端硬件结构以及通信网络系统，提出本技术各个实施例。86.请参阅图3，图3是本技术实施例提供的数据处理方法的第一种流程示意图。该数据处理方法的流程可以包括：87.s11、从目标数据中提取音频数据。88.本技术实施例的执行主体可以为智能终端，也可以为设置在智能终端中的数据处理装置。可选地，数据处理装置可以通过软件实现，也可以通过软件和硬件的结合实现。上述智能终端可以为智能手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobilepersonalcomputer，umpc)、上网本、个人数字助理(personaldigitalassistant，pda)等终端设备，且不限于此。89.可选地，目标数据可以为目标视频，比如视频文件或视频流，该视频文件或者视频流的来源包括但不限于：检测到下载的视频文件、对存储设备进行搜索所发现的视频文件、接收其他智能终端发送的视频文件、检测到的在线视频流(例如：直播视频流、http视频流)，当智能终端播放目标视频时可以对目标视频中的音频数据进行提取。90.可选地，在用户通过智能终端观看视频的过程中，可以选择是否开启字幕功能，比如在视频播放界面上设置一个按键模块，如图4所示，在视频播放界面右上角显示“ai”的按钮，当检测到用户点击该“ai”按钮时，确认用户开启ai字幕显示功能，则可以开始执行上述步骤s11，以使用户在观看视频的过程中通过ai识别同步显示字幕。需要说明的是，在智能终端播放视频的过程中，可以先检测当前播放的视频是否包含字幕文件，若不包含则显示上述“ai”按钮以使用户开启ai字幕显示功能，若包含则无需开启ai字幕显示功能。91.可选地，用户还可以在播放设置当中开启字幕显示功能，比如在视频播放界面右上角显示三个点的按钮，用户点击后打开播放设置，请继续参阅图5，在该播放设置中，用户可以进一步对播放速度、连续播放设置、定时播放、分屏播放以及音频进行相应的设置，还可以在该设置界面中打开字幕开关，以开启ai字幕显示功能。92.上述目标视频可以包括由多帧图像构成的视频数据和音频数据。也就是上述目标数据中按照预设封装格式封装了视频数据和音频数据。可选地，可以从封装了视频数据和音频数据的目标数据中提取出音频数据。也即对上述目标数据解复用，从上述目标视频中分离出音频数据。上述视频数据和音频数据复用相同的时间轴。在另外一些应用场景中，可以在视频预播放过程中对视频的音频内容进行录制，从而得到目标视频对应的音频数据。可以对目标视频的音频数据进行整体提取。也可以将目标视频的数据分解为多个分解数据，使用多线程同时进行各分解数据对应的音频数据提取。93.s12、对音频数据进行识别和/或翻译，确定或生成文本信息。94.可选地，上述对音频数据进行识别，生成文本信息时，可以先将音频数据与词库进行匹配，得到与音频数据对应的分类词库，然后根据所匹配的分类词库进行语音识别，以生成文本信息。可选地，该分类词库可以包括两种以上的语种分类词库，具体可以通过将音频数据与词库进行匹配可以得到与音频数据中原声语种对应语种分类词库，并可以利用该语种分类词库中的词汇进一步加快语音识别得到对应的文本信息。95.可选地，上述分类词库还可以包括两种以上的专业学科分类词库，具体可以通过将音频数据与词库进行匹配得到与音频数据中的专业学科对应专业学科分类词库，例如历史题材的音频数据可以匹配到历史专业学科分类词库，可利用该专业学科分类词库中的词汇进一步加快语音识别得到对应的文本信息。96.将音频数据通过语音识别得到对应的文本信息可以是将音频数据中的音频内容直接识别成原声对应语言的文本信息，当然，也可将音频数据中的音频内容识别成其它语言的文字。将音频数据中的音频内容识别成其它语言的文字的具体过程可以包括：获取用户选择的语言类别，将音频数据识别成原声对应语言的文本信息，然后将识别出的原声对应语言的文本信息翻译成用户所选择的用户选择的语言类别的文本信息。97.在另一实施方式中，可以通过预设语音库来对音频数据进行语音识别，得到音频数据对应的文本信息。在一些应用场景中，预设语音库可以为在本地预先存储的语音库。在该应用场景中，可以利用本地语音库对音频数据进行语音识别。在其他应用场景中，预设语音库可以为存储在远程电子设备或者云服务器中的语音库。在这些应用场景中，可以通过有线或者无线通信方式与上述电子设备或云服务器实现通信连接，并访问远程语音库，利用远程语音库对上述音频数据进行语音识别。98.语音库中可以包括多个文字，以及每一个文字对应的至少一个标准发音。可选地，语音库还可以包含语音、文字和语义均相适应的数据库；在语音库中通过输入的语音，能根据具体语境、语义，查找到相应的文字组成通顺的语句，与输入的语音相适应。99.可选地，上述对音频数据进行识别，生成文本信息的步骤还可以包括：从音频数据中确定出语音信息，将音频数据分解为多个语音数据帧，分别对多个语音数据帧进行识别，得到文本信息。100.具体地，语音信息可以包括多个语音数据帧。每个语音数据帧是一系列紧密关联的词语或语句。实践中可以获取语音信息的频谱，然后根据语音信息的频谱确定上述各语音片段的起始位置和终止位置，从而将上述语音信息分解为多个语音片段。101.然后，采用语音识别的方法识别各个语音片段中的语音数据，生成与各语音片段对应的文字内容。102.可选地，可以采用语音识别技术来对语音片段进行识别，语音识别技术也被称为自动语音识别automaticspeechrecognition，(asr)，其目标是将人类的语音中的词汇内容转换为计算机可读的输入，例如按键、二进制编码或者字符序列等，采用的方式有神经网络、自适应等方法。通过语音识别，可以将语音段中的词汇信息识别出来，并将其转化为文本的方式，得到音频数据对应的文字。103.上述将多段文字内容汇总成一个文本，包括将与各语音片段分别对应的文字内容按照各语音片段的先后顺序串接成目标视频的文本,也即目标视频的字幕。104.s13、对目标数据以及文本信息进行同步播放。105.可选地，在对目标数据以及文本信息进行同步播放之前，还可以先根据音频数据中说话的时间间隔的长短，在文本信息对应的文本数据段中添加间隔标识符，比如标点符号。由于通过语音识别得到文本数据段中包含了大量的标点符号，其中很多标点符号不符合上下文的语境，为了方便进一步校对文本数据段，可对语音识别得到文本数据段进行过滤，将文本数据段中标点符号所占字节转换成对应字节的间隔标识符。以方便人工校对时，修改成符合语境的标点符号。106.需要说明的是，生成音视频数据的文本信息也即字幕后，可以根据实际情况选择字幕的输出方式，字幕的输出方式包括但不限于：生成特定格式、符合字幕格式标准的字幕文本；在播放视频时，将字幕文本整合到目标视频输出流中，让播放器去做字幕显示工作。107.可选地，上述字幕可以通过在视频下方进行显示，如图6所示，在视频播放的过程中，将字幕显示至视频或者播放器下方，并根据视频的播放进度进行同步播放。在另一实施例中，上述字幕还可以通过弹幕的形式进行显示，如图7所示，在视频播放的过程中，将字幕以弹幕的形式在屏幕中滑动播放，其滑动方式可以是从左向右滑动，也可以是从右向左滑动。可选地，还可以上述弹幕的不同颜色区分不同人物的语音对应的字幕，以使用户更好的进行区分。108.目标视频中所封装的视频数据和音频数据可以复用相同时间轴。可以根据上述时间轴将文本信息与目标视频的视频数据相结合，生成包含字幕的目标视频的视频数据。在一些应用场景中，可以将字幕数据嵌入至目标视频的视频数据中，从而生产包含字幕的目标视频的视频数据。在另外一些应用场景中，还可以将字幕数据生成独立的文件，将字幕数据文件与视频数据打包成包含字幕的目标视频的视频数据，本实施例对此不再进一步赘述。109.由上可知，本技术实施例的数据处理方法，可以从目标数据中提取音频数据，对音频数据进行识别和/或翻译，确定或生成文本信息，对目标数据以及文本信息进行同步播放。通过本技术的技术方案可以在智能终端播放视频时自动对音频数据进行提取识别，并生成字幕与视频同步播放，提升了字幕显示的准确性以及效率。110.本技术实施例还提供一种数据处理方法，请参阅图8，图8是本技术实施例提供的数据处理方法的第二种流程示意图，该方法包括：111.s21、识别或确定目标数据中的音频流。112.可选地，目标数据可以为目标视频，上述目标视频可以包括由多帧图像构成的视频数据和音频数据。也就是上述目标数据中按照预设封装格式封装了视频数据和音频数据。可选地，可以从封装了视频数据和音频数据的目标数据中提取出音频数据。也即对上述目标数据解复用，从上述目标视频中分离出音频数据。上述视频数据和音频数据复用相同的时间轴。在另外一些应用场景中，可以在视频预播放过程中对视频的音频内容进行录制，从而得到目标视频对应的音频数据。113.s22、将音频流划分为第一音频数据、第二音频数据以及第三音频数据，将第一音频数据确定为目标音频数据。114.可选地，从视频当中提取出的音频流包括多种不同的类型，比如语音数据、音乐数据以及音效数据等，考虑到在后续进行语音匹配时，上述音乐数据以及音效数据均会对匹配造成干扰，因此在本技术实施例中还可以进一步提取上述音频流中的语音数据。由于人的说话声一般都集中在高频，因此可以通过频率范围来对上述音频流进行划分，比如语音数据的频率范围是：300hz～3.4khz，因此就可以将频率范围位于该范围内的数据确定为语音数据，也即目标音频数据。也即将音频流划分为第一音频数据、第二音频数据以及第三音频数据的步骤，包括：根据预设频率范围和/或音频特征信息，将音频流划分为第一音频数据、第二音频数据以及第三音频数据；和/或，根据音频特征信息将音频流划分为第一音频数据、第二音频数据以及第三音频数据。115.s23、提取音频数据中的声纹信息，识别或确定声纹信息对应的目标语种。116.可选地，上述声纹信息可以通过预设的声纹特征提取网络模型得到，比如将s22步骤获取到的目标音频数据输入预先训练的声纹特征提取网络模型，得到目标音频数据中的声纹特征；接着对目标音频数据中的声纹特征进行分析处理，得到目标音频数据的语种信息，作为目标语种。117.可选地，预先训练的声纹特征提取网络模型可以通过下述方式训练得到：智能终端或服务器采集多个不同语种的样本音频信号的声学特征，作为音频样本数据集合；根据音频样本数据集合，对预设的神经网络进行训练，直到训练后的预设的神经网络的损失值小于预设阈值，则将该训练后的预设的神经网络，作为预先训练的声纹特征提取网络模型。这样，通过预先训练的声纹特征提取网络模型，可以对输入的音频数据中的声学特征进行处理，得到音频数据中的声纹特征。118.在获取到音频数据中的声纹特征之后，便可以与预设语种音频信号的声纹特征之间进行相似度匹配，具体地，智能终端可以从音频数据与各个预设语种音频信号之间的特征相似度中，确定出最大的特征相似度；若最大的特征相似度大于对应的阈值，则将最大的特征相似度对应的预设语种音频信号的语种信息，作为音频数据的目标语种。119.可选地，上述语种信息可以是不同国家地区的多个语种，比如中文、英语、日语、韩语、法语、俄罗斯语等；还可以是同一国家不同地区的多个语种，比如普通话、闽南语、粤语、山东话、四川话、藏语等不同语言，本实施例对此不做进一步限定。120.s24、在目标语种对应的预设区域中对声纹信息进行匹配，确定或生成文本信息。121.在确定目标语种后，便可以在该目标语种对应的数据库中进行匹配或识别，以得到对应的字幕信息。可选地，上述目标语种对应的数据库可以包括该语种对应的语音识别引擎，通过该语音识别引擎对声纹信息进行识别或匹配，完成“扒词”工作。122.可选地，以目标语种为中文进行举例说明，其中，该语音识别引擎可以包括汉语语音分节处理模块、汉语语音识别模块，语音识别引擎具体处理并实现上述识别工作，其中的汉语语音分节处理模块将输入的大段声纹信息切分成细的小节，使得切分点在语音的停顿处或一句话完结处，所述切分点为语音能量的低点，每一小节的长短随讲话人的具体内容而不同，一般在10-20几个字。汉语语音分节处理模块输入的语音数据为引擎需要的语音汉语语音数据。汉语语音识别模块再进行后续的识别即可输出对应的文本内容，也即字幕信息。123.s25、对文本信息进行语义分析，根据分析结果对文本信息进行调整。124.可选地，上述语义分析可以包括确定当前对话场景、对话对象等，通过该步骤的语义分析对文本信息进行处理可以得到更准确的字幕，避免产生歧义，从而进一步提升最终的字幕信息的准确性。125.s26、提取音频数据的时间轴，识别或确定文本信息的显示参数。126.可选地，上述显示参数可以包括字幕的文字大小、字体、颜色、间距、以及不透明度等等，在该实施例中上述显示参数可以根据当前的场景自动进行设置。其中，上述场景可以为智能终端当前的使用场景，也可以为当前播放视频中的显示场景。比如当智能终端在夜间使用时，就可以增大字体的大小，提升不透明度以使得字幕显示更加清晰，方便用户观看。也即识别或确定文本信息的显示参数的步骤，包括：识别或确定目标数据的场景信息，根据场景信息设置文本信息的显示参数。127.s27、根据时间轴和显示参数对目标数据以及文本信息进行同步播放。128.可选地，可以根据时间轴将文本信息生成独立的字幕文件，然后将字幕文件与视频打包成包含字幕的目标视频的视频数据，从而实现同步播放。129.可选地，上述时间轴可以为各视频图像帧对应的时间戳，和各音频帧对应的时间戳。上述时间戳通常可以包括开始时间和结束时间。然后基于时间轴信息将字幕与目标视频的视频数据结合，生成包含字幕的目标视频。基于上述时间轴信息将字幕与目标视频的视频数据结合，使得在播放目标视频时，目标视频的视频数据和字幕可以同步播放。130.可选地，在对目标视频以及字幕进行同步播放的过程中，还可以根据用户操作实时修改字幕的显示参数，请参阅图9，用户可以通过点击的方式修改字幕的文字大小、字体、颜色以及不透明度等。比如将文字大小设定为16，文字字体设定为微软雅黑，文字颜色设定为白色，不透明度设定为70％。131.可选地，请继续参阅图10，在对目标视频以及字幕进行同步播放的过程中，还可以根据用户操作修改字幕的显示方式，该显示方式可以包括字幕的显示模式、识别语种、翻译语种、显示内容等，比如将显示模式设定为弹幕，识别语种设定为日语，翻译语种设定为中文，显示内容设定为双语等。132.需要说明的是，本实施例提供的方法可以由智能终端执行。实践中，本实施例提供的方法可以由设置在智能终端中视频编辑器执行。也可以由设置在智能终端中的视频拍摄工具执行，或者由设置在智能终端中的视频发布工具执行。133.由上可知，本技术实施例可以识别或确定目标数据中的音频流，将音频流划分为第一音频数据、第二音频数据以及第三音频数据，将第一音频数据确定为目标音频数据，提取音频数据中的声纹信息，识别或确定声纹信息对应的目标语种，在目标语种对应的预设区域中对声纹信息进行匹配，确定或生成文本信息，对文本信息进行语义分析，根据分析结果对文本信息进行调整，提取音频数据的时间轴，识别或确定文本信息的显示参数，根据时间轴和显示参数对目标数据以及文本信息进行同步播放。通过本技术的技术方案可以在智能终端播放视频时自动对音频数据进行提取识别，并生成字幕与视频同步播放，提升了字幕显示的准确性以及效率。134.本技术实施例还提供一种数据处理方法，请参阅图11，图11是本技术实施例提供的数据处理方法的第三种流程示意图。该数据处理方法的流程可以包括：135.s31、从目标数据中提取音频数据。136.可选地，目标数据可以为目标视频，比如视频文件或视频流，该视频文件或者视频流的来源包括但不限于：检测到下载的视频文件、对存储设备进行搜索所发现的视频文件、接收其他智能终端发送的视频文件、检测到的在线视频流等，当智能终端播放目标视频时可以对目标视频中的音频数据进行提取。137.进一步地，听觉中的掩蔽效应指人的耳朵只对最明显的声音反应敏感，而对于不明显的声音，反应则较不为敏感。一个声音的闻阈值由于另一个声音的出现而提高的效应。前者称为掩蔽音(maskingtone)，后者称为被掩蔽声(maskedtone)。对于两个纯音来说，最明显的掩蔽效应出现在掩蔽声频率附近，低频纯音能有效地掩蔽高频纯音，而高频纯音对低频纯音的掩蔽效应小。因此在本技术实施例中，还可以提取上述音频数据中的高频语音作为掩蔽声，从而对整个音频数据进行降噪处理，也即在从目标数据中提取音频数据之后，所述方法还可以包括：确定或生成所述音频数据中的预设声音，根据预设声音对音频数据进行降噪处理。138.s32、对音频数据进行翻译，生成文本信息。139.可选地，上述对音频数据进行翻译，生成文本信息时，可以先将音频数据与词库进行匹配，得到与音频数据对应的分类词库，然后根据所匹配的分类词库进行识别以及翻译，以生成文本信息。可选地，该分类词库可以包括两种以上的语种分类词库，具体可以通过将音频数据与词库进行匹配可以得到与音频数据中原声语种对应语种分类词库，并可以利用该语种分类词库中的词汇进一步加快语音识别及翻译得到对应的文本信息。也即上述s32步骤可以包括：识别或确定音频数据对应的第一语种；在第一语种对应的数据库中对音频数据进行匹配，生成初始文本信息；根据第二语种对第一文本信息进行翻译，生成目标文本信息。140.s33、对目标数据以及文本信息进行同步播放。141.目标视频中所封装的视频数据和音频数据可以复用相同时间轴。可以根据上述时间轴将文本信息与目标视频的视频数据相结合，生成包含字幕的目标视频的视频数据。可选地，可以将字幕数据嵌入至目标视频的视频数据中，从而生产包含字幕的目标视频的视频数据。142.由上可知，本技术实施例可以从目标数据中提取音频数据，对音频数据进行翻译，生成文本信息，对目标数据以及文本信息进行同步播放。通过本技术的技术方案可以在智能终端播放视频时自动对音频数据进行提取识别，并对其进行翻译后生成字幕与视频同步播放，提升了字幕翻译的准确性以及效率。143.图12是本技术实施例提供的数据处理装置的结构示意图。该数据处理装置可以设置在智能终端中。请参见图12，该数据处理装置30包括：144.提取模块301，用于从目标数据中提取音频数据；145.识别模块302，用于对所述音频数据进行识别和/或翻译，确定或生成文本信息；146.播放模块303，用于对所述目标数据以及所述文本信息进行同步播放。147.可选地，继续参阅图13，上述提取模块301具体包括：148.识别子模块3011，用于识别或确定所述目标数据中的音频流；149.划分子模块3012，用于将所述音频流划分为第一音频数据、第二音频数据以及第三音频数据，所述第一音频数据为目标音频数据。150.可选地，划分子模块3012，具体用于根据预设频率范围和/或音频特征信息，将所述音频流划分为第一音频数据、第二音频数据以及第三音频数据；和/或，151.根据音频特征信息将所述音频流划分为第一音频数据、第二音频数据以及第三音频数据。152.可选地，上述识别模块302具体包括：153.提取子模块3021，用于提取所述音频数据中的声纹信息，识别或确定所述声纹信息对应的目标语种；154.匹配子模块3022，用于在所述目标语种对应的预设区域中对所述声纹信息进行匹配，确定或生成文本信息。155.可选地，上述播放模块303，具体用于提取所述音频数据的时间轴；识别或确定所述文本信息的显示参数；根据所述时间轴和所述显示参数对所述目标数据以及所述文本信息进行同步播放。156.本技术实施例提供的数据处理装置可以从目标数据中提取音频数据，对音频数据进行识别和/或翻译，确定或生成文本信息，对目标数据以及文本信息进行同步播放。通过本技术的技术方案可以在智能终端播放视频时自动对音频数据进行提取识别，并生成字幕与视频同步播放，提升了字幕显示的准确性以及效率。157.本技术实施例还提供一种智能终端，智能终端包括存储器、处理器，存储器上存储有数据处理程序，数据处理程序被处理器执行时实现上述任一实施例中的数据处理方法的步骤。158.本技术实施例还提供一种计算机可读存储介质，计算机存储介质上存储有数据处理程序，数据处理程序被处理器执行时实现上述任一实施例中的数据处理方法的步骤。159.在本技术提供的智能终端和计算机可读存储介质的实施例中，可以包含任一上述数据处理方法实施例的全部技术特征，说明书拓展和解释内容与上述方法的各实施例基本相同，在此不做再赘述。160.本技术实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序代码，当计算机程序代码在计算机上运行时，使得计算机执行如上各种可能的实施方式中的方法。161.本技术实施例还提供一种芯片，包括存储器和处理器，存储器用于存储计算机程序，处理器用于从存储器中调用并运行计算机程序，使得安装有芯片的设备执行如上各种可能的实施方式中的方法。162.可以理解，上述场景仅是作为示例，并不构成对于本技术实施例提供的技术方案的应用场景的限定，本技术的技术方案还可应用于其他场景。例如，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。163.本技术实施例序号仅仅为了描述，不代表实施例的优劣。164.本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。165.本技术实施例设备中的模块或单元可以根据实际需要进行合并、划分和删减。166.在本技术中，对于相同或相似的术语概念、技术方案和/或应用场景描述，一般只在第一次出现时进行详细描述，后面再重复出现时，为了简洁，一般未再重复阐述，在理解本技术技术方案等内容时，对于在后未详细描述的相同或相似的术语概念、技术方案和/或应用场景描述等，可以参考其之前的相关详细描述。167.在本技术中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。168.本技术技术方案的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本技术记载的范围。169.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，被控终端，或者网络设备等)执行本技术每个实施例的方法。170.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本技术实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络，或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。可用介质可以是磁性介质，(例如，软盘、存储盘、磁带)、光介质(例如，dvd)，或者半导体介质(例如固态存储盘solidstatedisk(ssd))等。171.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的
技术领域：
：，均同理包括在本技术的专利保护范围内。当前第1页12当前第1页12
技术特征：1.一种数据处理方法，其特征在于，包括：s11：从目标数据中提取音频数据；s12：对所述音频数据进行识别和/或翻译，确定或生成文本信息；s13：对所述目标数据以及所述文本信息进行同步播放。2.根据权利要求1所述的方法，其特征在于，所述s11包括：识别或确定所述目标数据中的音频流；将所述音频流划分为第一音频数据、第二音频数据以及第三音频数据，所述第一音频数据为目标音频数据。3.根据权利要求2所述的方法，其特征在于，所述将所述音频流划分为第一音频数据、第二音频数据以及第三音频数据，包括：根据预设频率范围和/或音频特征信息，将所述音频流划分为第一音频数据、第二音频数据以及第三音频数据。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述s12包括：提取所述音频数据中的声纹信息，识别或确定所述声纹信息对应的目标语种；在所述目标语种对应的预设区域中对所述声纹信息进行匹配，确定或生成文本信息；和/或，所述s12之后，还包括：对所述文本信息进行语义分析，根据分析结果对所述文本信息进行调整。5.根据权利要求1至3中任一项所述的方法，其特征在于，所述s13包括：提取所述音频数据的时间轴；识别或确定所述文本信息的显示参数；根据所述时间轴和所述显示参数对所述目标数据以及所述文本信息进行同步播放。6.根据权利要求5所述的方法，其特征在于，所述识别或确定所述文本信息的显示参数，包括：识别或确定所述目标数据的场景信息；根据所述场景信息设置所述文本信息的显示参数。7.根据权利要求1至3中任一项所述的方法，其特征在于，所述s11之后，还包括：确定或生成所述音频数据中的预设声音；根据所述预设声音对所述音频数据进行降噪处理。8.根据权利要求1至3中任一项所述的方法，其特征在于，所述s12包括：识别或确定所述音频数据对应的第一语种；在所述第一语种对应的数据库中对所述音频数据进行匹配，确定或生成初始文本信息；根据第二语种对所述第一文本信息进行翻译，确定或生成目标文本信息。9.一种智能终端，其特征在于，所述智能终端包括：存储器、处理器，其中，所述存储器上存储有数据处理程序，所述数据处理程序被所述处理器执行时实现如权利要求1至8中任一项所述的数据处理方法的步骤。10.一种计算机可读存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的数据处理方法的步骤。
技术总结本申请提出了一种数据处理方法、智能终端及存储介质。该方法包括：从目标数据中提取音频数据，对音频数据进行识别和/或翻译，确定或生成文本信息，对目标数据以及文本信息进行同步播放。通过本申请的技术方案可以在智能终端播放视频时自动对音频数据进行提取识别，生成字幕与视频同步播放，提升了字幕显示的准确性以及效率。以及效率。以及效率。
技术研发人员：党香福 黄河
受保护的技术使用者：深圳传音控股股份有限公司
技术研发日：2022.05.17
技术公布日：2022/11/1
