1.本公开涉及计算机信息安全技术领域，具体涉及一种用于音视频数据的篡改验证方法及其系统、装置和电子设备。
背景技术：2.随着数字技术的进步，在线数字内容通常可以由互联网用户复制、编辑、记录和分发。在一些情况下，这样的使用会侵犯内容的创作者或所有者的版权。新的技术还会使版权内容的管理和保护变得困难。例如，这些技术可以使得版权内容的副本能够快速产生并传播给大量用户，这会严重影响版权持有者的经济利益。
3.在当前及未来音视频创作中，出现越来越多的人工智能的创作工具和方法。这些创作工具和方法能制作虚拟场景和人物，或者再加工真实拍摄的音视频内容。修改原始音视频的活动改变了音视频的原始呈现。大部分上述活动被用于娱乐宣传等善意活动，但是这些创作工具和方法也能被用作恶意篡改目的，达到伪造现实的目的。
4.监控设备记录的音视频等多媒体数据是用于确定事件或者案件属性的重要例证。现有的技术方案中，监控设备通常将音视频等多媒体数据以多媒体数据文件的形式存储在硬盘或者移动存储设备等存储介质上，以便事后调查取证。但存储在这些设备上的多媒体数据有被恶意伪造或篡改的风险，这使得多媒体数据的可信性无法得到保障。针对这种情况，有必要对存储介质中记录的多媒体数据进行篡改检测。
技术实现要素：5.为了解决上述技术问题，本公开提供了一种用于音视频数据的篡改验证方法及其系统、装置和电子设备，用于对存储介质中的音视频数据进行篡改检测。
6.一方面本公开提供了一种用于音视频数据的验证方法，其包括：
7.对要记录到存储介质上的音视频流进行特征数据的提取，得到第一音视频摘要；
8.离线生成第一时间戳摘要，该第一时间戳摘要可用于回溯音视频流制作的原始时间戳；
9.将第一时间戳摘要和第一音视频摘要加工形成密文；
10.将前述密文和音视频流组装形成签名的音视频数据；
11.从已签名的音视频数据中提取得到密文和音视频流；
12.对该密文进行解密，得到第二时间戳摘要和第二音视频摘要；
13.根据对第二音视频摘要和音视频流对应关系的检测，以及对第一时间戳摘要与第二时间戳摘要的比较，对前述的音视频数据进行篡改检测。
14.可选地，前述形成签名的音视频数据所使用的音视频签名算法为选自：不加密算法，对称加密算法和非对称加密算法中的任意一种。
15.可选地，前述离线生成第一时间戳摘要的步骤包括：
16.利用可信时间戳服务授时的离线时间戳发生器生成的离线时钟时间和pki服务中
心发放的密钥生成伪随机数，并将其作为第一时间戳摘要，
17.其中，该第一时间戳摘要保存在音视频数据的数据块中。
18.可选地，前述将第一时间戳摘要和第一音视频摘要加工形成密文的步骤中包括：
19.利用pki服务中心发放的私钥证书对第一时间戳摘要和第一音视频摘要的加工过程中进行加密形成所述密文。
20.可选地，前述根据对第二音视频摘要和音视频流对应关系的检测的步骤中包括：
21.比对第二音视频摘要的语义内容片段和音视频流的语义内容是否吻合，若语义内容片段吻合且连续，则筛选第二音视频摘要的离线时间序列是否存在于音视频流的时间序列集合中，若存在，则该音视频数据未被篡改；否则判断该音视频数据被篡改。
22.可选地，前述对第一时间戳摘要与第二时间戳摘要的比较的步骤中包括：
23.可以将前述的第二时间戳摘要从音视频流中批量提取，以向pki中心批量提交，该pki中心反馈回第一时间戳摘要与第二时间戳摘要的比较验证结果。
24.另一方面本公开还提供了一种音视频数据的验证系统，其包括：
25.签名平台，该签名平台用于根据对要记录到存储介质上的音视频流进行特征数据提取得到第一音视频摘要，以及获取离线生成的第一时间戳摘要，并将该第一时间戳摘要和第一音视频摘要加工形成密文，前述的第一时间戳摘要可用于回溯音视频流制作的原始时间戳；
26.发布平台，该发布平台与前述签名平台通信连接，用于将加工形成的密文和前述音视频流组装形成签名的音视频数据，并实时执行发布操作；
27.解密平台，该解密平台用于从已签名的音视频数据中提取得到前述密文和音视频流，并利用pki服务中心发放的密钥对该密文进行解密，得到第二时间戳摘要和第二音视频摘要；
28.验证平台，用于根据对前述第二音视频摘要和音视频流对应关系的检测，以及对前述第一时间戳摘要与第二时间戳摘要的比较，对音视频数据进行篡改检测。
29.可选地，前述的验证系统还包括：
30.离线时间戳发生器，该离线时间戳发生器由pki服务中心提供证书，并协同可信时间戳服务进行授时，用于生成离线时钟时间，
31.前述签名平台利用该离线时钟时间和pki服务中心发放的密钥生成伪随机数，并将其作为前述第一时间戳摘要。
32.可选地，前述第一时间戳摘要保存在前述音视频数据的数据块中。
33.另一方面本公开还提供了一种用于音视频数据的装置，该装置包括一个或多个处理器以及耦接到所述一个或多个处理器并且其上存储有指令的计算机可读存储介质，当所述指令由所述一个或多个处理器执行时，所述指令将导致所述一个或多个处理器按照本文提供的篡改验证方法的实施例执行操作。
34.另一方面本公开还提供了一种电子设备，该电子设备包括用于执行如前所述的用于音视频数据的篡改验证方法的多个模块。
35.本公开的有益效果是：本公开提供的用于音视频数据的篡改验证方法及其系统、装置和电子设备，其中，该验证方法包括：对要记录到存储介质上的音视频流进行特征数据的提取，得到第一音视频摘要；离线生成第一时间戳摘要，该第一时间戳摘要可用于回溯音
视频流制作的原始时间戳；将第一时间戳摘要和第一音视频摘要加工形成密文；将前述密文和音视频流组装形成签名的音视频数据；从已签名的音视频数据中提取得到密文和音视频流；对该密文进行解密，得到第二时间戳摘要和第二音视频摘要；根据对第二音视频摘要和音视频流对应关系的检测，以及对第一时间戳摘要与第二时间戳摘要的比较，对前述的音视频数据进行篡改检测。由此本公开采用了音视频摘要和时间戳摘要的双重验证方法，这种方法有较好的可实施性，较高的编码效率，以及提供了较高的可信度，能为音视频数据传输验证提供较高的安全性、实时性和可靠性。
36.应了解，依据本文的方法可以包括本文描述的方面和特征的任意组合。也就是说，根据本文的方法不限于本文具体描述的方面和特征的组合，还包括所提供的方面和特征的任意组合。
37.以下在附图和描述中阐述了本文的一个或多个实施例的细节。根据文和附图以及权利要求，本文的其他特征和优点将显现。
附图说明
38.通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚。
39.图1示出了可用于执行本公开实施例的环境的示意图；
40.图2a示出了可根据本公开实施例提供的用于音视频数据的篡改验证系统的签名过程的处理流程示意图；
41.图2b示出了根据本公开实施例提供的用于音视频数据的篡改验证系统的验证过程的处理流程示意图；
42.图3a示出图2a所示签名过程中生成的第一时间戳摘要的示意图；
43.图3b示出图2b所示验证过程中pki服务中心生成的第二时间戳摘要的示意图；
44.图3c示出图2b所示验证过程中生成验证结果的逻辑示意图；
45.图4示出本公开实施例提供的用于音视频数据的篡改验证方法的流程示意图。
46.名词或术语解释：
47.pki服务中心：指的是pki基础设施，含ca、ra中心，能够提供数字签名证书的申请和颁发。它可以是其他权威ca的子系统或自建系统。在本技术中，pki服务中心需要提供时间摘要认证的功能。
48.可信时间戳服务：指的是可信的授时服务，签名平台能够从该系统拿到权威时间戳。该时间戳将作为音视频片段的制作时间标志的原始来源。
49.离线时间戳发生器：离线时间戳可以是一种软件程序或电子装置的离线令牌，用于离线生成时间信息摘要，可以从该时间密文回溯或校验原始时间戳。
具体实施方式
50.为了便于理解本公开，下面将参照相关附图对本公开进行更全面的描述。附图中给出了本公开的较佳实施例。但是，本公开可以通过不同的形式来实现，并不限于本文所描述的实施例。相反的，提供这些实施例的目的是使对本公开内容的理解更加透彻全面。
51.除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的
技术人员通常理解的含义相同。在本公开的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本公开。
52.本文描述了用于音视频数据的篡改验证技术，该技术通常涉及生成指示时间的时间戳，在该时间执行了对音视频流内容中的片段更新，以提供更新的音视频片段，基于时间戳和与音视频片段内容相关联的特征信息生成唯一标识，并将唯一标识嵌入到更新的音视频片段的至少一部分中，以提供嵌入更新信息的音视频数据，使能基于唯一标识从发布的音视频数据中检索音视频片段相关联的特征信息而被快速验证。
53.为本文实施例提供进一步的背景，结合前文描述内容，公钥基础设施(publickeyinfrastructure，pki)是建立在公钥密码体制上的信息安全基础设施，为网络应用提供身份认证、加密、数字签名、时间戳等安全服务。因此，pki是一个使用公钥密码技术来实施和提供安全服务的、具有普适性的安全基础设施的总称，而并不特指某一具体密码设备及其管理设备。实际上，pki是生成、管理、存储、分发和撤销基于公开密码的公钥证书所需要的硬件、软件、人员、策略和规程的总和。pki已广泛用于保障电子商务和电子政务的安全。
54.数字证书提供了一种系统化的、可扩展的、统一的、容易控制的公钥分发方法。是一个防篡改的数据集合，它可以证实一个公开密钥与某一最终用户之间的捆绑。为了提供这种捆绑关系，需要一组可信第三方实体来担保用户的身份。第三方实体称为证书机构(certificateauthority，ca)，又称为证书管理机构、证书颁发机构、证书管理中心。它向用户颁发数字证书，证书中含有用户名、公开密钥以及其他身份信息，并由证书颁发机构对之进行了数字签名，即证书的拥有者是被证书机构所信任的。注册机构(ra，registrationauthority)由于一个pki区域的最终实体数量的增加，ra可以充当ca和它的最终用户之间的中间实体，辅助ca来完成一些证书处理功能。ra系统是整个ca中心得以正常运营不可缺少的一部分。
55.在一些网络应用中，用密码学来维护数据的隐私和安全性。例如，可以对数据进行加密处理。加密处理的示例包括但不限于对称加密和非对称加密。对称加密是指使用单个密钥既进行加密(从明文生成密文)又进行解密(从密文生成明文)的加密过程。在对称加密中，同一密钥可用于多个节点，因此每个节点都可以对交易数据进行加密/解密。
56.非对称加密使用密钥对，每个密钥对包括私钥和公钥，私钥仅对于相应节点是已知的，而公钥对于任何或所有其他节点是已知的。节点可以使用另一个节点的公钥来加密数据，并且该加密的数据可以使用其他节点的私钥被解密。使用节点的公钥加密的消息只能使用该节点的私钥解密。
57.非对称加密用于提供数字签名，这使得参与者能够确认数据传输中的其他参与者以及数据的有效性。例如，节点可以对消息进行数字签名，而另一个节点可以根据参与者的该数字签名来确认该消息是由该节点发送的。数字签名也可以用于确保消息在传输过程中不被篡改。例如，参与者a将向参与者b发送消息。参与者a生成该消息的哈希值，然后使用其私钥加密该哈希值以提供为加密哈希值的数字签名。参与者a将该数字签名附加到该消息上，并将该具有数字签名的消息发送给参与者b。参与者b使用参与者a的公钥解密该数字签名，并提取哈希值。参与者b对该消息进行哈希处理并比较哈希值。如果哈希值相同，参与者b可以确认该消息确实来自参与者a，且未被篡改。
58.现有的音视频加密技术是版权保护目的(如数字版权保护，digital rights management，drm)，目的是版权保护和防止未经授权的访问，而现有的电子签名方法是针对文件等固定大小的电子文书真实性保真。目前急需找到防止音视频流式文件篡改的技术方案，基于此提出了本公开实施例中用于音视频数据的篡改验证方法及其系统、装置和电子设备，这种技术方案目标是展示真实的原始内容，并给予展示内容可验证真实性的能力。
59.下面，参照附图对本公开进行详细说明。
60.图1示出了可用于执行本公开实施例的环境的示意图。在一些示例中，示例环境100包括计算系统101、102以及网络或传输介质103。在一些示例中，网络或传输介质103包括局域网(lan)、广域网(wan)、互联网、甚至移动存储器或其组合，并且连接网络站点、用户设备(例如，计算设备)和后台系统。在一些示例中，可以通过有线和/或无线通信链路来访问网络103。在一些示例中，网络103使得在计算系统之间及其设备内部进行通信成为可能。通常，网络103表示一个或多个通信网络。在一些情况下，计算系统101、102可以是云计算系统(未示出)的节点，或者每个计算系统101、102可以是单独的云计算系统，其包括通过网络互连的并且用作分布式处理系统的多个计算机。
61.在所描绘的示例中，系统可以包括多个轻节点或轻客户端节点，每个轻节点嵌入到被配置用于从一个或多个设备接收数据的控制实体中。在下文中，控制实体和在所述控制实体上运行的被嵌入的轻节点可互换地指代。计算系统101、102可以各自包括能够作为节点的任何适当的计算设备。计算设备的示例包括但不限于服务器、台式计算机、膝上型计算机、平板计算设备以及智能电话。在一些示例中，计算系统101、102承载一个或多个由计算机实施的服务，已实现网络交互。
62.图2a示出了可根据本公开实施例提供的用于音视频数据的篡改验证系统的签名过程的处理流程示意图，图2b示出了根据本公开实施例提供的用于音视频数据的篡改验证系统的验证过程的处理流程示意图。
63.参考图2a，本公开实施例提供了一种用于音视频数据的验证系统200，可用于但不限于嵌入式设备(如：摄像机、摄像头)。该验证系统200包括执行签名过程的签名平台210和发布平台220，该签名平台210能够将时间戳和音视频片段摘要加工形成密文的平台，并且在一些实施例中，所采用的音视频签名算法是可选的(如：不加密，对称加密，非对称加密)，以满足各种各样的加密级别。在进一步的实施例中，可利用pki服务中心发放的私钥证书对第一时间戳摘要和第一音视频摘要的加工过程中进行加密形成前述的密文。
64.在一些可选的实施例中，该签名平台210不刻意强调算法，可以是对称加密(速度快，可用在实时流中)，还可以是公私钥。在本实施例中，图2b所示图中公钥是可用于对称加密的密钥。
65.在本实施例中，该签名平台210用于根据对要记录到存储介质上的音视频流进行特征数据提取得到第一音视频摘要，以及获取离线生成的第一时间戳摘要，并将该第一时间戳摘要和第一音视频摘要加工形成密文，该第一时间戳摘要可用于回溯音视频流制作的原始时间戳。
66.在本实施例中，该发布平台220与前述签名平台210通信连接，用于将加工形成的密文和音视频流组装形成签名的音视频数据，并实时执行发布操作。
67.在本实施例中，音视频数据的发布是实时执行的，发布时还可以配合对称加密(如
高级加密标准，advanced encryption standard，aes)，进一步提高音视频流的安全防护能力。
68.在一些可选的实施例中，为了保证篡改验证系统200的机密性、完整性与有效性，可以采用非对称加密、数字签名、pki认证体系等密码学技术，机密性是指数据传输过程中，不能被非授权者看到，完整性是指数据在传输过程中，不会被非法篡改，有效性是指篡改验证系统200的参与者产生的数据不能被否认。以上所述各个环节中所用到的公钥均由密钥与认证架构提供生成、备份、认证等功能。所有参与到音视频数据的篡改验证系统200中的个人、机构、与设备均需向ca中心申请属于自己的密钥与证书。其中的ca中心存储了大量用户的公私钥密码对，具有一定的中心化属性，所以可以部署在国家版权中心或者各省级版权局，以降低负载，分散化管理。
69.在一些可选的实施例中，该验证系统200还可以包括：
70.离线时间戳发生器201，该离线时间戳发生器201由pki服务中心提供证书，并协同可信时间戳服务进行授时，用于生成离线时钟时间，前述签名平台210可利用该离线时钟时间和pki服务中心202发放的密钥生成伪随机数，并将其作为前述第一时间戳摘要，如图3a所示。在一些可选的实施例中，离线时间戳发生器可以是可信平台发布的一种软件程序或电子装置的离线令牌，用于离线生成时间信息摘要，可以从该时间密文回溯或校验原始时间戳。在本实施例中使用了离线时间戳发生器，有较好的实时性和可信性，能为音视频数据传输验证提供较高的安全性、实时性和可靠性。
71.在本实施例中，该第一音视频摘要从音视频流提取后，和第一时间戳摘要加工成的密文中解密得到了第二时间戳摘要和第二音视频摘要，该第二音视频摘要的时间戳可通过验证者向pki服务中心202申请验证。pki服务中心202有一套与前述关于产生第一时间戳摘要完全相同的算法。验证时利用pki服务中心发放时预留的密钥基于一次性密码生成算法得到的伪随机数和第二音视频摘要对应的离线时间序列计算出一组伪随机数，并将其作为所述第二时间戳摘要。
72.前述产生的第一时间戳摘要可类比于totp结果，totp是基于时间的一次性密码生成算法，它由rfc6238定义。和基于事件的一次性密码生成算法不同，totp是基于时间的，它和hotp具有如下关系：
73.totp＝hotp(k，t)
74.hotp(k，c)＝truncate(hmac-sha-1(k，c))
75.其中：
76.t：t＝(current unix time-t0)/x，t0＝0，x＝30
77.k：客户端和服务端的共享密钥，不同的客户端的密钥各不相同。
78.totp算法是基于hotp的，对于hotp算法来说，hotp的输入一致时始终输出相同的值，而totp是基于时间来算出来的一个值，可以在一段时间内(官方推荐是30s)保证这个值是固定以实现，在一段时间内始终是同一个值，以此来达到基于时间的一次性密码生成算法，totp只负责生成和验证。
79.在一些可选的实施例中，前述第一时间戳摘要保存在前述音视频数据的数据块中。
80.参考图2b，该验证系统200还包括执行验证过程的解密平台230和验证平台240，该
验证系统200通过音视频摘要和原始音视频流的对应关系，以及得到的视频加工时间戳摘要，从而得出音视频数据是否被篡改和生成的时间信息。
81.具体的，在本实施例中，该解密平台230用于从已签名的音视频数据中提取得到前述密文和音视频流，并利用pki服务中心202发放的密钥对该密文进行解密，得到第二时间戳摘要和第二音视频摘要。参考图3b，在本实施例的解密验证过程中，会利用pki服务中心202发放时预留的密钥基于一次性密码生成算法(如rfc6238)得到的伪随机数与第二音视频摘要的离线时间得到一组伪随机数，并以此作为前述的第二时间戳摘要。
82.在本实施例中，该验证平台240用于根据对前述第二音视频摘要和音视频流对应关系的检测，以及对前述第一时间戳摘要与第二时间戳摘要的比较，对音视频数据进行篡改检测。
83.在一些实施例中，根据对第二音视频摘要和音视频流对应关系的检测可以包括：比对第二音视频摘要的语义内容片段和音视频流的语义内容是否吻合，若语义内容片段吻合且连续，则筛选第二音视频摘要的离线时间序列是否存在于音视频流的时间序列集合中，若存在，则该音视频数据未被篡改；否则判断该音视频数据被篡改。
84.本公开实施例采用音视频摘要(将第二音视频摘要和音视频流对应关系的检测)和时间戳摘要(将第一时间戳摘要和第二时间戳摘要比较，若相等，证明数据时间没有被篡改，否则证明数据时间被篡改)的双重验证方法，为音视频篡改验证提供了更为可靠的安全防护能力。
85.在本实施例中，数据编码时，使用的第一时间戳摘要(是来自离线时间戳发生器输出的摘要，而不是时间戳信息本身。类似于银行业使用的数字显示密钥，每组数字对应一个时间哈希)编码到音视频帧，解码时，若要验证音视频时间戳的真伪，要对时间戳摘要进行解密。因为音视频时间戳有可信的pki认证，因此保证了原始音视频产生时间的唯一性和不可伪造性，故可以用于验证音视频作品的制作时间是否被修改(间接也能反映音视频作品是否有被修改)。
86.图4示出本公开实施例提供的用于音视频数据的篡改验证方法的流程示意图。结合前文所述，并参考图4，本公开实施例提供的用于音视频数据的篡改验证系统200具体执行的篡改验证方法包括：
87.步骤s110：对要记录到存储介质上的音视频流进行特征数据的提取，得到第一音视频摘要。
88.在步骤110中，对要记录到存储介质上的音视频流按帧依次顺序组织，按帧进行格式的封装，分段存储，而后从音视频片段中提取特征数据，得到第一音视频摘要，如图2a所示。
89.步骤s120：离线生成第一时间戳摘要。
90.在步骤s120中，利用可信时间戳服务拿到权威时间戳，该时间戳将作为音视频片段的制作时间标志的原始来源。再通过pki服务中心202提供的发放时间发生器证书，得到离线令牌(离线时间戳发生器201)，并以此生成离线时钟时间，根据该离线时钟时间和pki服务中心202发放的密钥生成伪随机数，并将其作为第一时间戳摘要，在本实施例中，该第一时间戳摘要可用于回溯音视频流制作的原始时间戳。该第一时间戳摘要保存在音视频数据的数据块中。
91.步骤s130：将第一时间戳摘要和第一音视频摘要加工形成密文。
92.步骤s140：将前述密文和音视频流组装形成签名的音视频数据。
93.在步骤s140中，前述形成签名的音视频数据所使用的音视频签名算法为选自：不加密算法，对称加密算法和非对称加密算法中的任意一种，以满足各种各样的加密级别。在本实施例中，前述的第一时间戳摘要是保存在已签名的音视频数据块中的。
94.该音视频数据块记录到独立的安全存储介质、或者该音视频数据块通过通信网络上传记录在云服务器、或者该音视频数据块记录到记录多媒体数据文件的同一存储介质。
95.该音视频数据块优先记录到独立的安全存储介质，例如安全芯片的非易失性存储器，或者通过通信网络上传记录在云服务器；如果条件所限，该音视频数据块也可以记录到记录多媒体数据文件的同一存储介质。
96.步骤s150：从已签名的音视频数据中提取得到密文和音视频流。
97.步骤s160：对该密文进行解密，得到第二时间戳摘要和第二音视频摘要。
98.服务中心步骤s170：根据对第二音视频摘要和音视频流对应关系的检测，以及对第一时间戳摘要与第二时间戳摘要的比较，对前述的音视频数据进行篡改检测。
99.在步骤s170中，对存储介质上的每段音视频数据文件进行篡改检测：首先通过第二音视频摘要和原始音视频流的对应关系进行验证，该第二音视频摘要可以确认签名的合法性。具体的，通过比对第二音视频摘要的语义内容片段和音视频流的语义内容是否吻合，若语义内容片段吻合且连续，则筛选第二音视频摘要的离线时间序列是否存在于音视频流的时间序列集合中，若存在，则该音视频数据未被篡改；否则判断该音视频数据被篡改，则该音视频数据文件不可信。
100.在音视频签名验证合法的情况的下，进一步执行以下时间序列验证，音视频数据块的区块时间戳一般是按照从小到大的顺序排列。如图3c所示。首先，获得密钥id，该id是离线时间戳发生器201的唯一标识码。然后，从音视频数据块中按时间顺序提取第二时间戳摘要，这样得到的第二时间戳摘要是一组按时间顺序排列的摘要字符串。最后，给出被验证音视频流的时间范围。将以上信息汇总提交给pki服务中心202，pki服务中心202中有一套与第一时间摘要相同的算法。pki服务中心202可以通过密钥id和时间范围信息计算出该组时间戳摘要字符串，而后，pki服务中心202通过比较上传的第二时间戳摘要和第一时间戳摘要，可以得出以下结论：
101.正常：在时间范围内找到该组摘要，给出音视频流产生的起止时间。
102.删节：匹配该组摘要，但有缺失。给出视频制作时间和缺失时间段列表。
103.部分修改：部分匹配该组摘要，部分不一致。给出视频制作时间和修改时间段列表。
104.伪造：在给定时间范围内无法找到该组时间戳，查无此视频。
105.由此可以得出该音视频数据是否被篡改以及其生成的时间信息是否被篡改。
106.本公开实施例采用了音视频摘要和时间戳摘要的双重验证方法，这种方法有较好的可实施性，较高的编码效率，以及提供了较高的可信度，能为音视频数据传输验证提供较高的安全性、实时性和可靠性。
107.在一些可选的实施例中，前述对第一时间戳摘要与第二时间戳摘要的比较的步骤中可以包括：
108.将前述的第二时间戳摘要从音视频流中批量提取，以向pki中心202提交批量对第一时间戳摘要与第二时间戳摘要的比较验证结果，以提高验证效率。
109.另一方面本公开实施例还提供了一种用于音视频数据的装置，该装置包括一个或多个处理器以及耦接到所述一个或多个处理器并且其上存储有指令的计算机可读存储介质，当所述指令由所述一个或多个处理器执行时，所述指令将导致所述一个或多个处理器按照本文提供的篡改验证方法的实施例执行操作。
110.另一方面本公开还提供了一种电子设备，该电子设备包括用于执行如前所述的用于音视频数据的篡改验证方法的多个模块。
111.在先前实施例中示出的系统、装置、模块或单元可以通过使用计算机芯片或实体来实现，或者可以通过使用具有特定功能的产品来实现。典型的实施例设备是计算机，计算机可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板电脑、可穿戴设备或这些设备的任意组合。
112.对于装置中各个模块的功能和角色的实施例的过程，可以参考前一方法中相应步骤的实施过程。为简单起见，这里省略了细节。
113.本文中描述的实施例可以在数字电子电路、有形体现的计算机软件或固件、计算机硬件中实现，包括本说明书中公开的结构及其结构等同物，或者它们中的一个或多个的组合。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，例如，一个或多个计算机程序指令模块，编码在计算机程序载体上，用于由数据处理装置执行或控制数据处理装置的操作。例如，计算机程序载体可以包括一个或多个计算机可读存储介质，其具有编码或存储在其上的指令。载体可以是有形的非暂态计算机存储介质，例如磁盘、磁光盘、或光盘、固态驱动器、随机存取存储器(ram)、只读存储器(rom)或其他类型的介质。可选地或附加地，载体可以是人工生成的传播信号，例如，机器生成的电、光或电磁信号，其被生成来编码信息用于传输到合适的接收器装置以供数据处理装置执行。计算机存储介质可以是或可以部分是可机读存储设备、可机读存储基板、随机或串行访问存储器设备或它们中的一个或多个的组合。计算机存储介质不是传播信号。
114.计算机程序也可以被称为或描述为程序、软件、软件应用程序、app、模块、软件模块、引擎、脚本或代码，可以以任何形式的编程语言编写，包括编译或演绎语言、或说明或程序语言；它可以配置为任何形式，包括作为独立程序，或者作为模块、组件、引擎、子程序或适合在计算环境中执行的其他单元，该环境可包括由通信数据网络互联的在一个或多个位置的一个或多个计算机。
115.适合于执行计算机程序的计算机可以基于通用和/或专用微处理器，或任何其他种类的中央处理单元。通常，中央处理单元将从只读存储器和/或随机存取存储器接收指令和数据。计算机的元件可包括用于执行指令的中央处理单元以及用于存储指令和数据的一个或多个存储器设备。中央处理单元和存储器可以补充有专用逻辑电路或集成在专用逻辑电路中。
116.应当说明的是，在本公开的描述中，需要理解的是，术语“上”、“下”、“内”等指示方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的组件或元件必须具有特定的方位，以特定的方位构造和操作，因此不能理解为对本公开的限制。
117.此外，在本文中，所含术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
118.最后应说明的是：显然，上述实施例仅仅是为清楚地说明本公开所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本公开的保护范围之中。
技术特征：1.一种用于音视频数据的篡改验证方法，其特征在于，包括：对要记录到存储介质上的音视频流进行特征数据的提取，得到第一音视频摘要；离线生成第一时间戳摘要，所述第一时间戳摘要可用于回溯所述音视频流制作的原始时间戳；将所述第一时间戳摘要和所述第一音视频摘要加工形成密文；将所述密文和所述音视频流组装形成签名的音视频数据；从已签名的音视频数据中提取得到所述密文和所述音视频流；对所述密文进行解密，得到第二时间戳摘要和第二音视频摘要；根据对所述第二音视频摘要和所述音视频流对应关系的检测，以及对所述第一时间戳摘要与所述第二时间戳摘要的比较，对所述音视频数据进行篡改检测。2.根据权利要求1所述的篡改验证方法，其特征在于，形成所述签名的音视频数据所使用的音视频签名算法为选自：不加密算法，对称加密算法和非对称加密算法中的任意一种。3.根据权利要求1所述的篡改验证方法，其特征在于，所述离线生成第一时间戳摘要的步骤包括：利用可信时间戳服务授时的离线时间戳发生器生成的离线时钟时间和pki服务中心发放的密钥生成伪随机数，并将其作为所述第一时间戳摘要，其中，所述第一时间戳摘要保存在所述音视频数据的数据块中。4.根据权利要求3所述的篡改验证方法，其特征在于，所述将所述第一时间戳摘要和所述第一音视频摘要加工形成密文的步骤中包括：利用pki服务中心发放的私钥证书对所述第一时间戳摘要和所述第一音视频摘要的加工过程中进行加密形成所述密文。5.根据权利要求4所述的篡改验证方法，其特征在于，所述根据对所述第二音视频摘要和所述音视频流对应关系的检测的步骤中包括：比对所述第二音视频摘要的语义内容片段和所述音视频流的语义内容是否吻合，若所述语义内容片段吻合且连续，则筛选所述第二音视频摘要的离线时间序列是否存在于所述音视频流的时间序列集合中，若存在，则所述音视频数据未被篡改；否则判断所述音视频数据被篡改。6.根据权利要求5所述的篡改验证方法，其特征在于，所述对所述第一时间戳摘要与所述第二时间戳摘要的比较的步骤中包括：将所述第二时间戳摘要从所述音视频流中批量提取，以向pki中心批量提交，所述pki中心反馈回所述第一时间戳摘要与所述第二时间戳摘要的比较验证结果。7.一种音视频数据的篡改验证系统，其特征在于，包括：签名平台，所述签名平台用于根据对要记录到存储介质上的音视频流进行特征数据提取得到的第一音视频摘要，以及获取离线生成的第一时间戳摘要，并将所述第一时间戳摘要和所述第一音视频摘要加工形成密文，所述第一时间戳摘要可用于回溯所述音视频流制作的原始时间戳；发布平台，所述发布平台与所述签名平台通信连接，用于将加工形成的所述密文和所述音视频流组装形成签名的音视频数据，并实时执行发布操作；解密平台，所述解密平台用于从已签名的音视频数据中提取得到所述密文和所述音视
频流，并利用pki服务中心发放的密钥对所述密文进行解密，得到第二时间戳摘要和第二音视频摘要；验证平台，用于根据对所述第二音视频摘要和所述音视频流对应关系的检测，以及对所述第一时间戳摘要与所述第二时间戳摘要的比较，对所述音视频数据进行篡改检测。8.根据权利要求7所述的篡改验证系统，其特征在于，还包括：离线时间戳发生器，所述离线时间戳发生器由pki服务中心提供证书，并协同可信时间戳服务进行授时，用于生成离线时钟时间，所述签名平台利用所述离线时钟时间和pki服务中心发放的密钥生成伪随机数，并将其作为所述第一时间戳摘要。9.根据权利要求8所述的篡改验证系统，其特征在于，所述第一时间戳摘要保存在所述音视频数据的数据块中。10.一种用于音视频数据的装置，其特征在于，包括：至少一个的处理器；以及耦接到所述至少一个的处理器且其上存储有指令的一个或多个计算机可读存储器，所述指令能够由所述至少一个的处理器执行以执行权利要求1-6中任一项所述的篡改验证方法。11.一种电子设备，其特征在于，所述电子设备包括用于执行权利要求1-6中任一项所述的篡改验证方法的多个模块。
技术总结本公开提供了一种用于音视频数据的篡改验证方法及其系统、装置和电子设备，其中，该验证方法包括：对要记录到存储介质上的音视频流进行特征数据的提取得到第一音视频摘要；离线生成第一时间戳摘要；将第一时间戳摘要和第一音视频摘要加工形成密文；将前述密文和音视频流组装形成签名的音视频数据；从音视频数据中提取得到密文和音视频流；对该密文进行解密，得到第二时间戳摘要和第二音视频摘要；以及根据对第二音视频摘要和音视频流对应关系，和第一时间戳摘要与第二时间戳摘要的比较对前述的音视频数据进行篡改检测。本公开采用了音视频摘要和时间戳摘要的双重验证方法，由此可为音视频数据传输验证提供较高的安全性、实时性和可靠性。和可靠性。和可靠性。
技术研发人员：王一 龚力 戴卫斌 周宇虹
受保护的技术使用者：北京奕斯伟计算技术股份有限公司
技术研发日：2022.06.24
技术公布日：2022/11/1
