一种远程双录时app与小程序间文档同步阅读的控制方法
1.本发明涉及语音识别技术领域，特别是一种远程双录时app与小程序间文档同步阅读的控制方法。
背景技术：2.目前根据银保监的监管要求，在销售保险产品时，为规范销售从业人员的销售行为，也为了更好地保护客户的合法权益，要求以录音录像方式对销售过程予以记录。为了便于后续对所记录的音视频内容进行查看，在双录时要确保所记录的音频和图像的内容必须清晰和连贯。
3.保险销售人员保险销售时，一般都使用智能终端设备（手机、平板电脑等）上的双录app来完成双录。当客户在远程时，可以以远程双录的形式来完成，即使用视频通话的方式来进行：保险销售人员使用双录app接入视频通话；客户（投保人、被保人）则使用小程序接入视频会议。然后双录app以录屏的方式将视频通话的多方的头像画面和双录app中其它操作界面采集为图像，同时采集双录参与对方的声音，最后同步写入视频文件，形成双录视频。在远程双录中，整个双录过程是由若干个双录环节组成，每个双录环节的类型一般为下面的几种类型之一：播报话术、播报话术和销售人员展示证件、播报话术和客户语音回答、播报话术和展示电子文档、播报话术和展示电子文档及客户电子签名等。在双录过程中，话术播报、销售人员展示证件、客户语音回答等操作都可以在视频通话的过程中完成；但是，电子文档的展示及签名等操作需要在视频通话外的流程来完成。在这类双录环节中，双录app的界面一般采用分屏的方式来展示内容：一部分屏幕展示双录参与方的视频通话的画面；一部分展示的电子文档的内容；从而保证录屏的视频中既可以看到双录参与人员的头像，也可以看到实际展示的文档内容，并允许任何双录参与方来对文档进行翻页查看，从而保证录制出视频满足监管要求。因此，为了满足上面的要求，需要实现一个技术方案来解决远程双录场景下，在保证app与小程序视频通话的同时，需要在app和小程序之间同步查阅文档。
4.在现有视频会议的技术解决方案中，一般覆盖了下面两个通用场景：一是会议参与人员都开启摄像头进行视频通话；二是其中一个会议参与人员共享桌面或应用窗口的形式将电子文档展示给其他参与人员进行同步翻阅。该技术方案在视频通话的同时，不能共享文档；如果以共享桌面或应用窗口的形式进行文档共享，就不能看到双录参与者的头像。所以，这个方案没法让文档和头像都展现在屏幕上，录制出的视频不能满足监管的要求。
技术实现要素：5.本发明要解决的技术问题是提供了一种远程双录时app与小程序间文档同步阅读的控制方法，主要是针对远程双录时的播报话术和展示电子文档、播报话术和展示电子文档及客户电子签名这两个环节中，提出了一个电子文档同步翻阅的交互协议，以便双录参与方在进行视频通话的同时，可以由任意一方对需要展示的电子文档进行翻阅，其他参与方进行同步翻阅。从而既提高了客户在远程双录中的体验，也能让app端录制出满足监管要
求的双录视频。
6.为了解决上诉技术问题，本发明采用如下技术方案：双录app与远程双录小程序之间的数据消息交互基于http/https协议来实现，当任意一端需要发送数据消息时，通过http/https请求将数据消息发送给双录后台服务，其它端则通过http/https长轮询请求来获取数据消息，从而完成各端之间的数据消息的发送和接收；针对播报话术和展示电子文档、播报话术和展示电子文档及客户电子签名这两个环节，通过交互协议来实现双录app和远程双录小程序各端间同步进行文档翻阅，在交互过程中，双录app和远程双录小程序使用音视频通话中的用户id进行标识。
7.上述的一种远程双录时app与小程序间文档同步阅读的控制方法，其中，交互场景、交互消息的定义以及消息交互流程展示为：交互场景在双录的电子文档展示环节中，消息交互主要包括下面几个场景：(a) 在双录环节的话术播报结束后，双录app发送开始加载文档并展示的消息，在该消息中包含文档的url信息，并指定文档翻阅控制者为自己；各小程序端接收到该消息后，根据文档的url信息开始加载该文档并进行展示，并准备接收来自双录app的翻阅消息；(b) 当保险销售人员在双录app中翻阅文档时，双录app每隔相同的时间间隔发送翻阅信息，消息包含当前文档阅读到的位置信息；如果已翻阅到文档末尾，则直接发送一个标记已移到文档末尾特殊翻阅消息，各小程序端接收到消息后，以匀速的方式在时间间隔内将文档翻阅到消息中的位置；(c) 客户在视频通话中向保险销售人员表达自己要翻阅文档时，保险销售人员在屏幕打开相应客户的翻阅控制权；此时，双录app发送翻阅控制转移消息给所有小程序端，消息中指定翻阅控制转移的目标小程序端；目标小程序端接收到消息后，则打开翻阅功能，允许客户在屏幕上进行文档翻阅；其它非目标小程序接收到翻阅控制转移的消息后，表示后续只接收来自该目标小程序端的翻阅消息；目标小程序端的客户翻阅时，目标小程序端以类似步骤(b)中的方式发送翻阅消息给双录app和其它小程序端，双录app和其它非目标小程序端进行同步翻阅；(d) 客户在视频通话中向保险销售人员表达自己已翻阅好文档时，保险销售人员在屏幕关闭该客户的翻阅控制权；双录app发送翻阅控制转移消息给所有小程序端，消息中指定翻阅控制转移的目标为双录app；原目标小程序接收到消息后，则取消翻阅功能；其它非目标小程序接收到翻阅控制转移的消息后，表示后续只接收来双录app的翻阅消息；(e) 当一个客户正在翻阅文档时，其他客户在视频通话中向保险销售人员表达自己要翻阅文档时，保险销售人员在屏幕直接打开第二个客户的翻阅控制；此时，双录app发送翻阅控制转移消息给所有小程序端，消息中指定翻阅控制转移的目标小程序端为第二个客户的小程序端；后续的流程与步骤(c)和(d)中类似；(f) 文档阅读完成后，保险销售人员在双录app上点击阅读完成，双录app关闭当前文档并发送文档阅读完成消息给所有小程序端；小程序接收到消息后，则关闭当前文档，整个文档同步阅读过程结束。
8.上述的一种远程双录时app与小程序间文档同步阅读的控制方法，其中：
交互消息的定义在上面的交互场景，有下面四类消息：文档阅读开始、翻阅、翻阅控制转移、文档阅读结束；每个消息包含共同属性：消息类型、阅读的文档url、消息发送者、消息目标、消息时间戳、消息参数；那么一个消息可以定义为：msg[msgtype, docurl, sender, target, timestamp, param[...]] 其各参数的含义如下：msgtype：表示消息类型，可定义取值：start-文档阅读开始、scroll-翻阅、control-翻阅控制转移、end-文档阅读结束；docurl：表示将阅读的文档的url地址；sender：表示消息发送者的用户id；target：表示消息接收目标的用户id（若为所有双录参与人员用户，则用*表示）；timestamp：表示消息时间戳（该值由双录后台服务接收到消息后进行赋值）；param：表示消息参数，不同的消息类型的消息，消息参数不同：start类型：消息参数如下：
‑ꢀ
controller，翻阅控制者用户id；scroll类型：包含下面消息参数：
‑ꢀ
position，表示文档位置，取值为：head(文档起始)、tail(文档末尾)、onpage(页面中)；
‑ꢀ
page，表示页数，position为onpage时有效；
‑ꢀ
percent，表示当前页的位置百分数，position为onpage时有效。
[0009]
control类型：消息参数如下：
‑ꢀ
controller，翻阅控制者用户id；end类型：无消息参数；双录app或远程双录小程序根据实际的场景发送对应类型的消息给双录后台服务；双录后台服务接收到消息后，将接收到的消息的时间戳赋值为当前服务器时间，并放入本次远程双录的消息队列中；双录app或各小程序端进行长轮询查询消息时，长轮询查询时需携带上次获取的最后一条消息的时间戳，后台服务返回消息队列中时间戳大于查询时间戳、消息目标包含了该查询者、消息发送者不为查询者的所有消息。
[0010]
上述的一种远程双录时app与小程序间文档同步阅读的控制方法，其中：交互流程，上述6个场景中双录app、双录后台服务、各小程序间的消息交互及对应处理。
[0011]
与现有技术相比，本发明的有益效果是：在远程双录中，使用本方案文档同步阅读的方法，可以基于通用的音视频通话的同时，实现保险销售人员和客户之间实现文档同步展示阅读。这样既可以提高远程双录时的客户体验，也能够让录制出的视频满足监管的要求。同时，本方案使用了简单消息进行交互，交互数据量小，占用网络带宽小，不会挤占同时进行的音视频通话的带宽。
[0012]
说明书附图图1为conformer 声学编码结构的示意图。
[0013]
图2为基于整句的自注意力机制的示意图。
具体实施方式
[0014]
下面将结合实施例对本发明的实施方案进行详细描述，但是本领域技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。
[0015]
缩略语和关键术语定义双录：录音录像远程双录：保险销售人员在本地，客户在远程进行双录的模式app：应用程序小程序：微信小程序应用用户id：实时音视频通话时分配的用户标识url: 全球统一的资源访问地址本发明主要从远程双录的实际需求出发，提出了一个轻量级的交互协议来实现在远程双录中的文档同步阅读，该交互协议不仅仅能支持同屏阅读，还能支持任意端进行翻阅控制，而且每端同屏阅读时可以根据智能设备的实际屏幕大小进行适屏展示。
[0016]
在远程双录中，在双录开始前，所有双录参与方都加入到实时音视频通话中，并且每个加入方都会被分配一个用户id；然后开始启动双录，并逐环节进行双录。在整个过程中，都是由保险销售人员通过双录app来主导双录过程，客户（投保人、被投保人）通过远程双录小程序来参与；双录app和远程双录小程序则可以借助双录后台服务来进行数据消息的交换，整体系统架构如图1所示。
[0017]
双录app与远程双录小程序之间的数据消息交互可以基于http/https协议来实现。当任意一端需要发送数据消息时，通过http/https请求将数据消息发送给双录后台服务，其它端则可以通过http/https长轮询请求来获取数据消息，从而完成各端之间的数据消息的发送和接收。
[0018]
本发明针对“播报话术和展示电子文档”、“播报话术和展示电子文档及客户电子签名”这两个环节，基于上面的系统架构提出了一个交互协议来实现双录app和远程双录小程序各端间同步进行文档翻阅。在交互过程中，双录app和远程双录小程序可以使用音视频通话中的用户id进行标识。下面就交互场景、交互消息的定义以及消息交互流程展示具体的描述。
[0019]
（1）交互场景在双录的电子文档展示环节中，消息交互主要包括下面几个场景：(a) 在双录环节的“话术播报”结束后，双录app发送开始加载文档并展示的消息，在该消息中包含文档的url信息，并指定文档翻阅控制者为自己。各小程序端接收到该消息后，根据文档的url信息开始加载该文档并进行展示，并准备接收来自双录app的翻阅消息。
[0020]
(b) 当保险销售人员在双录app中翻阅文档时，双录app每隔相同的时间间隔（比如1秒）发送翻阅信息，消息包含当前文档阅读到的位置信息（页码，页面位置百分数）。如果已翻阅到文档末尾，则直接发送一个标记已移到文档末尾特殊翻阅消息。各小程序端接收到消息后，以匀速的方式在时间间隔内将文档翻阅到消息中的位置。
[0021]
(c) 客户在视频通话中向保险销售人员表达自己要翻阅文档时，保险销售人员在屏幕打开相应客户的翻阅控制权。此时，双录app发送翻阅控制转移消息给所有小程序端，消息中指定翻阅控制转移的目标小程序端。目标小程序端接收到消息后，则打开翻阅功能，允许客户在屏幕上进行文档翻阅）；其它非目标小程序接收到翻阅控制转移的消息后，表示后续只接收来自该目标小程序端的翻阅消息。目标小程序端的客户翻阅时，目标小程序端以类似步骤(b)中的方式发送翻阅消息给双录app和其它小程序端，双录app和其它非目标小程序端进行同步翻阅。
[0022]
(d) 客户在视频通话中向保险销售人员表达自己已翻阅好文档时，保险销售人员在屏幕关闭该客户的翻阅控制权。双录app发送翻阅控制转移消息给所有小程序端，消息中指定翻阅控制转移的目标为双录app。原目标小程序接收到消息后，则取消翻阅功能；其它非目标小程序接收到翻阅控制转移的消息后，表示后续只接收来双录app的翻阅消息。
[0023]
(e) 当一个客户正在翻阅文档时，其他客户在视频通话中向保险销售人员表达自己要翻阅文档时，保险销售人员在屏幕直接打开第二个客户的翻阅控制。此时，双录app发送翻阅控制转移消息给所有小程序端，消息中指定翻阅控制转移的目标小程序端为第二个客户的小程序端。后续的流程与步骤(c)和(d)中类似。
[0024]
(f) 文档阅读完成后，保险销售人员在双录app上点击阅读完成，双录app关闭当前文档并发送文档阅读完成消息给所有小程序端；小程序接收到消息后，则关闭当前文档。整个文档同步阅读过程结束。
[0025]
（2）交互消息的定义在上面的交互场景，主要有下面四类消息：文档阅读开始、翻阅、翻阅控制转移、文档阅读结束。每个消息包含共同属性：消息类型、阅读的文档url、消息发送者、消息目标、消息时间戳、消息参数。那么一个消息可以定义为：msg[msgtype, docurl, sender, target, timestamp, param[...]] 其各参数的含义如下：msgtype：表示消息类型，可定义取值：start-文档阅读开始、scroll-翻阅、control-翻阅控制转移、end-文档阅读结束；docurl：表示将阅读的文档的url地址；sender：表示消息发送者的用户id；target：表示消息接收目标的用户id（若为所有双录参与人员用户，则用*表示）；timestamp：表示消息时间戳（该值由双录后台服务接收到消息后进行赋值）；param：表示消息参数，不同的消息类型的消息，消息参数不同：start类型：消息参数如下：
‑ꢀ
controller，翻阅控制者用户id。
[0026]
scroll类型：包含下面消息参数：
‑ꢀ
position，表示文档位置，取值为：head(文档起始)、tail(文档末尾)、onpage(页面中)；
‑ꢀ
page，表示页数，position为onpage时有效；
‑ꢀ
percent，表示当前页的位置百分数，position为onpage时有效。
[0027]
control类型：消息参数如下：
‑ꢀ
controller，翻阅控制者用户id。
[0028]
end类型：无消息参数。
[0029]
双录app或远程双录小程序根据实际的场景发送对应类型的消息给双录后台服务；双录后台服务接收到消息后，将接收到的消息的时间戳赋值为当前服务器时间，并放入本次远程双录的消息队列中。双录app或各小程序端进行长轮询查询消息时（长轮询查询时需携带上次获取的最后一条消息的时间戳），后台服务返回消息队列中时间戳大于查询时间戳、消息目标包含了该查询者、消息发送者不为查询者的所有消息。
[0030]
（3）交互流程图2为交互流程图，说明了在前面描述的6个场景中双录app、双录后台服务、各小程序间的消息交互及对应的处理的流程。
技术特征：1.一种远程双录时app与小程序间文档同步阅读的控制方法，其特征在于，双录app与远程双录小程序之间的数据消息交互基于http/https协议来实现，当任意一端需要发送数据消息时，通过http/https请求将数据消息发送给双录后台服务，其它端则通过http/https长轮询请求来获取数据消息，从而完成各端之间的数据消息的发送和接收；针对播报话术和展示电子文档、播报话术和展示电子文档及客户电子签名这两个环节，通过交互协议来实现双录app和远程双录小程序各端间同步进行文档翻阅，在交互过程中，双录app和远程双录小程序使用音视频通话中的用户id进行标识。2.如权利要求1所述的一种远程双录时app与小程序间文档同步阅读的控制方法，其特征在于，交互场景、交互消息的定义以及消息交互流程展示为：交互场景：在双录的电子文档展示环节中，消息交互主要包括下面几个场景：(a) 在双录环节的话术播报结束后，双录app发送开始加载文档并展示的消息，在该消息中包含文档的url信息，并指定文档翻阅控制者为自己；各小程序端接收到该消息后，根据文档的url信息开始加载该文档并进行展示，并准备接收来自双录app的翻阅消息；(b) 当保险销售人员在双录app中翻阅文档时，双录app每隔相同的时间间隔发送翻阅信息，消息包含当前文档阅读到的位置信息；如果已翻阅到文档末尾，则直接发送一个标记已移到文档末尾特殊翻阅消息，各小程序端接收到消息后，以匀速的方式在时间间隔内将文档翻阅到消息中的位置；(c) 客户在视频通话中向保险销售人员表达自己要翻阅文档时，保险销售人员在屏幕打开相应客户的翻阅控制权；此时，双录app发送翻阅控制转移消息给所有小程序端，消息中指定翻阅控制转移的目标小程序端；目标小程序端接收到消息后，则打开翻阅功能，允许客户在屏幕上进行文档翻阅；其它非目标小程序接收到翻阅控制转移的消息后，表示后续只接收来自该目标小程序端的翻阅消息；目标小程序端的客户翻阅时，目标小程序端以类似步骤(b)中的方式发送翻阅消息给双录app和其它小程序端，双录app和其它非目标小程序端进行同步翻阅；(d) 客户在视频通话中向保险销售人员表达自己已翻阅好文档时，保险销售人员在屏幕关闭该客户的翻阅控制权；双录app发送翻阅控制转移消息给所有小程序端，消息中指定翻阅控制转移的目标为双录app；原目标小程序接收到消息后，则取消翻阅功能；其它非目标小程序接收到翻阅控制转移的消息后，表示后续只接收来双录app的翻阅消息；(e) 当一个客户正在翻阅文档时，其他客户在视频通话中向保险销售人员表达自己要翻阅文档时，保险销售人员在屏幕直接打开第二个客户的翻阅控制；此时，双录app发送翻阅控制转移消息给所有小程序端，消息中指定翻阅控制转移的目标小程序端为第二个客户的小程序端；后续的流程与步骤(c)和(d)中类似；(f) 文档阅读完成后，保险销售人员在双录app上点击阅读完成，双录app关闭当前文档并发送文档阅读完成消息给所有小程序端；小程序接收到消息后，则关闭当前文档，整个文档同步阅读过程结束。3.如权利要求1所述的一种远程双录时app与小程序间文档同步阅读的控制方法，其特征在于：交互消息的定义：在上面的交互场景，有下面四类消息：文档阅读开始、翻阅、翻阅控制转移、文档阅读结束；每个消息包含共同属性：消息类型、阅读的文档url、消息发送者、消息目标、消息时间戳、消息参数；那么一个消息可以定义为：msg[msgtype, docurl, sender, target, timestamp, param[...]]其各参数的含义如下：msgtype：表示消息类型，可定义取值：start-文档阅读开始、scroll-翻阅、control-翻阅控制转移、end-文档阅读结束；
docurl：表示将阅读的文档的url地址；sender：表示消息发送者的用户id；target：表示消息接收目标的用户id（若为所有双录参与人员用户，则用*表示）；timestamp：表示消息时间戳（该值由双录后台服务接收到消息后进行赋值）；param：表示消息参数，不同的消息类型的消息，消息参数不同：start类型：消息参数如下：
‑ꢀ
controller，翻阅控制者用户id；scroll类型：包含下面消息参数：
‑ꢀ
position，表示文档位置，取值为：head(文档起始)、tail(文档末尾)、onpage(页面中)；
‑ꢀ
page，表示页数，position为onpage时有效；
‑ꢀ
percent，表示当前页的位置百分数，position为onpage时有效；control类型：消息参数如下
‑ꢀ
controller，翻阅控制者用户id；end类型：无消息参数；双录app或远程双录小程序根据实际的场景发送对应类型的消息给双录后台服务；双录后台服务接收到消息后，将接收到的消息的时间戳赋值为当前服务器时间，并放入本次远程双录的消息队列中；双录app或各小程序端进行长轮询查询消息时，长轮询查询时需携带上次获取的最后一条消息的时间戳，后台服务返回消息队列中时间戳大于查询时间戳、消息目标包含了该查询者、消息发送者不为查询者的所有消息。4.如权利要求1所述的一种远程双录时app与小程序间文档同步阅读的控制方法，其特征在于：交互流程，上述6个场景中双录app、双录后台服务、各小程序间的消息交互及对应处理。
技术总结本发明公开了一种远程双录时APP与小程序间文档同步阅读的控制方法，双录APP与远程双录小程序之间的数据消息交互基于HTTP/HTTPS协议来实现，当任意一端需要发送数据消息时，通过HTTP/HTTPS请求将数据消息发送给双录后台服务，其它端则通过HTTP/HTTPS长轮询请求来获取数据消息，从而完成各端之间的数据消息的发送和接收。在远程双录中，使用本方案文档同步阅读的方法，可以基于通用的音视频通话的同时，实现保险销售人员和客户之间实现文档同步展示阅读。这样既可以提高远程双录时的客户体验，也能够让录制出的视频满足监管的要求。也能够让录制出的视频满足监管的要求。也能够让录制出的视频满足监管的要求。
技术研发人员：张建明 周文 周紫薇
受保护的技术使用者：太平人寿保险有限公司
技术研发日：2022.07.05
技术公布日：2022/11/1
