1.本发明涉及互联网交互技术领域，尤其涉及一种埋点数据实时采集方法和装置、埋点数据实时上报方法和装置、埋点数据实时获取系统和终端。
背景技术：2.数据埋点让产品或运营等相关人员能按照具体的需求，定制性地统计较为复杂的用户数据。例如，在想要追踪用户的行为、观察页面相关点击数据或者是分析某个事件活动效果时，就需要事先进行数据埋点，然后在用户使用应用程序时通过预先设置的数据埋点采集相应的数据，进行分析研究。
3.现有的埋点采集方式通常设置有埋点数据采集阈值，即埋点数据均需采集到一定数量或一定程度才会进行埋点上报，但是该种埋点采集方式会因为用户卸载而导致部分埋点数据丢失。进一步用户端在使用应用程序时某些关键信息是需要实时进行采集的，显然现有的埋点数据采集方式无法实现实时采集。
4.同时常规的埋点数据采集需要服务端手动开发，并进行应用程序发包，通过对应用程序整体更新来实现埋点标识的更新，该种方式开发成本较高，且无法进行更新的老版本应用程序无法实现新更新埋点标识数据的采集。
技术实现要素：5.本发明所要解决的技术问题是现有的埋点数据采集方式无法实现实时数据的采集，且现有的埋点数据采集方式只能通过更新应用程序的方式来实现埋点标识的更新，该过程复杂且开发成本较高。
6.为了解决上述技术问题，本发明提供了一种埋点数据实时采集方法，包括：
7.将新创建配置文件发送给用户端，以作为所述用户端的执行配置文件，所述新创建配置文件包括所有需实时采集数据的埋点标识；
8.实时接收所述用户端基于所述执行配置文件返回的埋点数据，并将所述埋点数据存储到存储文件中；
9.通过日志收集工具对所述存储文件中的埋点数据进行日志采集，以获取日志数据，并将所述日志数据传输给埋点数据存储器。
10.优选地，所述埋点数据包括埋点标识和详细业务数据。
11.为了解决上述技术问题，本发明还提供了一种埋点数据实时上报方法，包括：
12.获取所述服务端发送的新创建配置文件，以作为执行配置文件；
13.实时监控用户是否进行了所述执行配置文件中埋点标识对应的操作，若是则基于进行埋点标识对应操作的埋点标识以及对应操作的详细业务数据生成埋点数据，并将所述埋点数据传输给服务端，否则继续监控用户是否进行了所述执行配置文件中的埋点标识对应的活动。
14.优选地，获取所述服务端发送的新创建配置文件，以作为执行配置文件步骤包括：
15.每当获取到配置文件更新信号时，则向所述服务端获取新创建配置文件；
16.判断获取所述新创建配置文件是否成功，若成功则将获取的所述新创建配置文件作为执行配置文件，否则将本地配置文件作为执行配置文件；
17.其中，所述本地配置文件为上次获取成功的新创建配置文件。
18.优选地，所述配置文件更新信号为用户每天首次打开待实时获取埋点数据的应用程序信号，或接收到服务端发送的新创建配置文件生成信号。
19.优选地，将所述埋点数据传输给服务端包括：基于服务端地址将所述埋点数据传输给所述服务端。
20.为了解决上述技术问题，本发明还提供了一种埋点数据实时采集装置，包括配置文件发送模块、埋点数据接收模块和日志数据采集模块；
21.所述配置文件发送模块，用于将新创建配置文件发送给用户端，以作为所述用户端的执行配置文件，所述新创建配置文件包括所有需实时采集数据的埋点标识；
22.所述埋点数据接收模块，用于实时接收所述用户端基于所述执行配置文件返回的埋点数据，并将所述埋点数据存储到存储文件中；
23.所述日志数据采集模块，用于通过日志收集工具对所述存储文件中的埋点数据进行日志采集，以获取日志数据，并将所述日志数据传输给埋点数据存储器。
24.为了解决上述技术问题，本发明还提供了一种埋点数据实时上报装置，包括执行配置文件确定模块和埋点数据生成模块；
25.所述执行配置文件确定模块，用于获取所述服务端发送的新创建配置文件，以作为执行配置文件；
26.所述埋点数据生成模块，用于实时监控用户是否进行了所述执行配置文件中埋点标识对应的操作，若是则基于进行埋点标识对应操作的埋点标识以及对应操作的详细业务数据生成埋点数据，并将所述埋点数据传输给服务端，否则继续监控用户是否进行了所述执行配置文件中的埋点标识对应的活动。
27.为了解决上述技术问题，本发明还提供了一种埋点数据实时获取系统，包括埋点数据实时采集装置和埋点数据实时上报装置。
28.为了解决上述技术问题，本发明还提供了一种终端，包括：第一处理器、第二处理器以及存储器，所述第一处理器和第二处理器均与所述存储器之间通信连接；
29.所述存储器用于存储计算机程序，所述第一处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述埋点数据实时采集方法，所述第二处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述埋点数据实时采集方法。
30.与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：
31.应用本发明实施例提供的埋点数据实时采集方法和埋点数据实时上报方法，通过生成新创建配置文件并发送给用户端的形式，以更新用户端所需进行数据采集的埋点标识，进而实现动态添加用户操作数据的实时采集；用户端实时监控并采集用户进行埋点标识相关操作数据，并将采集到的数据传输给服务端，以实现用户端对服务端接口的实时调用，保证了数据完整性；通过日志收集工具对采集到的埋点数据进行日志采集，实现服务器接口只存储日志数据不进行入库操作，提高服务器接口性能和吞吐量；将采集到的日志数
据传输到埋点数据存储器中，以实现日志数据异步上传，进行数据落地。
32.本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
33.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中：
34.图1示出了本发明实施例一埋点数据实时采集方法的流程示意图；
35.图2示出了本发明实施例二埋点数据实时上报方法的流程示意图；
36.图3示出了本发明实施例三埋点数据实时采集装置的结构示意图；
37.图4示出了本发明实施例四埋点数据实时采集装置的结构示意图；
38.图5示出了本发明实施例五埋点数据实时获取系统的结构示意图；
39.图6示出了本发明实施例六终端的结构示意图。
具体实施方式
40.以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
41.本发明主要通过将更新埋点标识以新创建配置文件的形式下发给客户端，客户端基于新创建配置文件动态采集埋点标识的详细业务数据，并将采集的埋点数据反馈给服务端，服务端采用日志收集工具对埋点数据进行日志采集，以实现服务器接口只存储日志数据不进行入库操作，提高服务器接口性能和吞吐量。
42.实施例一
43.为解决现有技术中存在的技术问题，本发明实施例提供了一种埋点数据实时采集方法。
44.图1示出了本发明实施例一埋点数据实时采集方法的流程示意图；参考图1所示，本发明实施例埋点数据实时采集方法包括如下步骤。
45.步骤s101，将新创建配置文件发送给用户端，以作为用户端的执行配置文件，新创建配置文件包括所有需实时采集数据的埋点标识。
46.具体地，每当需要更新用户端进行埋点数据采集的埋点标识时，服务端基于用户端所有需实时采集数据的埋点标识创建配置文件，并将新创建的配置文件发送发给用户端，以作为用户端的执行配置文件。需要说明的是，新创建配置文件包括用户端所有需进行实时采集数据的埋点标识。
47.步骤s102，实时接收用户端基于执行配置文件返回的埋点数据，并将埋点数据存储到存储文件中。
48.具体地，用户端获取新创建配置文件后，会基于新创建配置文件实时采集埋点数据，并将埋点数据反馈给服务端。服务端实时接收用户端反馈的埋点数据，并将埋点数据存
储到存储文件中。服务端接口的入参格式为：埋点标识+详细业务数据，因此为了将埋点数据传输至服务器接口，需将埋点数据格式设置为埋点标识+详细业务数据形式，即埋点数据需包括埋点标识以及埋点标识对应的详细业务数据形式。服务端接口可实现将埋点数据存储到存储文件中。需要说明的是，埋点标识与详细业务数据为对应关系，即在执行每个埋点标识时，均会生成对应的详细业务数据，详细业务数据中存储有执行对应埋点标识所产生的入参参数和出参参数。
49.步骤s103，通过日志收集工具对存储文件中的埋点数据进行日志采集，以获取日志数据，并将日志数据传输给埋点数据存储器。
50.具体地，当埋点数据存储至存储文件中后，服务端通过日志收集工具对存储文件中的埋点数据进行日志采集，以获取日志数据；而后实时将获取的日志数据存储于埋点数据存储器中。埋点数据存储器提供对应接口，以对日志数据进行接收，并对接收到的日志数据进行解析并存储。优选地，日志收集工具为fluent bit。
51.本发明实施例提供的埋点数据实时采集方法，通过生成新创建配置文件并发送给用户端的形式，以更新用户端所需进行数据采集的埋点标识，进而实现动态添加用户操作数据的实时采集；通过日志收集工具对采集到的埋点数据进行日志采集，实现服务器接口只存储日志数据不进行入库操作，提高服务器接口性能和吞吐量；将采集到的日志数据传输到埋点数据存储器中，以实现日志数据异步上传，进行数据落地。
52.实施例二
53.为解决现有技术中存在的技术问题，本发明实施例提供了一种埋点数据实时上报方法。
54.图2示出了本发明实施例二埋点数据实时上报方法的流程示意图；参考图2所示，本发明实施例埋点数据实时上报方法包括如下步骤。
55.步骤s201，获取服务端发送的新创建配置文件，以作为执行配置文件。
56.具体地，获取到服务段发送的新创建配置文件后，需基于新创建配置文件设置执行配置文件。该过程进一步为：当获取到配置文件更新信号时，则执行向服务端获取新创建配置文件操作；由于获取新创建配置文件操作在操作过程中可能由于网络环境等原因存在获取失败的情况，因此在设置执行配置文件时候，需先判断获取新创建配置文件操作是否成功，若成功则将获取到的新创建配置文件作为执行配置文件，否则将本地配置文件作为执行配置文件；其中本地配置文件为上次获取成功的新创建配置文件。
57.配置文件更新信号可设置为用户每天首次打开待实时获取埋点数据的应用程序信号，即每天用户首次打开对应应用程序时，即需向服务端获取新创建配置文件，该种设置可对客户端的执行配置文件进行实时更新，以确保所获取的埋点数据为最新想要获取的埋点标识的埋点数据。
58.进一步地，配置文件更新信号还可设置为服务端发送的新创建配置文件生成信号，即为了避免相同新创建配置文件重复获取，可在服务端每创建一个新创建配置文件时，即向用户端发送新创建配置文件生成信号；用户端每接收到新创建配置文件生成信号时，即表示创建配置文件有更新，即需从服务端获取最新版的新创建配置文件。
59.步骤s202，实时监控用户是否进行了执行配置文件中埋点标识对应的操作；若是则基于进行埋点标识对应操作的埋点标识以及对应操作的详细业务数据生成埋点数据，并
将埋点数据传输给服务端，否则继续监控用户是否进行了执行配置文件中的埋点标识对应的活动。
60.具体地，用户端确定执行配置文件后，需对执行配置文件中的所有埋点标识进行读取；而后基于读取到的埋点标识对用户执行操作进行监控，以确定用户是否进行了执行配置文件中埋点标识对应的操作，若是则基于进行埋点标识对应操作的埋点标识以及对应操作的详细业务数据生成埋点数据，并将埋点数据传输给服务端；即若执行配置文件中包含埋点标识a，当监控到用户执行了埋点标识a的操作时，基于埋点标识a以及执行埋点标识a操作生成的详细业务数据生成埋点数据，而后将埋点数据传输给服务端。若用户没有进行执行配置文件中埋点标识对应的操作，则继续判断下一时刻用户是否进行了执行配置文件中埋点标识对应的操作。通过该种监控方式可实时采集用户执行相关埋点标识的埋点数据。
61.本实施例埋点数据实时上报方法可与实施例一埋点数据实时采集方法形成数据交互，进而形成埋点数据实时获取方法，其中各步骤的数据交互方式以及各步骤的具体内容，本实施例以及实施例一已经详细说明，在此不再对其进行过多赘述。
62.本发明实施例提供的埋点数据实时上报方法，用户端实时监控并采集用户进行埋点标识相关操作数据，并将采集到的数据传输给服务端，以实现用户端对服务端接口的实时调用，保证了数据完整性。
63.实施例三
64.为解决现有技术中存在的技术问题，本发明实施例提供了一种埋点数据实时采集装置。
65.图3示出了本发明实施例三埋点数据实时采集装置的结构示意图；参考图3所示，本发明实施例埋点数据实时采集装置包括配置文件发送模块、埋点数据接收模块和日志数据采集模块。
66.配置文件发送模块用于将新创建配置文件发送给用户端，以作为用户端的执行配置文件，新创建配置文件包括所有需实时采集数据的埋点标识。
67.埋点数据接收模块用于实时接收用户端基于执行配置文件返回的埋点数据，并将埋点数据存储到存储文件中。
68.日志数据采集模块用于通过日志收集工具对存储文件中的埋点数据进行日志采集，以获取日志数据，并将日志数据传输给埋点数据存储器。
69.本发明实施例提供的埋点数据实时采集装置，通过生成新创建配置文件并发送给用户端的形式，以更新用户端所需进行数据采集的埋点标识，进而实现动态添加用户操作数据的实时采集；通过日志收集工具对采集到的埋点数据进行日志采集，实现服务器接口只存储日志数据不进行入库操作，提高服务器接口性能和吞吐量；将采集到的日志数据传输到埋点数据存储器中，以实现日志数据异步上传，进行数据落地。
70.实施例四
71.为解决现有技术中存在的技术问题，本发明实施例提供了一种埋点数据实时上报装置。
72.图4示出了本发明实施例四埋点数据实时采集装置的结构示意图；参考图4所示，本发明实施例埋点数据实时采集装置包括执行配置文件确定模块和埋点数据生成模块。
73.执行配置文件确定模块用于获取服务端发送的新创建配置文件，以作为执行配置文件。
74.埋点数据生成模块用于实时监控用户是否进行了执行配置文件中埋点标识对应的操作，若是则基于进行埋点标识对应操作的埋点标识以及对应操作的详细业务数据生成埋点数据，并将埋点数据传输给服务端，否则继续监控用户是否进行了执行配置文件中的埋点标识对应的活动。
75.本发明实施例提供的埋点数据实时上报装置，用户端实时监控并采集用户进行埋点标识相关操作数据，并将采集到的数据传输给服务端，以实现用户端对服务端接口的实时调用，保证了数据完整性。
76.实施例五
77.为解决现有技术中存在的技术问题，本发明实施例提供了一种埋点数据实时获取系统。
78.图5示出了本发明实施例五埋点数据实时获取系统的结构示意图；参考图5所示，本发明实施例埋点数据实时获取系统包括埋点数据实时采集装置和埋点数据实时上报装置。
79.其中埋点数据实时采集装置的具体细节与实施例三中的埋点数据实时采集装置相同，在此不再对其进行赘述。
80.其中埋点数据实时上报装置的具体细节与实施例四中的埋点数据实时采集装置相同，在此不再对其进行赘述。
81.本发明实施例提供的埋点数据实时获取系统，通过生成新创建配置文件并发送给用户端的形式，以更新用户端所需进行数据采集的埋点标识，进而实现动态添加用户操作数据的实时采集；用户端实时监控并采集用户进行埋点标识相关操作数据，并将采集到的数据传输给服务端，以实现用户端对服务端接口的实时调用，保证了数据完整性；通过日志收集工具对采集到的埋点数据进行日志采集，实现服务器接口只存储日志数据不进行入库操作，提高服务器接口性能和吞吐量；将采集到的日志数据传输到埋点数据存储器中，以实现日志数据异步上传，进行数据落地。
82.实施例六
83.为解决现有技术中存在的技术问题，本发明实施例提供了一种终端。
84.图6示出了本发明实施例六终端的结构示意图，参照图6，本实施例终端包括第一处理器、第二处理器和存储器，其中第一处理器和第二处理器均与存储器通信连接。存储器用于存储计算机程序，第一处理器用于执行存储器存储的计算机程序，以使终端执行时可实现实施例一埋点数据实时采集方法中的所有步骤；第二处理器用于执行存储器存储的计算机程序，以使终端执行时可实现实施例二埋点数据实时上报方法中的所有步骤。
85.埋点数据实时采集方法的具体步骤以及应用本发明实施例提供的终端获取的有益效果均与实施例一相同，在此不在对其进行赘述。埋点数据实时上报方法的具体步骤以及应用本发明实施例提供的终端获取的有益效果均与实施例二相同，在此不在对其进行赘述。
86.需要说明的是，存储器可能包含随机存取存储器(random access memory，简称ram)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
同理处理器也可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(field programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
87.虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。
技术特征：1.一种埋点数据实时采集方法，包括：将新创建配置文件发送给用户端，以作为所述用户端的执行配置文件，所述新创建配置文件包括所有需实时采集数据的埋点标识；实时接收所述用户端基于所述执行配置文件返回的埋点数据，并将所述埋点数据存储到存储文件中；通过日志收集工具对所述存储文件中的埋点数据进行日志采集，以获取日志数据，并将所述日志数据传输给埋点数据存储器。2.根据权利要求1所述的方法，其特征在于，所述埋点数据包括埋点标识和详细业务数据。3.一种埋点数据实时上报方法，包括：获取服务端发送的新创建配置文件，以作为执行配置文件；实时监控用户是否进行了所述执行配置文件中埋点标识对应的操作，若是则基于进行埋点标识对应操作的埋点标识以及对应操作的详细业务数据生成埋点数据，并将所述埋点数据传输给服务端，否则继续监控用户是否进行了所述执行配置文件中的埋点标识对应的活动。4.根据权利要求3所述的方法，其特征在于，获取所述服务端发送的新创建配置文件，以作为执行配置文件步骤包括：每当获取到配置文件更新信号时，则向所述服务端获取新创建配置文件；判断获取所述新创建配置文件是否成功，若成功则将获取的所述新创建配置文件作为执行配置文件，否则将本地配置文件作为执行配置文件；其中，所述本地配置文件为上次获取成功的新创建配置文件。5.根据权利要求4所述的方法，其特征在于，所述配置文件更新信号为用户每天首次打开待实时获取埋点数据的应用程序信号，或接收到服务端发送的新创建配置文件生成信号。6.根据权利要求3所述的方法，其特征在于，将所述埋点数据传输给服务端包括：基于服务端地址将所述埋点数据传输给所述服务端。7.一种埋点数据实时采集装置，其特征在于，包括配置文件发送模块、埋点数据接收模块和日志数据采集模块；所述配置文件发送模块，用于将新创建配置文件发送给用户端，以作为所述用户端的执行配置文件，所述新创建配置文件包括所有需实时采集数据的埋点标识；所述埋点数据接收模块，用于实时接收所述用户端基于所述执行配置文件返回的埋点数据，并将所述埋点数据存储到存储文件中；所述日志数据采集模块，用于通过日志收集工具对所述存储文件中的埋点数据进行日志采集，以获取日志数据，并将所述日志数据传输给埋点数据存储器。8.一种埋点数据实时上报装置，其特征在于，包括执行配置文件确定模块和埋点数据生成模块；所述执行配置文件确定模块，用于获取服务端发送的新创建配置文件，以作为执行配置文件；所述埋点数据生成模块，用于实时监控用户是否进行了所述执行配置文件中埋点标识
对应的操作，若是则基于进行埋点标识对应操作的埋点标识以及对应操作的详细业务数据生成埋点数据，并将所述埋点数据传输给服务端，否则继续监控用户是否进行了所述执行配置文件中的埋点标识对应的活动。9.一种埋点数据实时获取系统，其特征在于，包括权利要求7所述的埋点数据实时采集装置和权利要求8所述的埋点数据实时上报装置。10.一种终端，其特征在于，包括：第一处理器、第二处理器以及存储器，所述第一处理器和第二处理器均与所述存储器之间通信连接；所述存储器用于存储计算机程序，所述第一处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至2中任一项所述埋点数据实时采集方法，所述第二处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求3至6中任一项所述埋点数据实时采集方法。
技术总结本发明公开了一种埋点数据实时采集和上报方法及装置、获取系统和终端，其中埋点数据实时采集方法，包括：将新创建配置文件发送给用户端，以作为用户端的执行配置文件，新创建配置文件包括所有需实时采集数据的埋点标识；实时接收用户端基于执行配置文件返回的埋点数据，并将埋点数据存储到存储文件中；通过日志收集工具对存储文件中的埋点数据进行日志采集，以获取日志数据，并将日志数据传输给埋点数据存储器。本发明实现动态添加用户操作数据的实时采集；可实现用户端对服务端接口的实时调用，保证了数据完整性；通过日志收集工具对采集到的埋点数据进行日志采集，实现服务器接口只存储日志数据不进行入库操作，提高服务器接口性能和吞吐量。器接口性能和吞吐量。器接口性能和吞吐量。
技术研发人员：魏安稳 宋建明 柴敏
受保护的技术使用者：杭州米络星科技（集团）有限公司
技术研发日：2022.07.20
技术公布日：2022/11/1
