数据处理方法、数据处理装置、计算机设备及存储介质与流程

专利2023-10-08  96



1.本技术涉及大数据处理技术领域,特别涉及一种数据处理方法、数据处理装置、计算机设备及非易失性计算机可读存储介质。


背景技术:

2.开发人员在测试过程中,可能遇到目标的测试用户不在画像平台里面的情况,但即使目标的测试用户在平台中,也需要开发人员手动圈选人群来生成人群,或者需要开发人员手动更新人群。这样就有可能造成测试进度的堵塞,会浪费大量的人力和时间。


技术实现要素:

3.为解决上述背景技术中的至少一个技术问题,本技术实施方式提供了一种数据处理方法、数据处理装置、计算机设备及非易失性计算机可读存储介质。
4.本技术实施方式的数据处理方法包括:创建基于spring boot框架的项目;在所述项目中定义请求接口及接收参数类型;通过所述请求接口接收与所述接收参数类型对应的参数内容;基于所述参数内容在画像平台中进行目标人群的选择。
5.在某些实施方式中,所述在所述项目中定义请求接口,包括:注册所述请求接口;对所述请求接口进行接口路径和请求方法的定义。
6.在某些实施方式中,所述接收参数类型包括接收项目、接收人群信息、接收标签、接收符合所述接收标签的用户信息。
7.在某些实施方式中,所述数据处理方法还包括:设置用于访问所述画像平台的访问接口;所述基于所述参数内容在画像平台中进行目标人群的选择,包括:通过所述访问接口在所述画像平台中基于所述参数内容进行目标人群的选择。
8.在某些实施方式中,所述数据处理方法还包括:基于所述参数内容生成格式化文件;所述通过所述访问接口在所述画像平台中基于所述参数内容进行目标人群的选择,包括:判断所述格式化文件中的所述接收人群信息对应的参数内容是否传值;若是,则通过所述访问接口访问所述画像平台的人群,并在所述画像平台中将所述标签对应的参数内容添加到所述人群中以实现所述目标人群的选择。
9.在某些实施方式中,所述通过所述访问接口在所述画像平台中基于所述参数内容进行目标人群的选择,还包括:若否,则通过所述访问接口,在所述画像平台中根据所述标签对应的参数内容生成新的人群以作为所述目标人群。
10.在某些实施方式中,所述数据处理方法还包括:对所述项目进行打包以获得项目包;
11.执行所述项目包以完成所述项目的启动。
12.本技术实施方式的所述数据处理装置包括:创建模块,用于创建基于springboot框架的项目;定义模块,用于在所述项目中定义请求接口及接收参数类型;接收模块,用于通过所述请求接口接收与所述接收参数类型对应的参数内容;选择模块,用于基于所述参
数内容在画像平台中进行目标人群的选择。
13.本技术实施方式的计算机设备包括:一个或多个处理器;存储器;及一个或多个计算机程序,其中,所述一个或多个计算机程序被存储在所述存储器中,并被配置为由所述一个或多个处理器执行,所述一个或多个计算程序配置用于:执行本技术任一实施方式所述的数据处理方法。
14.本技术实施方式的非易失性计算机可读存储介质存储有计算机程序,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行本技术任一实施方式所述的数据处理方法。
15.本技术实施方式的数据处理方法、数据处理装置、计算机设备及非易失性计算机可读存储介质基于springboot服务,根据开发人员的标签要求和人群要求,可以快速的在画像平台生成标签数据和人群圈选数据,数据可靠性强,易用性高,能满足开发人员的对测试的要求,极大的提高了测试效率。
16.本技术实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
附图说明
17.本技术的上述和/或附加的方面和优点可以从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
18.图1为本技术第一实施方式的数据处理方法的流程示意图;
19.图2为本技术某些实施方式的数据处理装置的模块示意图;
20.图3为本技术第二实施方式的数据处理方法的流程示意图;
21.图4为本技术第三实施方式的数据处理方法的流程示意图;
22.图5为本技术第四实施方式的数据处理方法的流程示意图;
23.图6为本技术第五实施方式的数据处理方法的流程示意图;
24.图7为本技术某些实施方式的计算机可读存储介质与处理器通信的示意图;
25.图8为本技术某些实施方式的计算机设备的示意图。
具体实施方式
26.下面详细描述本技术的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本技术的实施方式,而不能理解为对本技术的实施方式的限制。
27.请参阅图1,本技术实施方式提供一种数据处理方法。数据处理方法包括:
28.01:创建基于springboot框架的项目;
29.02:在项目中定义请求接口及接收参数类型;
30.03:通过请求接口接收与接收参数类型对应的参数内容;
31.04:基于参数内容在画像平台中进行目标人群的选择。
32.请参阅图2,本技术实施方式还提供一种数据处理装置10。本技术实施方式的数据处理方法可以由本技术实施方式的数据处理装置10实现。数据处理装置10包括创建模块
11、定义模块12、接收模块13及选择模块14。步骤01可以由创建模块11实现。步骤02可以由定义模块12实现。步骤03可以由接收模块13实现。步骤04可以由选择模块14实现。也即是说,创建模块11可以用于创建基于springboot框架的项目。定义模块12可以用于在项目中定义请求接口及接收参数类型。接收模块13用于通过请求接口接收与接收参数类型对应的接收参数内容。选择模块14用于基于参数内容在画像平台中进行目标人群的选择。
33.作为一个示例,可以使用项目管理工具maven创建项目,并使用项目管理工具maven注解《parent》《/parent》在项目中添加spring boot为基础框架,由此得到基于spring boot框架的项目。
34.随后,可以在该项目中定义请求接口及接收参数类型。在一个示例中,接收参数类型包括接收项目(projectid)、接收人群信息(sysid)、接收标签(taginfo)、接收符合接收标签的用户信息(userid)。其中,接收项目这一接收参数类型对应的参数内容可以理解为开发人员基于选择的目标人群进行测试所用到的测试项目。接收人群信息这一接收参数类型对应的参数内容可以理解为人群的id。接收标签这一接收参数类型对应的参数内容可以理解为用于标识人群的标签。接收符合接收标签的用户信息这一参数类型对应的参数内容可以理解为符合标签的用户的属性、偏好、生活习惯、行为等信息。
35.随后,可以基于定义的请求接口接收与接收参数类型对应的参数内容。随后,再基于接收的参数内容再画像平台中进行目标人群的选择。
36.可以理解,开发人员需要用到标签数据和人群信息进行测试时,由于画像标签数据是在大数据集群(如hive)里计算加载到画像平台(如神策系统),存在需要的数据不能及时的加载到画像平台的情况,此时开发人员就必须在画像平台中手动编写格式化文件。此外,开发人员还要根据不同的情况输入不同的参数,以调用画像平台中的相应工具,从而获取满足业务要求的标签数据。另外,标签数据中的有些敏感字段还需要进行加密处理,每增加一个标签数据,开发人员就需要重复执行多次加密操作。另外,开发人员还要根据开发的项目的要求在画像平台进行目标人群的圈选。由此可见,相关技术存在以下问题:(1)操作成本比较高:要获得所需的标签数据,开发人员需要了解画像平台的规则,再基于规则来获取所需要的标签数据,然而,对于开发人员来说,这种操作可能只需要执行一次即可,但开发人员却需要耗费较多时间了解画像平台的规则;(2)时间成本高:开发人员导入一次数据需要大量的时间加密文件,调试文件格式;(3)开发人员需要登陆画像平台进行目标人群的圈选,需要搞懂画像平台的业务逻辑,会浪费大量的时间。
37.本技术实施方式的数据处理方法及数据处理装置10基于spring boot服务,根据开发人员的标签要求和人群要求,可以快速的在画像平台生成标签数据和人群圈选数据,数据可靠性强,易用性高,能满足开发人员的对测试的要求,极大的提高了测试效率。并且,本技术实施方式的数据处理方法及数据处理装置10能够快速批量的在画像平台上写入数据,减少了配置参数执行脚本的时间。此外,无论人群信息在画像平台是否存在,开发人员都可以使用这个方法,快速的把符合自己的业务标签的人群圈选出来。
38.请参阅图3,在某些实施方式中,步骤02在项目中定义请求接口,包括:
39.021:注册请求接口;
40.022:对请求接口进行接口路径和请求方法的定义。
41.请再参阅图2,在某些实施方式中,步骤02可以由定义模块12实现。也即是说,定义
模块12可以用于注册请求接口,并对请求接口进行接口路径和请求方法的定义。
42.作为一个示例,spring boot框架中具有请求(requests)模块,请求模块中具有@restcontroller工具和@requestmapping工具,@restcontroller工具可以注册请求接口,@requestmapping工具可以定义接口路径和请求方法,其中,请求方法可以定义为get请求。
43.另外,作为一个示例,步骤02在项目中定义接收参数类型中,可以利用请求模块中的@requestparam工具定义该接收参数类型。
44.需要说明的是,此处的定义模块12即可理解为spring boot中的请求模块。
45.请参阅图4,在某些实施方式中,数据处理方法还包括:
46.05:设置用于访问画像平台的访问接口;
47.步骤04基于参数内容在画像平台中进行目标人群的选择,包括:
48.041:通过访问接口在画像平台中基于参数内容进行目标人群的选择。
49.请再参阅图2,在某些实施方式中,数据处理装置10还包括设置模块15。步骤05可以由设置模块15实现。步骤041可以由选择模块14实现。也即是说,设置模块15可以用于设置用于访问画像平台的访问接口。选择模块14可以用于通过访问接口在画像平台中基于参数内容进行目标人群的选择。
50.作为一个示例,可以使用项目管理工具maven在基于spring boot框架的项目中增加okhttp依赖,okhttp作为访问画像平台的访问接口。在步骤04中选择目标人群时,测试人员无需登录画像平台,可以直接通过okhttp这一访问接口来实现画像平台的访问,由此省略了测试人员登录画像平台的步骤,有利于提高测试效率。
51.作为一个示例,使用项目管理工具maven在基于spring boot框架的项目中增加okhttp依赖,可以通过配置项目管理工具maven的配置pom.xml文件实现。具体地,可以在该pom.xml文件中通过属性设置工具的名称和版本号,将基于spring boot框架的项目所需的okhttp依赖通过maven项目管理工具添加到该项目中。
52.请参阅图5,在某些实施方式中,数据处理方法还包括:
53.06:基于参数内容生成格式化文件;
54.步骤041通过访问接口在画像平台中基于参数内容进行目标人群的选择,包括:
55.0411:判断格式化文件中的接收人群信息对应的参数内容是否传值;
56.0412:若是,则通过访问接口访问画像平台的人群,并在画像平台中将标签对应的参数内容添加到人群中以实现目标人群的选择;
57.0413:若否,则通过访问接口,在画像平台中根据标签对应的参数内容生成新的人群以作为目标人群。
58.请再参阅图2,在某些实施方式中,数据处理装置10还包括生成模块16。步骤06可以由生成模块16实现。也即是说,生成模块16可以用于基于参数内容生成格式化文件。选择模块14还可以用于判断格式化文件中的接收人群信息对应的参数内容是否传值。选择模块14还可以用于在接收人群信息对应的参数内容传值时,通过访问接口访问画像平台的人群,并在画像平台中将标签对应的参数内容添加到人群中以实现目标人群的选择。选择模块14还可以用于在接收人群信息对应的参数内容没有传值时,通过访问接口,在画像平台中根据标签对应的参数内容生成新的人群以作为目标人群。
59.作为一个示例,springboot框架中还包括服务(service)模块和工具(tools)模
块。服务模块用于业务逻辑加工。工具模块用于格式化文件校验。具体地,服务模块处理接收到的与接收参数类型projectid、taginfo和userid对应的具体的参数内容,并生成符合开发人员要求的标签数据。工具模块对符合开发人员要求的标签数据进行加工生成符合画像平台要求的标签数据文件并进行格式化操作,从而生成格式化文件。
60.生成格式化文件后,可以把含有符合开发人员要求的标签数据的格式化文件在画像平台的服务器上,利用画像平台的工具执行该格式化文件,以把标签数据导入画像平台。
61.随后,判断格式化文件中是否有接收人群信息这一接收参数类型对应的参数内容(也即判断格式化文件中接收人群信息这一接收参数类型对应的参数内容是否传值)。若格式化文件中存在接收人群信息这一接收参数类型对应的参数内容(也即画像平台中已存在目标人群,具有目标人群的id),则可以通过前述的访问口访问画像平台,拉取该画像平台中人群的存储规则信息,并根据人群存储规则把接收标签对应的参数内容(即新增的标签)添加到人群中,该被添加新增的标签的人群即为开发人员要选择的目标人群。如果格式化文件中不存在接收人群信息这一接收参数类型对应的参数内容(也即画像平台中不存在目标人群,没有目标人群的id),就会在画像平台根据根据接收标签对应的参数内容(即新增的标签)生成新的人群,该新的人群即为开发人员要选择的目标人群。
62.本技术实施方式的数据处理方法可以快速批量的在画像平台的服务器端根据参数生成符合要求的格式化文件,根据输入参数调用脚本实现数据导入的功能,节约了大量的测试时间,消除了无用测试的风险。此外,开发人员可以根据原有的人群策略,在不删除原有的人群id的情况下快速的添加符合标签的人员信息。另外,开发人员不用在画像平台人工配置人群信息,只需输入标签信息及人群id就可以快速的圈选目标人群,极大的节约测试人力。
63.请参阅图6,在某些实施方式中,数据处理方法还包括:
64.07:对项目进行打包以获得项目包;
65.08:执行项目包以完成项目的启动。
66.请再参阅图2,在某些实施方式中,数据处理装置10还包括打包模块17和执行模块18。步骤07可以由打包模块17实现。步骤08可以由执行模块18实现。也即是说,打包模块17可以用于对项目进行打包以获得项目包。执行模块18可以用于执行项目包以完成项目的启动。
67.作为一个示例,项目管理工具可以执行mvnpackage以完成前述的pom.xml文件的依赖以及完成基于spring boot框架的项目包的打包工作,获得项目包。随后,项目管理工具可以将打包好的项目包,执行java-jar${jar包}的命令,以使得基于springboot框架的项目完成启动。可以理解,spring boot框架是java编写的,部署执行需要使用java-jar命令执行jar才可以使用。此外,本技术实施方式的数据处理方法是基于springboot框架编写的,只有基于springboot框架的项目包启动完成才可以访问使用。
68.需要说明的是,数据处理装置10实施本技术任一实施方式的数据处理方法时的实施细节及所达到的效果,可以参考上述对数据处理方法的描述,在此不再赘述。
69.此外,请参阅图7,本技术实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现以上任一实施方式所述的数据处理方法。其中,所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、
硬盘、光盘、cd-rom、和磁光盘)、rom(read-only memory,只读存储器)、ram(random access memory,随即存储器)、eprom(erasable programmable read-only memory,可擦写可编程只读存储器)、eeprom(electrically erasable programmable read-only memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储设备包括由设备(例如,计算机、手机)以能够读的形式存储或传输信息的任何介质,可以是只读存储器,磁盘或光盘等。
70.本技术方法实施例的内容均适用于本存储介质实施例,本存储介质实施例所具体实现的功能与上述方法实施例相同,并且达到的有益效果与上述方法达到的有益效果也相同,具体请参见方法实施例中的说明,在此不再赘述。
71.此外,请参阅图8,本技术实施例还提供了一种计算机设备,本实施例所述的计算机设备可以是服务器、个人计算机以及网络设备等设备。所述计算机设备包括一个或多个处理器、存储器、以及一个或多个计算机程序。其中一个或多个计算机程序被存储在存储器中并被配置为由一个或多个处理器执行。一个或多个计算机程序配置用于执行以上任一实施方式所述的数据处理方法。
72.综上,本技术实施方式的数据处理方法、数据处理装置10、计算机设备及存储介质,基于spring boot服务,根据开发人员的标签要求和人群要求,可以快速的在画像平台生成标签数据和人群圈选数据,数据可靠性强,易用性高,能满足开发人员的对测试的要求,极大的提高了测试效率。
73.在本说明书的描述中,参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
74.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本技术的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本技术的实施例所属技术领域的技术人员所理解。
75.尽管上面已经示出和描述了本技术的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本技术的限制,本领域的普通技术人员在本技术的范围内可以对上述实施方式进行变化、修改、替换和变型。

技术特征:
1.一种数据处理方法,其特征在于,所述数据处理方法包括:创建基于springboot框架的项目;在所述项目中定义请求接口及接收参数类型;通过所述请求接口接收与所述接收参数类型对应的参数内容;基于所述参数内容在画像平台中进行目标人群的选择。2.根据权利要求1所述的数据处理方法,其特征在于,所述在所述项目中定义请求接口,包括:注册所述请求接口;对所述请求接口进行接口路径和请求方法的定义。3.根据权利要求1或2所述的数据处理方法,其特征在于,所述接收参数类型包括接收项目、接收人群信息、接收标签、接收符合所述接收标签的用户信息。4.根据权利要求3所述的数据处理方法,其特征在于,所述数据处理方法还包括:设置用于访问所述画像平台的访问接口;所述基于所述参数内容在画像平台中进行目标人群的选择,包括:通过所述访问接口在所述画像平台中基于所述参数内容进行目标人群的选择。5.根据权利要求4所述的数据处理方法,其特征在于,所述数据处理方法还包括:基于所述参数内容生成格式化文件;所述通过所述访问接口在所述画像平台中基于所述参数内容进行目标人群的选择,包括:判断所述格式化文件中的所述接收人群信息对应的参数内容是否传值;若是,则通过所述访问接口访问所述画像平台的人群,并在所述画像平台中将所述接收标签对应的参数内容添加到所述人群中以实现所述目标人群的选择。6.根据权利要求5所述的数据处理方法,其特征在于,所述通过所述访问接口在所述画像平台中基于所述参数内容进行目标人群的选择,还包括:若否,则通过所述访问接口,在所述画像平台中根据所述接收标签对应的参数内容生成新的人群以作为所述目标人群。7.根据权利要求1所述的数据处理方法,其特征在于,所述数据处理方法还包括:对所述项目进行打包以获得项目包;执行所述项目包以完成所述项目的启动。8.一种数据处理装置,其特征在于,所述数据处理装置包括:创建模块,用于创建基于springboot框架的项目;定义模块,用于在所述项目中定义请求接口及接收参数类型;接收模块,用于通过所述请求接口接收与所述接收参数类型对应的参数内容;选择模块,用于基于所述参数内容在画像平台中进行目标人群的选择。9.一种计算机设备,其特征在于,包括:一个或多个处理器;存储器;及一个或多个计算机程序,其中,所述一个或多个计算机程序被存储在所述存储器中,并被配置为由所述一个或多个处理器执行,所述一个或多个计算程序配置用于:执行权利要
求1至7任意一项所述的数据处理方法。10.一种存储有计算机程序的非易失性计算机可读存储介质,其特征在于,当所述计算机程序被一个或多个处理器执行时,使得所述处理器执行权利要求1至7任意一项所述的数据处理方法。

技术总结
本申请公开了一种数据处理方法、数据处理装置、计算机设备及存储介质。数据处理方法包括:创建基于spring boot框架的项目;在项目中定义请求接口及接收参数类型;通过请求接口接收与接收参数类型对应的参数内容;基于参数内容在画像平台中进行目标人群的选择。本申请的数据处理方法、数据处理装置、计算机设备及存储介质基于spring boot服务,根据开发人员的标签要求和人群要求,可以快速的在画像平台生成标签数据和人群圈选数据,数据可靠性强,易用性高,能满足开发人员的对测试的要求,极大的提高了测试效率。的提高了测试效率。的提高了测试效率。


技术研发人员:董帅 王文艳
受保护的技术使用者:深圳依时货拉拉科技有限公司
技术研发日:2022.07.19
技术公布日:2022/11/1
转载请注明原文地址: https://tieba.8miu.com/read-5567.html

最新回复(0)