数据获取方法、装置、设备和存储介质与流程

专利2026-07-17  0


本发明实施例涉及数据处理,尤其涉及一种数据获取方法、装置、设备和存储介质。


背景技术:

1、在大数据时代,数据的多样性、复杂性和规模性给数据整合和分析带来了前所未有的挑战。多源数据,即不同来源的数据,广泛存在于社交媒体、电子商务、物联网、医疗健康等多个领域。这些数据往往带有各自独特的标签,用于描述数据的内容、属性或分类。由于数据来源的多样性,同一任务的数据标签可能存在不一致性、冗余性或冲突性,导致难以基于标签从多源数据中获取任务所需的目标数据。

2、现有技术中,通常是依赖技术人员手动从多源数据中获取任务所需的目标数据。这种方法虽然在一定程度上满足了业务需求,但是十分耗费人力,还影响任务的处理效率。

3、因此,亟需提出一种新的方法来解决上述问题。


技术实现思路

1、本发明提供一种数据获取方法、装置、设备和存储介质,实现自动在多个数据库中获取任务所需的目标数据,节省了人力成本。

2、第一方面,本发明实施例提供了一种数据获取方法,包括:

3、在当前任务对应的多个数据库中获取任务数据,基于所述任务数据建立标签树,其中,所述任务数据包括数据标签,所述标签树由多个标签层级构成,各所述标签层级至少包括一个数据标签;

4、确定各所述数据标签的置信度计算方式,基于各所述数据标签在所述标签树中所属的标签层级以及所述置信度计算方式计算各所述数据标签的置信度,并根据各所述标签层级内各所述数据标签的所述置信度确定目标数据标签;

5、根据各所述目标数据标签在各所述目标数据标签所对应的数据库中确定目标任务数据。

6、本发明实施例提供了一种数据获取方法,包括:在当前任务对应的多个数据库中获取任务数据,基于任务数据建立标签树,其中,任务数据包括数据标签,标签树由多个标签层级构成,各标签层级至少包括一个数据标签;确定各数据标签的置信度计算方式,基于各数据标签在标签树中所属的标签层级以及置信度计算方式计算各数据标签的置信度,并根据各标签层级内各数据标签的置信度确定目标数据标签;根据各目标数据标签在各目标数据标签所对应的数据库中确定目标任务数据。上述技术方案,先在当前任务对应的多个数据库中获取任务数据,并基于任务数据建立标签树,实现了建立任务数据的标签树。然后通过确定各数据标签的置信度计算方式,提高了计算出的各数据标签的置信度的准确度,再通过各数据标签的置信度确定目标数据标签,最后根据各目标数据标签在各目标数据标签所对应的数据库中确定目标任务数据,实现了自动在多个数据库中获取任务所需的目标数据,从而节省了人力成本。相比于现有技术通过技术人员手动从多源数据中获取任务所需的目标数据,本发明通过建立任务数据的标签树,再基于任务数据的标签树以及确定的置信度计算方式计算各数据标签的置信度,并根据各数据标签的置信度确定目标数据标签,最后根据各目标数据标签确定目标任务数据,可以实现自动在多个数据库中获取任务所需的目标数据,节省了人力成本。

7、第二方面,本发明实施例还提供了一种数据获取装置,该装置包括:

8、获取模块,用于在当前任务对应的多个数据库中获取任务数据,基于所述任务数据建立标签树,其中,所述任务数据包括数据标签,所述标签树由多个标签层级构成,各所述标签层级至少包括一个数据标签;

9、第一确定模块,用于确定各所述数据标签的置信度计算方式,基于各所述数据标签在所述标签树中所属的标签层级以及所述置信度计算方式计算各所述数据标签的置信度,并根据各所述标签层级内各所述数据标签的所述置信度确定目标数据标签;

10、第二确定模块,用于根据各所述目标数据标签在各所述目标数据标签所对应的数据库中确定目标任务数据。

11、第三方面,本发明实施例还提供了一种电子设备,该电子设备包括:

12、至少一个处理器;以及与所述至少一个处理器通信连接的存储器;

13、其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够实现第一方面中任一所述的数据获取方法。

14、第四方面,本发明实施例还提供了一种包含计算机可执行指令的存储介质,

15、所述计算机可执行指令在由计算机处理器执行时实现第一方面中任一所述的数据获取方法。

16、需要说明的是,上述计算机指令可以全部或者部分存储在计算机可读存储介质上。其中,计算机可读存储介质可以与数据获取装置的处理器封装在一起的,也可以与数据获取装置的处理器单独封装,本申请对此不做限定。

17、本申请中第二方面、第三方面以及第四方面的描述,可以参考第一方面的详细描述;并且,第二方面、第三方面以及第四方面的描述的有益效果,可以参考第一方面的有益效果分析,此处不再赘述。

18、在本申请中,上述数据获取装置的名字对设备或功能模块本身不构成限定,在实际实现中,这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似,属于本申请权利要求及其等同技术的范围之内。

19、本申请的这些方面或其他方面在以下的描述中会更加简明易懂。



技术特征:

1.一种数据获取方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数据获取方法,其特征在于,基于所述任务数据建立标签树,包括:

3.根据权利要求1所述的数据获取方法,其特征在于,确定各所述数据标签的置信度计算方式,包括:

4.根据权利要求1所述的数据获取方法,其特征在于,基于各所述数据标签在所述标签树中所属的标签层级以及所述置信度计算方式计算各所述数据标签的置信度,包括:

5.根据权利要求4所述的数据获取方法,其特征在于,在计算所述当前数据标签的置信度之前,还包括:

6.根据权利要求1所述的数据获取方法,其特征在于,根据各所述标签层级内各所述数据标签的所述置信度确定目标数据标签,包括:

7.根据权利要求1所述的数据获取方法,其特征在于,根据各所述目标数据标签在各所述目标数据标签所对应的数据库中确定目标任务数据,包括:

8.一种数据获取装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时实现执行权利要求1-7中任一所述的数据获取方法。


技术总结
本发明公开了一种数据获取方法、装置、设备和存储介质,涉及数据处理技术领域。该方法包括:在当前任务对应的多个数据库中获取任务数据,基于任务数据建立标签树,其中,任务数据包括数据标签,标签树由多个标签层级构成,各标签层级至少包括一个数据标签;确定各数据标签的置信度计算方式,基于各数据标签在标签树中所属的标签层级以及置信度计算方式计算各数据标签的置信度,并根据各标签层级内各数据标签的置信度确定目标数据标签;根据各目标数据标签在各目标数据标签所对应的数据库中确定目标任务数据。通过本发明实施例的技术方案可以实现自动在多个数据库中获取任务所需的目标数据,节省了人力成本。

技术研发人员:王杰,胡兵,柳伯韬,傅强,杨满智,金红,陈晓光
受保护的技术使用者:恒安嘉新(北京)科技股份公司
技术研发日:
技术公布日:2024/11/11
转载请注明原文地址: https://tieba.8miu.com/read-22806.html

最新回复(0)