本技术涉及计算机,尤其涉及一种资源配置方法、装置、电子设备、介质及程序产品。
背景技术:
1、视频推荐系统需要定期使用新数据来重新训练旧的算法模型,以便能够及时推送新资源给不同省份、不同领域和不同的用户群体。为确保新版本算法模型的性能和精准度,需要对各个版本的算法模型进行评估实验。
2、实际业务场景的每秒查询数(queries per second,qps)流量值会随着业务波动持续变化,承载pod的集群节点资源利用率也会随之变化,而相关技术中的算法模型评估实验,实验启动前和实验启动后的容器(pod)数量都处于固定不变的状态,且模型评估实验周期也一般持续较长,这易导致集群节点资源利用率不均衡,致使pod异常引发算法模型评估实验失败,进而影响整个算法模型评估实验的稳定性。
技术实现思路
1、本技术实施例提供一种资源配置方法、装置、电子设备、介质及程序产品,以解决相关算法模型评估实验的稳定性较差的问题。
2、为了解决上述技术问题,本技术是这样实现的:
3、第一方面,本技术实施例提供了一种资源配置方法,该方法包括:
4、根据多个算法服务对应的所有算法模型在第一历史时段的流量使用数据和pod数,确定第一算法服务对应的目标算法模型的评估实验所需的初始实验pod数,所述第一算法服务为所述多个算法服务中的任意一个算法服务;
5、依据所述初始实验pod数,对所述目标算法模型的评估实验进行资源配置,并在配置完成后启动所述评估实验;
6、在所述评估实验的运行过程中,监控所述第一算法服务的资源使用数据,并依据所述资源使用数据对所述评估实验的资源配置进行调整。
7、可选地,所述根据多个算法服务对应的所有算法模型在第一历史时段的流量使用数据和pod数,确定第一算法服务对应的目标算法模型的评估实验所需的初始实验pod数,包括:
8、根据多个算法服务对应的所有算法模型在第一历史时段的流量使用数据和pod数,确定所述所有算法模型的总流量使用数据、每个所述算法模型的流量使用占比和单个pod承载的流量数据;
9、根据所述所有算法模型的总流量使用数据、所述目标算法模型的流量使用占比和所述单个pod承载的流量数据,确定所述目标算法模型的评估实验所需的初始实验pod数。
10、可选地,所述监控所述第一算法服务的资源使用数据,并依据所述资源使用数据对所述评估实验的资源配置进行调整,包括:
11、监控所述目标算法模型在所述评估实验中使用的各pod的资源利用率;
12、在所述各pod的资源利用率均大于第一阈值的情况下,增加所述目标算法模型在所述评估实验中使用的pod数。
13、可选地,所述方法还包括:
14、在所述目标算法模型在所述评估实验中使用的pod中存在第一pod的资源利用率大于第一阈值,且存在第二pod的资源利用率小于第二阈值的情况下,输出第一告警信息,其中,所述第二阈值小于所述第一阈值。
15、可选地,所述监控所述第一算法服务的资源使用数据,并依据所述资源使用数据对所述评估实验的资源配置进行调整,包括:
16、持续第一时长采集所述第一算法服务的实时流量使用数据;
17、根据所述实时流量使用数据和单个pod承载的流量数据,确定目标pod数,并调整所述评估实验中使用的pod数为所述目标pod数,其中,所述单个pod承载的流量数据是根据多个算法服务对应的所有算法模型在所述第一历史时段的流量使用数据和pod数计算得到的。
18、可选地,所述根据所述实时流量使用数据和单个pod承载的流量数据,确定目标pod数,包括:
19、在所述实时流量使用数据中存在持续第二时长的流量峰值数据的情况下,根据所述流量峰值数据和所述单个pod承载的流量数据,确定所述目标pod数,其中,所述第二时长小于所述第一时长。
20、可选地,所述根据所述实时流量使用数据和单个pod承载的流量数据,确定目标pod数,包括:
21、在所述实时流量使用数据中不存在持续第二时长的流量峰值数据的情况下,采用时间预测算法预测所述第一算法服务在未来目标时段的流量使用数据,其中,所述第二时长小于所述第一时长;
22、根据所述第一算法服务在未来目标时段的流量使用数据和单个pod承载的流量数据,确定所述目标pod数。
23、可选地,所述采用时间预测算法预测所述第一算法服务在未来目标时段的流量使用数据,包括:
24、采用至少一个趋势函数计算所述第一算法服务在所述未来目标时段的流量使用数据,其中,所述至少一个趋势函数包括增减性趋势函数、季节性趋势函数和节假趋势函数中的至少一个,所述增减性趋势函数是表征流量使用数据随每日时间段变化的趋势,所述季节性趋势函数是表征流量使用数据随季节周期变化的趋势,所述节假趋势函数是表征流量使用数据随节假日变化的趋势。
25、可选地,所述监控所述第一算法服务的资源使用数据之后,所述方法还包括:
26、对比所述第一算法服务在第二历史时间段内的流量使用数据,和所述第一算法服务在当前时间段的流量使用数据之间的偏差;
27、在所述偏差大于第三阈值的情况下,输出第二告警信息。
28、可选地,所述对比所述第一算法服务在第二历史时间段内的流量使用数据,和所述第一算法服务在当前时间段的流量使用数据之间的偏差,包括:
29、确定所述第一算法服务在所述第二历史时间段内每天各个时间点的流量使用数据,所述第二历史时间段为m天,m为大于1的整数;
30、对所述第一算法服务在所述第二历史时间段的m天中第一时间点的流量使用数据求均值,得到所述第一算法服务在历史的所述第一时间点的平均流量使用数据,所述第一时间点为每天的任一时间点;
31、将所述历史的所述第一时间点的平均流量使用数据除以单个pod承载的流量数据,得到所述第一算法服务在历史的所述第一时间点使用的pod数,其中,所述单个pod承载的流量数据是根据多个算法服务对应的所有算法模型在所述第一历史时段的流量使用数据和pod数计算得到的;
32、确定所述第一算法服务在当前时间段内各个时间点的流量使用数据对应的pod数;
33、确定所述第一算法服务在当前时间段内所述第一时间点的流量使用数据对应的pod数,与所述第一算法服务在历史的所述第一时间点使用的pod数之间的差值。
34、可选地,所述目标算法模型包括至少两个算法模型,所述方法还包括:
35、在所述目标算法模型中的第一算法模型的评估实验结束的情况下,根据所述目标算法模型中各算法模型的流量使用占比,确定待回收pod数;
36、对所述评估实验减少所述待回收pod数。
37、可选地,所述目标算法模型包括第一算法模型和第二算法模型;
38、所述根据所述所有算法模型的总流量使用数据、所述目标算法模型的流量使用占比和所述单个pod承载的流量数据,确定所述目标算法模型的评估实验所需的初始实验pod数,包括:
39、根据所述所有算法模型的总流量使用数据、所述第一算法模型的流量使用占比、所述第二算法模型的流量使用占比和所述单个pod承载的流量数据,分别确定所述第一算法模型的评估实验所需的第一实验pod数,以及所述第二算法模型的评估实验所需的第二实验pod数;
40、将所述第一实验pod数和所述第二实验pod数中的最大实验pod数确定为所述初始实验pod数。
41、第二方面,本技术实施例还提供一种资源配置装置,该资源配置装置包括:
42、第一确定模块,用于根据多个算法服务对应的所有算法模型在第一历史时段的流量使用数据和pod数,确定第一算法服务对应的目标算法模型的评估实验所需的初始实验pod数,所述第一算法服务为所述多个算法服务中的任意一个算法服务;
43、第一配置模块,用于依据所述初始实验pod数,对所述目标算法模型的评估实验进行资源配置,并在配置完成后启动所述评估实验;
44、第一调整模块,用于在所述评估实验的运行过程中,监控所述第一算法服务的资源使用数据,并依据所述资源使用数据对所述评估实验的资源配置进行调整。
45、可选地,所述第一确定模块,包括:
46、第一确定单元,用于根据多个算法服务对应的所有算法模型在第一历史时段的流量使用数据和pod数,确定所述所有算法模型的总流量使用数据、每个所述算法模型的流量使用占比和单个pod承载的流量数据;
47、第二确定单元,用于根据所述所有算法模型的总流量使用数据、所述目标算法模型的流量使用占比和所述单个pod承载的流量数据,确定所述目标算法模型的评估实验所需的初始实验pod数。
48、可选地,所述第一调整模块,包括:
49、第一监控单元,用于监控所述目标算法模型在所述评估实验中使用的各pod的资源利用率;
50、第一处理单元,用于在所述各pod的资源利用率均大于第一阈值的情况下,增加所述目标算法模型在所述评估实验中使用的pod数。
51、可选地,所述装置还包括:
52、第一输出模块,用于在所述目标算法模型在所述评估实验中使用的pod中存在第一pod的资源利用率大于第一阈值,且存在第二pod的资源利用率小于第二阈值的情况下,输出第一告警信息,其中,所述第二阈值小于所述第一阈值。
53、可选地,所述第一调整模块,包括:
54、第一采集单元,用于持续第一时长采集所述第一算法服务的实时流量使用数据;
55、第三确定单元,用于根据所述实时流量使用数据和单个pod承载的流量数据,确定目标pod数,并调整所述评估实验中使用的pod数为所述目标pod数,其中,所述单个pod承载的流量数据是根据多个算法服务对应的所有算法模型在所述第一历史时段的流量使用数据和pod数计算得到的。
56、可选地,所述第三确定单元,包括:
57、第一确定子单元,用于在所述实时流量使用数据中存在持续第二时长的流量峰值数据的情况下,根据所述流量峰值数据和所述单个pod承载的流量数据,确定所述目标pod数,其中,所述第二时长小于所述第一时长。
58、可选地,所述第三确定单元,包括:
59、第一预测子单元,用于在所述实时流量使用数据中不存在持续第二时长的流量峰值数据的情况下,采用时间预测算法预测所述第一算法服务在未来目标时段的流量使用数据,其中,所述第二时长小于所述第一时长;
60、第二确定子单元,用于根据所述第一算法服务在未来目标时段的流量使用数据和单个pod承载的流量数据,确定所述目标pod数。
61、可选地,所述第一预测子单元,具体用于:
62、采用至少一个趋势函数计算所述第一算法服务在所述未来目标时段的流量使用数据,其中,所述至少一个趋势函数包括增减性趋势函数、季节性趋势函数和节假趋势函数中的至少一个,所述增减性趋势函数是表征流量使用数据随每日时间段变化的趋势,所述季节性趋势函数是表征流量使用数据随季节周期变化的趋势,所述节假趋势函数是表征流量使用数据随节假日变化的趋势。
63、可选地,所述装置还包括:
64、第一比对模块,用于对比所述第一算法服务在第二历史时间段内的流量使用数据,和所述第一算法服务在当前时间段的流量使用数据之间的偏差;
65、第一输出模块,用于在所述偏差大于第三阈值的情况下,输出第二告警信息。
66、可选地,所述第一比对模块,包括:
67、第四确定单元,用于确定所述第一算法服务在所述第二历史时间段内每天各个时间点的流量使用数据,所述第二历史时间段为m天,m为大于1的整数;
68、第一计算单元,用于对所述第一算法服务在所述第二历史时间段的m天中第一时间点的流量使用数据求均值,得到所述第一算法服务在历史的所述第一时间点的平均流量使用数据,所述第一时间点为每天的任一时间点;
69、第二计算单元,用于将所述历史的所述第一时间点的平均流量使用数据除以单个pod承载的流量数据,得到所述第一算法服务在历史的所述第一时间点使用的pod数,其中,所述单个pod承载的流量数据是根据多个算法服务对应的所有算法模型在所述第一历史时段的流量使用数据和pod数计算得到的;
70、第五确定单元,用于确定所述第一算法服务在当前时间段内各个时间点的流量使用数据对应的pod数;
71、第六确定单元,用于确定所述第一算法服务在当前时间段内所述第一时间点的流量使用数据对应的pod数,与所述第一算法服务在历史的所述第一时间点使用的pod数之间的差值。
72、可选地,所述目标算法模型包括至少两个算法模型,所述装置还包括:
73、第二确定模块,用于在所述目标算法模型中的第一算法模型的评估实验结束的情况下,根据所述目标算法模型中各算法模型的流量使用占比,确定待回收pod数;
74、第一处理模块,用于对所述评估实验减少所述待回收pod数。
75、可选地,所述目标算法模型包括第一算法模型和第二算法模型;
76、所述第一确定模块,包括:
77、第七确定单元,用于根据所述所有算法模型的总流量使用数据、所述第一算法模型的流量使用占比、所述第二算法模型的流量使用占比和所述单个pod承载的流量数据,分别确定所述第一算法模型的评估实验所需的第一实验pod数,以及所述第二算法模型的评估实验所需的第二实验pod数;
78、第八确定单元,用于将所述第一实验pod数和所述第二实验pod数中的最大实验pod数确定为所述初始实验pod数。
79、第三方面,本技术实施例还提供一种电子设备,包括收发机和处理器,所述处理器用于:
80、根据多个算法服务对应的所有算法模型在第一历史时段的流量使用数据和pod数,确定第一算法服务对应的目标算法模型的评估实验所需的初始实验pod数,所述第一算法服务为所述多个算法服务中的任意一个算法服务;
81、依据所述初始实验pod数,对所述目标算法模型的评估实验进行资源配置,并在配置完成后启动所述评估实验;
82、在所述评估实验的运行过程中,监控所述第一算法服务的资源使用数据,并依据所述资源使用数据对所述评估实验的资源配置进行调整。
83、可选地,所述处理器具体用于:
84、根据多个算法服务对应的所有算法模型在第一历史时段的流量使用数据和pod数,确定所述所有算法模型的总流量使用数据、每个所述算法模型的流量使用占比和单个pod承载的流量数据;
85、根据所述所有算法模型的总流量使用数据、所述目标算法模型的流量使用占比和所述单个pod承载的流量数据,确定所述目标算法模型的评估实验所需的初始实验pod数。
86、可选地,所述处理器具体用于:
87、监控所述目标算法模型在所述评估实验中使用的各pod的资源利用率;
88、在所述各pod的资源利用率均大于第一阈值的情况下,增加所述目标算法模型在所述评估实验中使用的pod数。
89、可选地,所述收发机用于:
90、在所述目标算法模型在所述评估实验中使用的pod中存在第一pod的资源利用率大于第一阈值,且存在第二pod的资源利用率小于第二阈值的情况下,输出第一告警信息,其中,所述第二阈值小于所述第一阈值。
91、可选地,所述处理器具体用于:
92、持续第一时长采集所述第一算法服务的实时流量使用数据;
93、根据所述实时流量使用数据和单个pod承载的流量数据,确定目标pod数,并调整所述评估实验中使用的pod数为所述目标pod数,其中,所述单个pod承载的流量数据是根据多个算法服务对应的所有算法模型在所述第一历史时段的流量使用数据和pod数计算得到的。
94、可选地,所述处理器具体用于:
95、在所述实时流量使用数据中存在持续第二时长的流量峰值数据的情况下,根据所述流量峰值数据和所述单个pod承载的流量数据,确定所述目标pod数,其中,所述第二时长小于所述第一时长。
96、可选地,所述处理器具体用于:
97、在所述实时流量使用数据中不存在持续第二时长的流量峰值数据的情况下,采用时间预测算法预测所述第一算法服务在未来目标时段的流量使用数据,其中,所述第二时长小于所述第一时长;
98、根据所述第一算法服务在未来目标时段的流量使用数据和单个pod承载的流量数据,确定所述目标pod数。
99、可选地,所述处理器具体用于:
100、采用至少一个趋势函数计算所述第一算法服务在所述未来目标时段的流量使用数据,其中,所述至少一个趋势函数包括增减性趋势函数、季节性趋势函数和节假趋势函数中的至少一个,所述增减性趋势函数是表征流量使用数据随每日时间段变化的趋势,所述季节性趋势函数是表征流量使用数据随季节周期变化的趋势,所述节假趋势函数是表征流量使用数据随节假日变化的趋势。
101、可选地,所述收发机还用于:
102、对比所述第一算法服务在第二历史时间段内的流量使用数据,和所述第一算法服务在当前时间段的流量使用数据之间的偏差;
103、在所述偏差大于第三阈值的情况下,输出第二告警信息。
104、可选地,所述处理器具体用于:
105、确定所述第一算法服务在所述第二历史时间段内每天各个时间点的流量使用数据,所述第二历史时间段为m天,m为大于1的整数;
106、对所述第一算法服务在所述第二历史时间段的m天中第一时间点的流量使用数据求均值,得到所述第一算法服务在历史的所述第一时间点的平均流量使用数据,所述第一时间点为每天的任一时间点;
107、将所述历史的所述第一时间点的平均流量使用数据除以单个pod承载的流量数据,得到所述第一算法服务在历史的所述第一时间点使用的pod数,其中,所述单个pod承载的流量数据是根据多个算法服务对应的所有算法模型在所述第一历史时段的流量使用数据和pod数计算得到的;
108、确定所述第一算法服务在当前时间段内各个时间点的流量使用数据对应的pod数;
109、确定所述第一算法服务在当前时间段内所述第一时间点的流量使用数据对应的pod数,与所述第一算法服务在历史的所述第一时间点使用的pod数之间的差值。
110、可选地,所述目标算法模型包括至少两个算法模型,所述处理器还用于:
111、在所述目标算法模型中的第一算法模型的评估实验结束的情况下,根据所述目标算法模型中各算法模型的流量使用占比,确定待回收pod数;
112、对所述评估实验减少所述待回收pod数。
113、可选地,所述目标算法模型包括第一算法模型和第二算法模型;
114、所述处理器具体用于:
115、根据所述所有算法模型的总流量使用数据、所述第一算法模型的流量使用占比、所述第二算法模型的流量使用占比和所述单个pod承载的流量数据,分别确定所述第一算法模型的评估实验所需的第一实验pod数,以及所述第二算法模型的评估实验所需的第二实验pod数;
116、将所述第一实验pod数和所述第二实验pod数中的最大实验pod数确定为所述初始实验pod数。
117、第四方面,本技术实施例还提供一种电子设备,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现上述的资源配置方法的步骤。
118、第五方面,本技术实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述的资源配置方法的步骤。
119、第六方面,提供一种计算机程序产品,包括计算机指令,该计算机指令被处理器执行时实现如第一方面所述的资源配置方法的步骤。
120、本技术实施例的资源配置方法,包括根据多个算法服务对应的所有算法模型在第一历史时段的流量使用数据和pod数,确定第一算法服务对应的目标算法模型的评估实验所需的初始实验pod数;依据所述初始实验pod数,对所述目标算法模型的评估实验进行资源配置,并在配置完成后启动所述评估实验;在所述评估实验的运行过程中,监控所述第一算法服务的资源使用数据,并依据所述资源使用数据对所述评估实验的资源配置进行调整。该方法中,在评估实验的准备阶段,根据历史的流量使用数据和pod数确定第一算法服务的目标算法模型的评估实验所需的初始实验pod数以启动评估实验,在评估实验的运行阶段,根据第一算法服务的资源使用数据对评估实验的资源配置进行动态调整,从而能够提升整个算法评估实验过程的稳定性。
1.一种资源配置方法,其特征在于,所述方法包括:
2.根据权利要求1所述的资源配置方法,其特征在于,所述根据多个算法服务对应的所有算法模型在第一历史时段的流量使用数据和pod数,确定第一算法服务对应的目标算法模型的评估实验所需的初始实验pod数,包括:
3.根据权利要求1所述的资源配置方法,其特征在于,所述监控所述第一算法服务的资源使用数据,并依据所述资源使用数据对所述评估实验的资源配置进行调整,包括:
4.根据权利要求3所述的资源配置方法,其特征在于,所述方法还包括:
5.根据权利要求1所述的资源配置方法,其特征在于,所述监控所述第一算法服务的资源使用数据,并依据所述资源使用数据对所述评估实验的资源配置进行调整,包括:
6.根据权利要求5所述的资源配置方法,其特征在于,所述根据所述实时流量使用数据和单个pod承载的流量数据,确定目标pod数,包括:
7.根据权利要求5所述的资源配置方法,其特征在于,所述根据所述实时流量使用数据和单个pod承载的流量数据,确定目标pod数,包括:
8.根据权利要求7所述的资源配置方法,其特征在于,所述采用时间预测算法预测所述第一算法服务在未来目标时段的流量使用数据,包括:
9.根据权利要求1所述的资源配置方法,其特征在于,所述监控所述第一算法服务的资源使用数据之后,所述方法还包括:
10.根据权利要求9所述的资源配置方法,其特征在于,所述对比所述第一算法服务在第二历史时间段内的流量使用数据,和所述第一算法服务在当前时间段的流量使用数据之间的偏差,包括:
11.根据权利要求1所述的资源配置方法,其特征在于,所述目标算法模型包括至少两个算法模型,所述方法还包括:
12.根据权利要求2所述的资源配置方法,其特征在于,所述目标算法模型包括第一算法模型和第二算法模型;
13.一种资源配置装置,其特征在于,所述装置包括:
14.一种电子设备,其特征在于,所述电子设备包括收发机和处理器,所述处理器用于:
15.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序被所述处理器执行时实现如权利要求1至12中任一项所述的资源配置方法的步骤。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至12中任一项所述的资源配置方法的步骤。
17.一种计算机程序产品,其特征在于,包括计算机指令,所述计算机指令被处理器执行时实现如权利要求1至12中任一项所述的资源配置方法的步骤。
