本申请涉及智慧家庭,具体而言,涉及一种用于大模型分层计算的任务调度方法及装置、电子设备。
背景技术:
1、目前,在大模型时代下,智能家居、智慧家庭全面升级,为了满足智能家居和智慧家庭在大模型时代的需求,考虑到家庭终端的硬件资源通常有限且分散,如果想要在智慧家庭终端更好的使用大模型技术,需要考虑使用模型分层计算的方式,通过家里的多个硬件计算设备实现分布式计算,进而实现大型深度学习模型的高效运行。
2、为了实现大模型的分布式计算,相关技术公开了一种分布式深度学习框架,使用d2d(device-to-device,设备联网)通信的边缘计算模型。能够将计算任务的部分任务分配到网络的边缘设备上执行,例如智能手机、平板电脑等。
3、在实现本公开实施例的过程中,发现相关技术中至少存在如下问题:
4、网络的边缘设备计算能力和存储空间相对有限,相关技术向边缘设备分配计算任务时不够准确,将大模型分配至计算能力和存储空间相对较小的边缘设备后,可能无法有效地运行大型深度学习模型。
5、需要说明的是,在上述背景技术部分公开的信息仅用于加强对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、为了对披露的实施例的一些方面有基本的理解,下面给出了简单的概括。所述概括不是泛泛评述,也不是要确定关键/重要组成元素或描绘这些实施例的保护范围,而是作为后面的详细说明的序言。
2、本公开实施例提供了一种用于大模型分层计算的任务调度方法及装置、电子设备,能够使得分配计算任务时更加准确。
3、在一些实施例中,用于大模型分层计算的任务调度方法包括:获得大模型的待分配模型层参数;确定待选家电计算设备的第一计算状态参数;其中,第一计算状态参数包括每一家电计算设备的计算负载参数、网络延迟参数和可用算力参数中的一种或多种;将待分配模型层参数和第一计算状态参数作为深度学习网络的状态输入值,并获得深度学习网络基于状态输入值所输出的多个动作输出值;根据动作输出值确定待选家电计算设备中的目标家电计算设备,并将大模型的目标模型层分配给目标家电计算设备,以进行大模型分层计算。
4、可选地,根据动作输出值确定待选家电计算设备中的目标家电计算设备,包括:获得动作输出值的所对应的目标输出值;确定动作输出值中与目标输出值的差值最小的目标动作输出值;将目标动作输出值所对应的待选家电计算设备作为目标家电计算设备。
5、可选地,获得动作输出值的所对应的目标输出值,包括按照如下公式计算目标输出值:
6、q=r+γ*maxq(s',a')
7、其中,q为目标输出值,r为奖励值参数,γ为折扣因子,s'为新的计算状态参数,a'为新的动作。
8、可选地,将大模型的目标模型层分配给目标家电计算设备后,还包括:获取待选家电计算设备的第二计算状态参数;其中,第二计算状态参数包括模型计算时长参数、设备计算复杂均衡参数和设备可用算力最大化参数中的一种或多种;根据第二计算状态参数确定深度学习网络的奖励值参数;利用第二计算状态参数和奖励值参数构建经验池中的训练数据,以抽取经验池中的训练数据,训练深度学习网络。
9、可选地,根据第二计算状态参数确定奖励值参数,包括:在第二计算状态参数包括模型计算时长参数、设备计算复杂均衡参数和设备可用算力最大化参数的情况下,按照如下公式计算奖励值参数:
10、r=alpha×tct-beta×bdl-gamma×(1/macp)
11、其中,r为奖励值参数,tct为模型计算时长,bdl为设备计算负载均衡,macp为设备可用算力最大化,alpha、beta和gamma为权重系数。
12、可选地,抽取经验池中的训练数据,训练深度学习网络,包括:利用经验池中的训练数据,对深度学习网络进行迭代训练;其中,迭代训练包括使用随机梯度下降算法优化深度学习网络的参数,最小化深度学习网络的动作训练输出值与学习目标值之间的均方误差。
13、可选地,迭代训练还包括:采用ε-greedy策略选择深度学习网络的动作;其中,ε-greedy策略包括以1-ε的概率选择动作输出值最大的动作,以ε的概率随机选择一个动作。
14、在一些实施例中,用于大模型分层计算的任务调度装置包括:模型分解模块,被配置为将大模型进行分层,获得大模型的待分配模型层参数;设备状态监控模块,被配置为确定待选家电计算设备的第一计算状态参数;其中,第一计算状态参数包括每一家电计算设备的计算负载参数、网络延迟参数和可用算力参数中的一种或多种;深度学习决策模块,与模型分解模块和设备状态监控模块连接,被配置为将待分配模型层参数和第一计算状态参数作为深度学习网络的状态输入值,并获得深度学习网络基于状态输入值所输出的多个动作输出值;任务调度模块,与深度学习决策模块连接,被配置为根据动作输出值确定待选家电计算设备中的目标家电计算设备,并将大模型的目标模型层分配给目标家电计算设备,以进行大模型分层计算。
15、在一些实施例中,用于大模型分层计算的任务调度装置包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行上述的用于大模型分层计算的任务调度方法。
16、在一些实施例中,所述电子设备包括:电子设备本体;和,如上述的用于大模型分层计算的任务调度装置,安装于电子设备本体。
17、本公开实施例提供的用于大模型分层计算的任务调度方法及装置、电子设备,可以实现以下技术效果:
18、本公开实施例中,通过获得待选家电计算设备的第一计算状态参数,能够对选家电计算设备的当前状态进行评估,以便于在进行分配时选择出合适的目标家电计算设备。将待分配模型层参数和第一计算状态参数作为深度学习网络的状态输入值,能够利用深度学习网络进行计算,从而获得分配策略,获得的分配策略能够结合待分配模型层参数和第一计算状态参数的信息。这样,根据动作输出值能够确定的目标家电计算设备与待分配的模型层更加匹配,从而使得分配计算任务时更加准确,进而使得目标家电计算设备有效地运行大型深度学习模型。
19、以上的总体描述和下文中的描述仅是示例性和解释性的,不用于限制本申请。
1.一种用于大模型分层计算的任务调度方法,其特征在于,包括:
2.根据权利要求1所述的任务调度方法,其特征在于,根据动作输出值确定待选家电计算设备中的目标家电计算设备,包括:
3.根据权利要求2所述的任务调度方法,其特征在于,获得动作输出值的所对应的目标输出值,包括按照如下公式计算目标输出值:
4.根据权利要求1、2或3所述的任务调度方法,其特征在于,将大模型的目标模型层分配给目标家电计算设备后,还包括:
5.根据权利要求4所述的任务调度方法,其特征在于,根据第二计算状态参数确定奖励值参数,包括:
6.根据权利要求4所述的任务调度方法,其特征在于,抽取经验池中的训练数据,训练深度学习网络,包括:
7.根据权利要求6所述的任务调度方法,其特征在于,迭代训练还包括:
8.一种用于大模型分层计算的任务调度装置,其特征在于,包括:
9.一种用于大模型分层计算的任务调度装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的用于大模型分层计算的任务调度方法。
10.一种电子设备,其特征在于,包括:
