一种基于数字孪生技术的ar辅助机器人远程操作系统
技术领域
1.本发明涉及数字机器人技术领域，具体涉及一种基于数字孪生技术的ar辅助机器人远程操作系统。
背景技术：2.在当今竞争日益激烈的市场中，制造模式正在向大规模个性化和市场化转变，这相应地导致了对制造系统的高度灵活和自动化要求。为了实现制造业的大规模个性化，各种工业机器人和操作人员都被加入到了制造过程当中。然而，大多数现有机器人系统以常规方式执行预编程任务，没有多少智能，更不用说以协作方式很好地处理个性化任务了。此时需要一个介于全自动制造和全手动制造之间的协同制造系统，能够在数字空间中达到与自动化机器人或其他操作员协同合作的目的。
3.现有专利申请号202110456817.x公开了一种工业机器人的数字孪生实训方法及系统，通过构建相应的数字孪生模型实现物理模型的等价仿真，并获取实训台和工业机器人的实时数据，将所述实时数据输入至实训虚拟模型进行运算；接收所述实训虚拟模型运算所得的仿真结果，最后在虚拟空间中能够完成数字培训平台与实体工业机器人协调一致。
4.现有技术的不足在于缺乏操作员的人为干预，没有达到人与机器人的交互效果，交互性和灵活性较差。
技术实现要素：5.本发明的目的在于提供一种基于数字孪生技术的ar辅助机器人远程操作系统，通过可视化的界面实现了与工业机器人的交互(包括远程控制和协同合作)，灵活的与其他制造机器人协同合作，弥补传统机器人只能按照编辑好的程序操作的短板，且操作方式较为友好，能够大大减少操作员的工作量。
6.本发明的目的可以通过以下技术方案实现：
7.一种基于数字孪生技术的ar辅助机器人远程操作系统，包括ar虚拟模块、实体模块和服务器终端；
8.ar虚拟模块，用于运行ar辅助机器人远程虚拟模型，辅助机器人远程操作；
9.实体模块，包括机器人端和客户端，用于机器人端与客户端的信息交互；
10.服务器终端，用于向机器人端和客户端发送操作指令，同时获取机器人端和客户端的实时数据；
11.将所述实时数输入至ar辅助机器人远程虚拟模型进行运算，接收ar辅助机器人远程虚拟模型运算所得的仿真结果。
12.作为本发明进一步的方案：ar辅助机器人远程虚拟模型通过以下步骤实现：
13.构建多机器人多客户端通信机制，确保ar设备和机器人、机器人和机器人之间信息交互；
14.通过游戏引擎构建机器人物理模型并移植到ar眼镜上，通过在ar设备上的虚拟场景控制对应的数字孪生机器人，输入的相应命令信息通过强化学习算法得到对应的输出结果再返回给物理机器人。
15.作为本发明进一步的方案：游戏引擎采用unity游戏引擎。
16.作为本发明进一步的方案：在虚拟场景中没有被控制的机器人则以其原有的姿态呈现在ar设备中。
17.作为本发明进一步的方案：ar辅助机器人远程虚拟模型中采用强化学习算法对数字孪生机器人上的输入进行计算，通过将任务环境的状态与其自身的运动参数相关联，实施初始化机器人控制策略；
18.再通过返回奖励和与环境的连续试错交互，通过强化学习算法改进相应的控制策略，实现物理机器人和数字孪生机器人的姿态双向映射
19.本发明的有益效果：本发明利用ar设备和数字孪生技术去实现远程操作机器人的功能，在虚拟空间上能够实现人远程控制机器人并与机器人协同合作的功能，能够弥补智能制造过程中传统机器人的功能上的不足，提升制造效率，且能够灵活的适配不同的场景。
附图说明
20.下面结合附图对本发明作进一步的说明。
21.图1是本发明流程图；
22.图2是本发明ar辅助机器人远程操作系统示意图。
具体实施方式
23.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
24.请参阅图1-图2所示，本发明为一种基于数字孪生技术的ar辅助机器人远程操作系统；
25.包括ar虚拟模块、实体模块和服务器终端；
26.ar虚拟模块，用于运行ar辅助机器人远程虚拟模型，辅助机器人远程操作；
27.实体模块，包括机器人端和客户端，用于机器人端与客户端的交互；
28.服务器终端，用于向机器人端和客户端发送操作指令，同时获取机器人端和客户端的实时数据；
29.将所述实时数输入至ar辅助机器人远程虚拟模型进行运算，接收ar辅助机器人远程虚拟模型运算所得的仿真结果。
30.服务器终端作为中转站，包括机器人端的边缘节点，机器人端的边缘节点用于接收机器人端的动作和状态信息以及发送来自客户端的命令信息；
31.还包括机器人端的操作节点，用于接收来自服务器终端的机器人状态信息和发送客户端命令；
32.其中，服务器终端采用sockets通信协议，允许客户端同时控制多个机器人，所有
机器人的状态都与服务器终端(即主节点)同步；
33.主节点：持续接收制造系统中每个机器人的状态更新，同时，各个机器人的状态将分布到连接到同一网络的每个从属节点；
34.边缘节点：连接到机器人客户端的节点，需要上传相应机器人的状态，并接收主节点发送的其他机器人的最新状态。
35.ar辅助机器人远程虚拟模型通过以下步骤实现；
36.s1：通过unity游戏引擎对物理机器人的dt进行物理建模；
37.s2：机器人的dt模型被移植到ar眼镜上；
38.其中，在ar眼镜中，与物理机器人同步的机器人的dt被投影为远程工作空间的全息图，通过物理机器人的映射dt，可以远程控制物理机器人的运动，同时可以通过机器人dt监控和可视化物理机器人的状态；
39.s3：采用强化学习算法对虚拟机器人(数字孪生机器人)上的输入进行计算，通过将任务环境的状态与其自身的运动参数相关联，实施初始化机器人控制策略；
40.s4：通过返回奖励和与环境的连续试错交互，通过强化学习算法改进相应的控制策略，实现物理机器人和其数字孪生模型的姿态双向映射，以达到预期的性能/目标(达到任务中的特定位置)。
41.具体的，ar辅助机器人远程虚拟模型实现机器人虚拟-物理的姿态配准，包括两个阶段，显示模型对齐和关节对齐：
42.在模型对齐阶段，使用已设计好的虚拟3d机器人模型和vuforia引擎，用于在物理和虚拟机器人之间对齐模型目标，以同步显示的机器人位姿；
43.在关节对齐阶段，关节值对齐是基于位姿对齐模型计算关节值转换矩阵，该矩阵可以将ar坐标系中dt的关节值转换为现实世界坐标系中物理机器人的关节值；
44.对于物理机器人位姿更新循环的每次迭代，预期的物理机器人末端执行器位置由人类在ar眼镜中设置，可行的关节值解由基于rl的运动规划算法计算，然后，将物理机器人的关节值转换为虚拟机器人的关节值解；通过将任务环境的状态与其自身的运动参数相关联，初始化机器人控制策略；然后，通过返回奖励和与环境的连续试错交互，通过该算法改进相应的控制策略，以达到预期的性能/目标；
45.通过这种转换，将ar眼镜场景中虚拟机器人的关节值映射到物理机器人的相应关节值，使物理机器人能够与dt同步操作，最后，由于虚拟和真实机器人模型和检测精度之间的微小差异，物理机器人的关节值将在完成运动后发送回虚拟机器人，以修改虚拟机器人的位姿，通过上述步骤，位姿同步可以形成闭环过程，以保持系统稳定并避免误差。
46.其中，s3中强化学习算法的工作过程如下：
47.在机器人运动规划阶段，规划过程被视为一个顺序决策问题，并通过无模型rl方法作为一个偶发任务求解，在每一阶段中，交互轨迹被表示为马尔可夫决策过程(mdp)，mdp是由以下的集合元素组成(s,a,p
sa
,r,γ)；
48.其中，状态空间s是整个规划过程的状态集，在这个状态集例的状态表征s由四个部分组成：d1、机器人；d2:基于机器人坐标系设定的目标位置；d3：基于机器人坐标系的末端执行器位置；d4:目标位置和末端执行器位置之间的距离向量；
49.机器人坐标系是以机器人的底座关节中心为坐标原点，y轴的正方向是导线延伸
的方向，z轴的正方向是底座节点向上的方向，x轴的方向由右手螺旋法则决定；
50.其中，动作空间a是机器人能够转动的关节数，a是选定的操作，奖励r是预期回报的总和:
[0051][0052]
其中，元素r(s,a)由机器人所在的状态表征s和机器人执行的操作a所决定，t表示当前时间；
[0053]
奖励函数r包含以下几个部分：c1：目标位置和末端执行器位置之间的距离标量的绝对值；c2：末端执行器位置到目标位置(奖励期限)；c3：末端执行器的关节脱离工作区域(惩罚条款)；c4：每个关节高度的总和(可选)；
[0054]
γ∈[0,1]是折扣因子，p
sa
是在状态表征s中的执行操作a的转移概率分布。
[0055][0056]
通过以上的设置，任务集从初始状态s0开始，然后机器人在参数随机策略的每个决策区间π(a
t
|s
t
)进行操作a∈a采样，从而调整机器人的节点位置；
[0057]
再根据转移概率分布p
sa
生成下一个决策的下一个状态集s
t+1
，然后机器人从环境得到相应的奖励值r(s,a)；
[0058]
强化学习算法的本质是优化基于执行探索性行动和强化行动的策略π而比机器人预期带来更好的性能，而机器人的预期是由状态值函数v建模得到：
[0059][0060]
其中，h是回合制任务的时间范围。
[0061]
对于机器人的控制，采用经典的ppo rl算法，基于ppo的agent在环境中执行探索，并将每个状态-动作对的实际获得的奖励与估计的奖励进行比较，以形成优势函数
[0062]
a(s
t
,a
t
)＝r
t-v
π
(s
t
)
[0063]
同时，ppo算法使用重要性采样优化采样效率，而ρ
t
是通过重要性抽样生成的更新策略和原始策略之间的概率比；
[0064]
同时在损失函数的约束下，提出了一种直观有效的clip函数，其中ε是clip项的范围，似然函数l
clip
(θ)表达式如下：
[0065][0066]
在clip项的帮助下，如果新旧策略之间的策略更新偏移量超过了预定义的间隔，则clip项会将agent目标剪裁，从而将策略函数更新限制在一定的间隔内，以防止策略更新收敛过快或过慢，从而提高了算法的训练速度和可实现性。同时，保留了随机策略的探索方法，当采样样本满足最大似然概率时，机器人运动规划方法将具有更好的探索性和鲁棒性。
[0067]
即通过在ar设备上的虚拟场景控制对应的数字孪生机器人，输入的相应命令信息通过强化学习算法得到对应的输出结果再返回给物理机器人，而没有被控制的机器人则会
以其现在的姿态呈现在ar设备中。
[0068]
本发明的核心点在于：利用ar设备和数字孪生技术去实现远程操作机器人的功能，在虚拟空间上能够实现人远程控制机器人并与机器人协同合作的功能，能够弥补智能制造过程中传统机器人的功能上的不足，提升制造效率，且能够灵活的适配不同的场景。
[0069]
以上对本发明的一个实施例进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍归属于本发明的专利涵盖范围之内。
技术特征：1.一种基于数字孪生技术的ar辅助机器人远程操作系统，其特征在于，包括ar虚拟模块、实体模块和服务器终端；ar虚拟模块，用于运行ar辅助机器人远程虚拟模型，辅助机器人远程操作；实体模块，包括机器人端和客户端，用于机器人端与客户端的信息交互；服务器终端，用于向机器人端和客户端发送操作指令，同时获取机器人端和客户端的实时数据；将所述实时数据输入至ar辅助机器人远程虚拟模型进行运算，接收ar辅助机器人远程虚拟模型运算所得的仿真结果。2.根据权利要求1所述的一种基于数字孪生技术的ar辅助机器人远程操作系统,其特征在于，ar辅助机器人远程虚拟模型通过以下步骤实现：构建多机器人多客户端通信机制，确保ar设备和机器人、机器人和机器人之间信息交互；通过游戏引擎构建机器人物理模型并移植到ar眼镜上，通过在ar设备上的虚拟场景控制对应的数字孪生机器人，输入的相应命令信息通过强化学习算法得到对应的输出结果再返回给物理机器人。3.根据权利要求2所述的一种基于数字孪生技术的ar辅助机器人远程操作系统,其特征在于，游戏引擎采用unity游戏引擎。4.根据权利要求2所述的一种基于数字孪生技术的ar辅助机器人远程操作系统,其特征在于，在虚拟场景中没有被控制的机器人则以其原有的姿态呈现在ar设备中。5.根据权利要求2所述的一种基于数字孪生技术的ar辅助机器人远程操作系统,其特征在于，ar辅助机器人远程虚拟模型中采用强化学习算法对数字孪生机器人上的输入进行计算，通过将任务环境的状态与其自身的运动参数相关联，实施初始化机器人控制策略；再通过返回奖励和与环境的连续试错交互，通过强化学习算法改进相应的控制策略，实现物理机器人和数字孪生机器人的姿态双向映射。
技术总结本发明公开了一种基于数字孪生技术的AR辅助机器人远程操作系统，包括AR虚拟模块、实体模块和服务器终端；AR虚拟模块，用于运行AR辅助机器人远程虚拟模型，辅助机器人远程操作；实体模块，包括机器人端和客户端，用于机器人端与客户端的信息交互；服务器终端，用于向机器人端和客户端发送操作指令，同时获取机器人端和客户端的实时数据；将所述实时数据输入至AR辅助机器人远程虚拟模型进行运算，接收AR辅助机器人远程虚拟模型运算所得的仿真结果，通过可视化的界面实现了与工业机器人的交互，灵活的与其他制造机器人协同合作，弥补传统机器人只能按照编辑好的程序操作的短板，且操作方式较为友好，能够大大减少操作员的工作量。能够大大减少操作员的工作量。能够大大减少操作员的工作量。
技术研发人员：杨清海 苏宇 乔飞宇 武艳
受保护的技术使用者：西安电子科技大学广州研究院
技术研发日：2022.07.20
技术公布日：2022/11/1
