高科技视觉ai协作机器人工作原理（深度西安交通大学）
高科技视觉ai协作机器人工作原理（深度西安交通大学）近年来，人机交互成为工业机器人的研发热点之一，2015年ABB公司展示了首个真正意义上的人机交互双臂机器人YuMi，用于实现其“物、服务与人互联”战略。YuMi机器人双臂以软性材料包裹，手臂灵巧且腕部配备六维力传感器，在开放环境中工作可保障其人类“同事”的安全。在2019中国国际工业博览会上，YuMi双臂机器人展示了制造手表的“未来工厂”，利用一系列柔性高效的数字化技术实现定制腕表的批次实时装配，如图1（2）所示。日本安川以取代人在工业生产中的组装、分装、维护等工作为初衷，推出了MOTOMAN-SDA系列双臂机器人，如图1（1）所示。该机器人除具有两个7自由度冗余机械臂外，最大的特点是具有可灵活转动的腰部，使其媲美人类上肢。Rethink推出的Baxter是全智慧机器人球应用最广泛的双臂机器人之一，已经应用在全球400多所高校及研究机构。该机器人的特点是具有丰富的传感器组件，包括环绕声呐、
导读：双臂协作机器人是当今机器人学科研究的一个热点方向，是实现柔性生产、智慧制造的关键技术之一。本文介绍了工业、服务、军事及特种应用的双臂协作机器人研究现状，讨论了热点研究问题，对双臂协作机器人的未来研究方向进行了探讨。
1 引言随着社会经济发展、科技进步及工业水平提高，以德国“工业4.0”为代表的智慧工业发展模式在世界范围内广受关注。在智能制造领域，双臂协作机器人比传统单臂具有更高的灵活性、操作性和负载能力等，因而受到了学术界和工业界的高度关注。双臂机器人有如下几方面特点：一是通过双臂协作配合作业，无论面对刚性还是柔性物体，抓取和移动物体能力强；二是双臂协作机器人在工作时可有效避免两臂间的碰撞；三是两臂可配合实现复杂任务的有序控制，减少对工装夹具的依赖。这些特点使双臂协作机器人可实现对复杂工作任务的处理，适应多变工作环境，很好地满足了新工业模式柔性化定制的要求。
双臂共同完成任务的方式在机器人的早期研究中就已出现。上世纪七、八十年代，在单臂研究的基础上，双臂机器人协调控制的理论被逐步建立起来，这一时期主要研究了双臂和被控对象形成的闭链运动学以及力的控制问题。90年代始，科研人员对双臂机器人的运动规划、协调控制算法、力或力矩控制等进行了研究。进入新世纪以后，随着人工智能技术发展，学者们将强化学习、深度学习、遗传算法等理论方法应用在双臂协作机器人控制和规划研究上，取得了较好的效果；同时随着硬件技术的提高，双臂协作机器人开始商业化，对人们的生活、工业发展产生了很大影响。
本文首先阐述双臂协作机器人在国内外几个主要领域的研究现状，其次介绍双臂智能协作方法、任务规划和基于网络的双臂机器人技术几个热点研究问题。最后本文对双臂协作机器人技术未来研究方向进行了展望，并介绍了作者团队在该领域的研究成果。
2 研究现状本节根据双臂协作机器人在工业、服务、军事、特种作业方面的应用，介绍国内外研究现状。
2.1 工业双臂机器人
国外在工业双臂机器人领域的研究较早，很多公司推出了其工业化产品，例如日本安川MOTOMAN-SDA系列、美国Rethink的Baxter、爱普生WorkSense、瑞士ABB的YuMi等。
日本安川以取代人在工业生产中的组装、分装、维护等工作为初衷，推出了MOTOMAN-SDA系列双臂机器人，如图1（1）所示。该机器人除具有两个7自由度冗余机械臂外，最大的特点是具有可灵活转动的腰部，使其媲美人类上肢。Rethink推出的Baxter是全智慧机器人球应用最广泛的双臂机器人之一，已经应用在全球400多所高校及研究机构。该机器人的特点是具有丰富的传感器组件，包括环绕声呐、视觉传感器、红外测距仪、力和运动传感组件，帮助其在不特定工业环境中完成复杂操作。爱普生WorkSense W-01双臂机器人安装有移动轮，可以在不同地点完成组装、搬运和其他各种任务，适应更为复杂的工业制造环境。
近年来，人机交互成为工业机器人的研发热点之一，2015年ABB公司展示了首个真正意义上的人机交互双臂机器人YuMi，用于实现其“物、服务与人互联”战略。YuMi机器人双臂以软性材料包裹，手臂灵巧且腕部配备六维力传感器，在开放环境中工作可保障其人类“同事”的安全。在2019中国国际工业博览会上，YuMi双臂机器人展示了制造手表的“未来工厂”，利用一系列柔性高效的数字化技术实现定制腕表的批次实时装配，如图1（2）所示。
(1) PR2煎饼 (2) Asmio端茶
(3) YuMi垃圾分类 (4) DSCR3调酒 图2 服务双臂机器人
2.3 军用警用双臂机器人
美国在军用机器人的研制上处于领先地位，2013年首次向公众展示波士顿动力公司为美军研制的先进人形机器人“阿特拉斯”。该机器人高1.88米，重150千克，通过液压驱动全身关节，采用激光雷达、立体传感器采集环境状况，可实现大步前进、避障和平稳跳落等功能，可用于实现军事救援等多种任务，如图3（1）所示 。
在我国，军用警用双臂机器人主要应用在防爆等任务上。北京航天微机电技术研究所研制出国内首台警用多功能人机随动双臂机器人，可应用于警用排爆，图3(3)是该机器人增加疫情防控模块后在体温检测上的应用。深拓科技开发出四轮移动的排爆双臂机器人KT200，通过双臂协作配合，该机器人适用于复杂物体的拆解操作，可用于公安、军事以及核工业等危险、有害环境下的作业，如图3（2）所示。
(1) Atlas机器人 (2) KT200防爆 (3) 防疫体温测量 图3 军用双臂机器人
2.4 特种双臂机器人
双臂机器人在如太空、海洋、核电等复杂空间环境中可以像人一样发挥双臂灵活操作的优势，是这一领域中用来探测、维修的重要设备。
加拿大团队研制的Dextre是国际空间站著名的机器人，如图4（1）所示。该机器人可利用其双臂协助宇航员太空行走，以及代替宇航员从事一些危险的舱外作业。德国航天中心研制的Rollin Justin双臂机器人全身共51个自由度，可用于太空任务，图4（2）为该机器人正在接受来自国际太空站宇航员的命令，在模拟火星的地球表面完成移动、导航、维修等任务。美国休斯敦机电公司（HMI）开发了海洋探测用双臂机器人Aquanaut，该机器人深潜至任务现场后，可整体变形，伸出两只配备力传感器的爪式夹钳，实现深海设备的远程修复。如图4（3）所示。
在特种用途的双臂机器人领域，我国的中国电子科技集团第二十一研究所、深拓科技等公司先后研制了适用特种场合的双臂协作机器人。其中后者开发出一款结构新颖的KRV高压输电线路带电作业巡线检修机器人，该机器人可沿线路轨道移动，通过双臂协作实现更换输电网上防震锤等线路金具等任务。如图4（4）所示。
(1) Dextre空间站维护 (2) Rollin Justin模拟火星任务
(3) Aquanaut (4) KRV电力检修 图4 特种双臂机器人
3 热点研究问题从建模、协作控制到任务规划，双臂协作机器人的研究方向很多，本节选择智能协作方法、任务规划、基于网络的双臂机器人技术等几个研究热点问题进行阐述。
3.1 双臂机器人智能协作方法
双臂机器人在协同工作时，两臂存在物理耦合，需通过通信或控制使得一条机械臂对另一条的动作做出相应运动决策，从而实现对被操作体的协作。
（1）双臂协作的约束
为完成复杂任务，双臂需共同抓持或操作某一物体，该物体与机器人的两臂构成闭合运动链，双臂的操作和运动需满足位姿间的约束关系。闭合链的约束关系使两臂各自的运动变得复杂，主要包括自由度约束、可达空间约束、轨迹约束、力约束等几种类型。
这种复杂约束难以求解，目前常利用D-H法得到双臂协作的闭链运动模型，利用机械臂末端和关节的速智慧机器人度关系求得雅可比矩阵，根据双臂抓持刚体、操作旋转连杆、操作球面副连杆等常见操作类型具体求得两臂位置、速度和加速度的关系。
（2）协作控制方法
双臂机器人的协作控制问题是在一定的运动约束下，对两机械臂进行运动和力控制。主要控制方法有主从控制、力位混合控制、反馈线性化方法、阻抗控制、智能控制等。
其中力位混合控制理论方法明确，可综合控制协作时双臂相对位置和闭链内力。阻抗控制通过控制力与位置间的动态关系实现柔顺控制，实现了机械臂与环境动态接触力的控制，广泛应用于零件装配领域。为克服双臂建模中的非线性、时变、不确定问题，近年来学者提出一系列智能控制方法，如基于模糊控制、神经网络、智能优化等方法。
（3）双臂协作规划
为完成协作任务，需在工作空间中确定无碰撞的运动路径，使机器人末端运动到特定目标位姿。方法上可分为规划型、反应型两大类。
规划型方法是将双臂无碰撞运动规划问题转化为带约束的优化问题，通过设置关节运动、力矩和防自碰撞约束，使用最优化方法求解。反应性方法以人工势场法为基础，根据两臂间及与障碍间距离建立虚拟斥力势场，引导两臂实现无自碰撞运动。为提高规划可靠性，运动时还需实时检测可能发生的碰撞，方法上有基于几何模型和基于机器视觉的自碰撞检测，可在碰撞前引导机器人停止或远离碰撞位置。
3.2 双臂协调任务规划方法
在一定的应用场合下，双臂机器人必须得到具体的任务指令序列，才能在双臂协作控制下实现对任务工序的逐项操作。任务规划即是将总任务分解为动作序列的过程。
任务规划的大致流程如图5所示，规划器根据知识库逐层实现任务的分解。根据双臂机器人的特点，知识库包含协作约束、操作、动作等内容，通过分层规划最终分解为动作序列。任务规划和路径规划是串联关系，任务规划得到的具体动作再经路径规划形成机器人的可执行命令。
图5 双臂协调任务规划流程图
任务规划主要有针对特定场合的规划、知识推理的规划、人工智能方法的规划三类方法。许多学者在特定场合下，对双臂机器人的任务分解进行了研究，如在医疗手术、仿人运动、零件装配等方面的双臂任务规划。部分学者从知识和逻辑表示方向处理两臂调度问题，通过描述逻辑表示知识，经逻辑处理得到任务分解方案。人工智能规划方法则通过预定的工作目标、执行环境和预定义的可执行动作，在得到任务输入后通过分层规划器求得最优化解，实现任务的自动规划，目前该方法日益得到学者的重视。
3.3 基于网络的双臂机器人技术
许多复杂任务需要通过人的双手完成，但在太空、深海、核工业环境等特殊环境里人很难直接参与，需要运用远程操作方式通过拟人双臂机器人实现操作。基于网络的双臂机器人技术不仅可以由人远程控制，而且充分发挥双臂协作的特点，使操作者不必担心碰撞问题。基于网络的双臂机器人控制结构如图6所示。
图6 基于网络的双臂机器人控制系统结构
在远程信息获取方面，利用现场图像及各传感器信息，构建虚拟现实环境是实现网络化控制的关键，在此基础上操作员可在本地仿真平台中实现双臂机器人的操作，但目前快速准确地在线建模还存在一定困难。在网络层面上，通信网络可采用因特网或其他工业总线，但必须考虑网络延迟对操作结果的影响。一种处理方法是在本地仿真平台测试操作无误后，用延迟发送指令的方式控制远端双臂机器人。也有学者提出提高网络同步性，及采用如径向基神经网络实现网络延迟预测处理网络的不稳定性。
除通过网络对机器人直接控制外，有学者提出监督控制和共享控制方式，前者主要依靠远程双臂机器人的自主能力，操作人员作适当干预；后者则由人和机器人共同控制，发挥两者优势。但这几种人机参与方式对机器人自身的智能程度提出了更高的要求。
4 未来研究方向就双臂协作机器人的现状而言，虽然各大机器人厂商纷纷推出各自型号的双臂机器人，但这些机器人能适应的工作场景仍然有限。它们在“形”上已能满足拟人工作的要求，在“智”上还有待进一步提高。本文认为未来主要的研究方向有如下四个方面。
（1）智能协作控制方面。还需进一步研究如何融合传感器采集到的力、距离、图像等信息，为机器人控制提供准确输入，以及如何设计自适应控制率以应对输入信息的误差和机器人系统本身的非线性与时变问题。
（2）双臂运动规划方面。双臂协作，甚至多臂协作所带来约束的复杂程度高，快捷、动态地实现轨迹规划，特别是高效地避免碰撞算法，以及轨迹最优化方法值得进一步探究。
（3）双臂协作任务规划方面。目前双臂机器人实现的协作任务还较为有限，需进一步研究基于人工智能方法实现自主任务分配问题，以及在任务层面的双臂机器人优化协作问题。
（4）人机交互方面。目前仍主要通过程序命令方式实现双臂机器人的控制，需进一步研究机器人自主学习方法，采用意图编程模式替代动作过程编程方式。
5 本研究团队的工作本研究团队近年在国家重点研究计划、国家自然科学基金等项目支持下，对双臂协作机器人运动控制、轨迹规划、双臂协作试验平台及控制器开发等方面开展了研究，并取得了多项创新成果。
（1）双臂机器人协作控制方法方面。针对板材安装过程使用弹簧-阻尼模型对双臂间约束关系进行建模，建立了机械臂和墙壁间接触力模型，利用双臂间弹簧-阻尼模型引入虚拟恢复力，实现了主从式力位置混合控制。为提高板材安装接触力控制效果，减少接触力模型和实际场景的偏差，使用深度强化学习方法来解决接触力控制问题。如图7所示。
图7 基于深度学习力控制的双臂协调板材安装
（2）双臂机器人轨迹规划方面。针对大型建筑构件3D打印时突破尺寸限制、几何形状复杂以及高曲率的特点，通过考虑几何、力学、材料特性，分析约束条件，研究了自适应轨迹分层算法，同时开发出双臂机器人3D打印仿真平台。
（3）双臂机器人控制器方面。本团队针对建筑机器人协作控制算法验证实验需要，开发了一套双臂机器人虚拟仿真系统，可开展双臂板材安装、双臂3D打印、双臂木构件加工仿真实验研究。在多年机器人控制器成果基础上，开发了基于高速以太网接口的双臂机器人控制器，如图8所示。
图8 双臂机器人控制器原理框图
6 结语智能机器人的发展将推动工业智能化转型，助力我国《中国制造2025》实现由工业大国发展为工业强国。本文展示了近年来国内外双臂协作机器人的先进成果，对几个研究热点问题进行了讨论，对未来的研究提出了几点看法。相信随着智能协作方法、人机交互、运动规划等关键问题的突破，双臂协作机器人将更加走近我们的生活，造福工业、医疗、服务、宇航等多个领域。
参考文献略。
作者简介：王小龙（1989-），男，河南洛阳人，博士研究生，现就读于西安交通大学电子与信息学部，研究方向为群体智能与多机器人协作。
曹建福（1963-），男，陕西宝鸡人，教授，博士生导师，现任西安交通大学自动控制研究所所长、中国自动化学会建筑机器人专业委员会主任委员，研究方向为智能机器人、智能制造与智慧工厂。
摘自《自动化博览》2020年10月刊
