埃安splus智能驾驶辅助（时隔一年VijayKumar）

埃安splus智能驾驶辅助（时隔一年VijayKumar）汽车的环境更加简单一些，我们有不同的模拟，可以感知到地板有平面的波动或者有墙，但是无人机上要感知外界环境会更加困难。无人机需要控制才能维持平衡，安全尤为重要。在汽车里面，只要刹车就安全了。在无人机上，这个问题更加复杂。无人车是在已知的道路上飞行，而无人机是在 3D 空中飞行。无人车有 GPS 的导航，无人机没有，尤其在室内环境中飞行的时候。车上面有很多传感器，但是在无人机里面，如果多放一公斤荷载，可能消耗的能量就会越高，会带来很大限制。因此我们希望尽可能降低无人机的能耗，能够让它更加有效率，我们才能获得更多的讯息和数据。

雷锋网按：2017年7月7日至9日，全球人工智能与机器人峰会CCF-GAIR大会在深圳成功举办。本次由CCF中国计算机学会主办、雷锋网与香港中文大学（深圳）承办。来自全球30多位顶级院士、近300家AI明星AI企业，齐聚智能科技产业盛会。

Vijay Kumar在无人机领域被称为“无人机大神”。他在多机器人的编队控制协调，做出了非常大的贡献。2016年，Vijay Kumar在CCF-CAIR峰会上介绍了无人机会向着Small（小型），Safe（安全），Smart（智能），Speed（敏捷）和Swarm（集群）“5s”的趋势发展。时隔一年 Vijay Kumar 再登 GAIR讲台，以“Challenges in Autonomy”为主题，进行了演讲，重点介绍了自动化浪潮的技术与社会挑战。Vijay Kumar是美国宾夕法尼亚大学工程院院长，同时也是美国国家工程院院士，美国电子电气工程师协会研究员（IEEE Fellow）。

以下为Vijay Kumar演讲速记全文整理，雷锋网在不改变原意的基础上做了精编：

无人机的挑战

今天我讲的主要内容是自动化当中所遇到的挑战，尤其是无人机方面的挑战。如今智能驾驶汽车有了很大的进展，但是以下无人机的这些挑战是无人车所没有的：

无人车是在已知的道路上飞行，而无人机是在 3D 空中飞行。

无人车有 GPS 的导航，无人机没有，尤其在室内环境中飞行的时候。

车上面有很多传感器，但是在无人机里面，如果多放一公斤荷载，可能消耗的能量就会越高，会带来很大限制。因此我们希望尽可能降低无人机的能耗，能够让它更加有效率，我们才能获得更多的讯息和数据。

无人机需要控制才能维持平衡，安全尤为重要。在汽车里面，只要刹车就安全了。在无人机上，这个问题更加复杂。

汽车的环境更加简单一些，我们有不同的模拟，可以感知到地板有平面的波动或者有墙，但是无人机上要感知外界环境会更加困难。

上图是我们过去5年制造的无人机，可以看出无人机的尺寸越来越大，可以放更多的传感器上去，它的自动化程度也有所提高，这是自然而然的结果。因为我们大家都希望让它有更高的感知能力，能够让飞行器更加的强大，有更多的功能。

户外、室内环境安全飞行演示

如何让无人机在户内、户外的环境安全飞行呢？可以让它做快速响应、救灾、减灾的工作，可能是人类无法到达的危险区域，可以快速收集一些讯息。

这是我们的一个机器人，它可以在室内的环境进行飞行，不需要外在摄像头。它有一个感知的功能，比如图像可以看到传统的反馈机制，我们可以感知到周围的环境，采取相应的动作来回应，在我们的控制系统里面可以实现比较低的层面。

在更高级的层面上，可以看到在系统当中，我们可以以更高的层面将感知/行动的循环去建立，有时候可以在屏幕上看到，有时候可以进入到它的计算机里面。比如我想从一个地方到达另外一个地方，如果中间有障碍物，需要避险，所以中间要采用不同的动作。

最高的层面，我们可以去建立一个反馈机制，可以对它进行控制。这是人和机器进行互动的过程。我们可能没有办法让计算机在最低的层面自动和人进行互动，但是更高的层面，人机可以互动，可以完成一些工作，所以这就是一种感知和行动的反馈循环，这样我们就可以进一步发展，来建立更多的感知行动。

最低的层面需要我们实时控制。只有通过这种方式才能让机器人非常可靠的去运动，帮助我们完成任务。这里面不仅仅是它的 3D 位置，还需要知道它的行进方向和旋转角度。事实上只有 4 个旋翼，还有一些机器有 6 个旋翼，不管有多少个旋翼，我们都必须要知道它的位置和方向，利用控制软件进行实时控制，在控制系统当中对它发出指令。

当然，我们有不同的平面，如果看一下系统里面的行进方向、线性、动力，比如说它的垂直速度或者是平行的速度，加起来就非常复杂。所以你可以看到，二者之间更加复杂，我们要对比一下它的行动，平面上的运动方向，以及它垂直上的运动方向。

操作是左手边开始做，右手边对它进行操作，这是更加复杂的过程。可以将它分成几个不同的部分来看待，它有一个运动轨迹，这个运动轨迹中要找到一个推动力，我们管它叫 F，我们看到它的现有位置和目的位置之间的联系是怎么样的，将它进行移动。我们要为它制定一个方向，这个方向就可以让机器自行推动到目的地。

当然，我们也要建立其他维度，比如T这个维度，是它要行进的方向，我要让它的角度达到理想的状态，我们要进行计算、看目的地的角度是多少，然后让它进行移动。我们设计的时候需要用计算机帮助我们做计算，另外我们看到这样的等式能够让无人机去到任何我们想让它去的地方。当然，同时也要确保它的稳定和可靠性。举个例子，无人机在空间当中进行三维运动，这是室内中的实验，当然在户外也可以实现。

反馈循环，先进行路线规划，对位置进行控制，高度以及它所在的3D位置。得到反馈路径之后，对它的速度和位置进行计算，如果我们没有运动摄像机，只能通过无人机上自带的摄像头来实现这个目的，我们可以把相应的获取的数据进行分析，加上它的惯性分析，就可以知道它应该往哪个方向去。

户外、室内的实际运动情形

这里面我们的频率是200HZ，我会向大家展示户外、室内的实际运动的情形。这里我们增加了复杂性，因为实际操作环境往往更加复杂。我们对它运动的路径进行计算，也会增加U这个角度，整个系统是四维角度，如果把角度增加进去是有四个维度，这样可以尽可能的降低飞行器出错的可能性。在高速运动的时候，我们必须依靠刚才所讲的所有讯息，包括模式、检测的维度，如果能够给到更多的传感器，除了IMU、GPS，我们可能有更好的表现，包括镭射激光的扫描，还有其他传感器，机器表现会更高，当然这都是在200HZ频率下实现的。

这个机器达到每秒70米的速度，没有GPS，它可以从户外进入室内，立刻进行刹车，速度会很快降低，它可以在摄像头当中观察到环境的变化，也可以从5m/s 、10m/s的速度加速。在户外进行飞行时，可以看到机器明显有前倾动作，当然也没有GPS。

在有障碍物时，就必须加另外一层。有来自不同传感器的信息，这些信息事实上结合在一起，建立局部地图，局部地图让我们本身的机器了解要选择哪样的飞行管道，所以飞行轨道选定之后，就可以帮助我们避开障碍。但是在这个层次上，我们可以建立起整体地图。很多情况下，我们不需要整体地图，要局部地图就可以，导航需要局部地图帮助我们避开障碍，同时保证无人机的安全性。

如何避障

我们看一下如何做避障，上图当中有无人机，它在室内有很多障碍物，我们使用的是镭射扫描仪，帮助我们更好的了解周围的障碍物。我们看一下这个等式，可以清楚看到在不断降低成本，这里包括两种成本：一是时间成本，希望减少时间；二是实现尽快的流畅性以及灵活性，要对这些参数进行设置，要么得到较快的速度，要么得到比较流畅的行为。同时我们会不断优化飞行的路径。每1/3秒就进行一次飞行轨迹优化，它由4个元素所决定：

• 环境并不会有太多问题，我们必须找到复杂环境当中比较好的飞行路径。

• 控制系统必须足够复杂，像我刚才所说的。

• 必须有相应的相关限制组织，它只朝一个方向前进，不可能出现逆回。事实上，有很多要探讨的预先条件才能解决避障过程。

• 在没有办法看到整体环境下，必须设想。导航过程中，眼睛能看到的只是20-40米的能见度，因为感应器是轻量的，可能没有能力看到20-40米以外的物体。

我们一开始想建立一个空间，空间建成的过程中，作为空间集合，它不断发生变化，我们对整个集合形成一个自由空间，优化的问题是在传统共识集成的基础上。左上方，大家可以看到这是直行的动作，这是比较基础的路径的探讨。但是整个操作的过程当中，也有很多的点，它不再是传统的物理空间，是损失空间，它可以是六个维度。在这个过程中，我们就能找到安全飞行的轨迹。基于右边，到底我们的机缘是什么？我们可以对这样的解决方案进行选择，飞得快或者飞得顺畅，一系列前置条件都必须以非常高的方式才能最终实现比较顺畅的导航解决方案。

复杂性，我们视野很有限。比如你站在Pk（tk）的点，你需要去红色五角星的地方，你的视野只能看到屋内一部分，你要计划一个飞行轨迹，你的解决方案就是我画的这样，但是必须要确保，你没有办法看到视野以外的东西。如果你飞得特别快，如果你在中间出现了障碍物，你应该怎么做，你没有时间停下来，可能会撞上去，应该怎么做呢？对我们来说是如何解决有效地视野，每秒飞行速度20米，你已经没有办法通过减速和加速实现有效停止，可能遇到避障的反应时间只有20米，如果没有感应器，要实现40米宽的视野就没有办法避障。

轨迹规划的过程

我们只做部分轨迹的规划，如果有第二个参数可以做第二次轨迹操作，这样的操作能保证本地停下来，在G点保证飞行的安全性，有两个努力的过程：

• Pk到Pk 1。

• 现场情况做轨道的集成和生成，这样的知觉和行动的回落当中，飞得尽量快。那么系统本身是否停下来可以形成系统的知觉，最后规划下一步的下一步飞行路径，这样我们会有所为停车的原则。这就是我们在解决方案上的方法。

一开始我们飞得足够快，使用快速飞行，一旦到达终点，后来要实现任何视野当中的障碍物，可以实现急速停车，系统再进行下一步路径的优化。这是我们使用的非常基础的算法，在没有GPS过程中，只要使用装载的感应器就可以做到二次轨道规划，可以保证安全性、完整性，如果有任何的解决方案，我们的机器人总是可以使用这些解决方案。最后是优化，事实上只能称之为次优化，大部分复杂的限制条件，我们只能保证飞行器的安全性和完整性，但是我们会不断尝试最优解决方案。

在有限的视野当中，我们如何做轨迹规划，左边的图可以看到，只能看到绿色部分。事实上机器人实现了多个无人机的角度切换，切换过程中，一旦遇到障碍物，会快速停下来进行计算，最终找到最优的飞行路线。无人机在室外的活动过程将更加复杂，如旁边种了很多树，我们希望达到每秒20米的飞行速度，我们实行了动态的轨迹的生成，同时可以帮助我们实现自由空间的轨迹的生成，同时保证飞行器的安全性以及完整性。室外飞行，无人机不知道树在哪里，没有任何GPS，但是飞行速度很快，这部分能达到每秒5米的飞行速度。

我们正在做的另外一个案例是让无人机去找一个物体，找到后自动停下来。无人机不知道周围的环境，它飞得足够快，找到潜在的地址，找到物体就停下来。在救援过程中要飞得越快越好，找到生存的物体，找到可疑的爆炸物，只要找到就可以。操作过程中实现了优化操作，在户外环境当中，无人机并不知道物体放在室内，在整个过程当中，关闭所有门，而无人机需要寻找开着的门进入室内，接着寻找物体，它最终寻找物体所在地是它的轨迹，并且能够避开一切障碍物。

无人机成功进入室内，我们使用很简单的是物体监测算法。当飞回来之后，它并不记得第一次飞行路径中所看到的目标物，无人机又开始分析，从黑暗的室内环境进入高亮度的室外环境，再回到室内环境中，它最终告诉我们它找到橙色的标记物。它以每秒5米的速度快速飞行，我们把速度推到每秒10米，这取决于障碍物的密度。自由空间可以达到每秒20米，但是障碍物空间中只能达到每秒5米的飞行速度。

上图展示的是室内的导航的过程，左下角的图片展示了无人机的位置，同时显示了我们想让它达到的位置，整个过程中它会找到一些障碍物，比如墙壁、沙发，还有可能出现的人体，它绕过了沙发，看到了Jeason，我的同事。他避开了Jeason，去到另外一个空旷的区域，遇到我另外一位同事，他跨过所有障碍物来到一个空旷的空间，最终完成了它的制图过程，像这样的软件可以帮助我们实时收集无人机所看到的信息，形成制图成果。

上图是在仓库环境当中采用无人机的用途，比如它可以看到架子上所有的物件，可以让人们知道在什么地方摆放什么样的物件，看起来很简单，但我们不知道哪些地方有东西，很多时候工人把东西乱放，然后就忘记了把东西放在什么地方。他们可能知道这个物件在仓库里面，但具体不知道在哪个位置。我们利用无人机去找它，这样就不需要再重新整理仓库了，只需要派一个无人机就知道这个物件摆在什么地方。

另外，我们可以避开物体相互碰撞，比如避免和汽车、自行车碰撞。无人机可以识别运动的物体和静止的物体，这点非常重要，可实现无人驾驶。

我向大家展示机器的另外一项能力，我们和高通公司在合作，这是我们实验室进行的实验，最小的无人机是全自动化无人机，大概只有15G，没有任何的操纵者，也没有GPS，它只是用来满足从一个地方到另一个地方最近的路径是怎样的。第一个视频，无人机可以绕过第一个障碍物，从右绕过第二个障碍物。我们有不同的柱子，每隔3米设立一个柱子，让机器以每秒5米的速度绕过这些柱子。这是一个比较窄的缝，需要无人机自动穿过缝隙。