日本人工智能机器人测评：忽悠 智能机器人 竟然改改物品纹理就成功了

日本人工智能机器人测评：忽悠 智能机器人 竟然改改物品纹理就成功了如：“What room is the chessboard located in?”，智能机器人在感知到带攻击性的“笔记本电脑”和“沙发”等物体后回答为“Bathroom”（正确答案为“living room”）。这篇题为Spatiotemporal Attacks for Embodied Agents的论文，提出使用时空融合的对抗攻击方法来生成3D对抗噪音，投影至特定物体的外表纹理上，当智能机器人感知到环境中带有攻击性的物体之后，就会错误回答问题或执行错误的行为。在智能机器人逐渐被应用到智能家居、危险品检测和拆除等场景的当下，这么轻松就被“忽悠”了，实在让人有些瑟瑟发抖。究竟是怎么一回事？如上图所示，Embodied Question Answering任务是指：在动态三维环境中，随机放置智能机器人并给其一段用自然语言描述的环境相关的问题，智能机器人通过自主视觉导航和环境感知来回答问

作者：刘艾杉
编辑：鱼羊
量子位 报道 | 公众号 QbitAI

简单修改环境物体的纹理颜色，就能让机器人执行攻击者设计的错误行为！

来自北航、悉尼大学、伯克利和伦敦大学的一项最新研究成果显示：

通过对抗攻击修改3D物体的外表纹理属性，就可以使得智能机器人在动态场景中，执行任何攻击者预先设计好的错误行为或错误地回答问题。

在智能机器人逐渐被应用到智能家居、危险品检测和拆除等场景的当下，这么轻松就被“忽悠”了，实在让人有些瑟瑟发抖。

究竟是怎么一回事？

如上图所示，Embodied Question Answering任务是指：在动态三维环境中，随机放置智能机器人并给其一段用自然语言描述的环境相关的问题，智能机器人通过自主视觉导航和环境感知来回答问题。

这篇题为Spatiotemporal Attacks for Embodied Agents的论文，提出使用时空融合的对抗攻击方法来生成3D对抗噪音，投影至特定物体的外表纹理上，当智能机器人感知到环境中带有攻击性的物体之后，就会错误回答问题或执行错误的行为。

如：“What room is the chessboard located in?”，智能机器人在感知到带攻击性的“笔记本电脑”和“沙发”等物体后回答为“Bathroom”（正确答案为“living room”）。

目前论文已在全球计算机视觉顶级会议ECCV-2020上发表。

经实验证实，用该方法生成的3D对抗噪音（adversarial perturbations）具有稳定的攻击效果，将其投影在3D物体上后改变了其纹理和颜色。

其不会影响人类对于物体语义信息的认知，但是该噪音对于基于深度学习的智能机器人则是毁灭性的。

例如，这种攻击可能被恶意地用来攻击智能机器人，入侵者只需要修改场景内的某些物体的外观颜色和纹理，当智能机器人感知环境时就可能会造成系统的致命错误，导致机器人宕机或错误回答问题。

基于时空融合的对抗攻击

该论文提出了一种时空融合的对抗攻击算法，该算法分别利用时间维度和空间维度的信息来生成3D对抗噪音，有效的攻击智能机器人模型。通过将该3D对抗噪音投影至3D物体的表面，修改其3D颜色纹理，当智能机器人感知到相关物体时就会执行预设好的错误行为或对于问题给出错误的答案。算法的整体架构如下：

为了达成效果，时空融合的对抗攻击算法主要包含以下几个部分：

时间维度

智能机器人在进行当前的决策时（如：执行动作或回答问题），一般不仅仅依赖于当前的观测和感知信息，还需要考虑其历史观测信息。因此，为了攻击在动态环境中的智能机器人，迫使其作出预设的错误行为，需要考虑其历史观测信息。

因此，这里考虑智能机器人的前N个历史观测场景，并攻击出现在其中的物体的3D特征：

但是，前N个历史场景中出现的3D物体数量过大，直接对于所有的物体进行对抗攻击会造成噪音过于分散、攻击能力不足等问题。

为此，研究人员设计了路径注意力模块A，计算智能机器人历史路径中各个历史场景对于模型决策的重要程度，选取其中最重要的考虑智能机器人的前N个历史观测场景，并攻击出现在最重要的K个历史观测场景中的物体：