3d视觉识别传感器（虫眼和蝙蝠声纳的仿生超级3D相机）

3d视觉识别传感器（虫眼和蝙蝠声纳的仿生超级3D相机）加州大学洛杉矶分校萨缪利工程学院生物工程副教授、研究负责人梁高说：“虽然这个想法本身已经被尝试过，但在一定距离范围内，对被遮挡的周围环境进行观察一直是一个主要障碍。”受到在苍蝇和蝙蝠的这两种自然现象的启发，加州大学洛杉矶分校领导的团队着手设计一种高性能3D相机系统，该系统具有先进的功能，既能利用这些优势，又克服了一些自然条件下的缺点。回声到动物的时间和声音强度之间的微小差异可以实时告诉它们物体位置里，有什么阻碍以及潜在猎物的接近程度。许多昆虫都有几何形状的复眼，其中每只“眼睛”由数百到数万个单独的视觉单位组成，这使它们从多条视线看到同一事物。例如苍蝇的球状复眼，即使它们的眼睛具有固定的焦距——近360度的视场范围，但它们很难看到远处的任何东西，高空举着的苍蝇拍它们就看不见。

加州大学洛杉矶分校的两位生物工程师和一位博士后合作开发了了一类新的仿生3D相机系统，该系统可以模仿苍蝇的多视图视觉和蝙蝠的自然声纳感应，从而产生具有非常可观的深度范围内的多维成像，同时还可以扫描盲点。

应用现有强大的计算图像处理功能，相机可以破译隐藏在角落或其他物品后面的物体大小和形状，该技术可以集成到自动驾驶汽车或医学成像工具中，其传感能力远远超出当今最先进的水平。

图1：以不同视角呈现字母“X”的重构3D图像。

在黑暗中，蝙蝠可以通过使用回声定位或声纳的形式，来构建周围充满活力的画面，他们的高频吱吱声从周围环境中反弹，并被他们的耳朵接收。

回声到动物的时间和声音强度之间的微小差异可以实时告诉它们物体位置里，有什么阻碍以及潜在猎物的接近程度。

许多昆虫都有几何形状的复眼，其中每只“眼睛”由数百到数万个单独的视觉单位组成，这使它们从多条视线看到同一事物。

例如苍蝇的球状复眼，即使它们的眼睛具有固定的焦距——近360度的视场范围，但它们很难看到远处的任何东西，高空举着的苍蝇拍它们就看不见。

受到在苍蝇和蝙蝠的这两种自然现象的启发，加州大学洛杉矶分校领导的团队着手设计一种高性能3D相机系统，该系统具有先进的功能，既能利用这些优势，又克服了一些自然条件下的缺点。

加州大学洛杉矶分校萨缪利工程学院生物工程副教授、研究负责人梁高说：“虽然这个想法本身已经被尝试过，但在一定距离范围内，对被遮挡的周围环境进行观察一直是一个主要障碍。”

“为了解决这个问题，我们开发了一种新颖的计算成像框架，它首次能够通过简单的光学器件和少量传感器阵列获得宽而深的全景视图。”

该框架称为“紧凑光场摄影”或CLIP，允许相机系统看到具有扩展深度范围和物体周围的观察。

在实验中，研究人员证明他们的系统可以“看到”传统3D相机无法发现的隐藏物体。

研究人员还使用了一种激光雷达，即“光检测和测距”，其中激光扫描周围环境以创建该区域的3D地图。

没有CLIP的传统激光雷达会拍摄场景的高分辨率图片，但会错过隐藏的物体，就像我们的人眼一样。

该阵列使用7个带CLIP的LiDAR摄像头，拍摄低分辨率场景图像，处理各个摄像头看到的内容，然后在高分辨率3D成像中重建组合场景。

研究人员展示了相机系统可以对具有多个对象的复杂3D场景进行成像，所有物体都设置在不同的距离处。

如果蒙着一只眼睛看笔记本电脑后面的咖啡杯可能看不到，因为笔记本电脑挡住了视线，但是如果用两只眼睛会看到物体。想象一下用昆虫的复眼看杯子，那就可以看到多个视图。

CLIP有助于相机阵列以类似的方式理解隐藏的内容。结合激光雷达，该系统能够实现蝙蝠回声定位效果，因此人们可以通过光线反射回摄像头所需的时间来感知隐藏的物体。