多模态感知人工智能技术（微电子所等在多模态神经形态感知研究方面取得进展）

多模态感知人工智能技术（微电子所等在多模态神经形态感知研究方面取得进展）ID：jrtt论文链接图1 生物躯体感觉系统与人工体躯体感觉系统。a 人手感知杯子的温度、重量和水杯形状的示意图；b 由MFSN阵列和SNN分类器组成的人工躯体感觉系统模拟触觉感知的示意图。本文来自【中国科学院】，仅代表作者观点。全国党媒信息公共平台提供信息发布传播服务。

来源：【中国科学院】

躯体感受系统中的多模态感知可帮助人们获得更全面的物体属性，并对物体的状态做出准确判断，尤其是不同受体的感觉信号在一定的条件下还可被神经元整合并发送到大脑皮层作进一步处理（图1a）。与单模态感知相比，多模态融合感知在评估物体属性和提高物体识别精度方面具有明显优势。在传统的人工感知系统中，多模态信息的处理多采用串行计算架构，传感信号需转换为数字模式才能被处理器处理，产生了较大的功耗和通信带宽开销。此外，传统半导体技术在脉冲域构建这种多模态感知系统还面临着器件集成和电路复杂性方面的挑战，迫切需要开发更高效的多模态融合感知硬件方案。生物感知系统具有并行分布式感官信息处理、低能耗、高容错性等特点，显示出克服传统困境的巨大潜力。

近日，中国科学院院士、中科院微电子研究所研究员刘明团队和复旦大学教授刘琦团队共同研发了一种结构紧凑的多模态融合感知脉冲神经元（MFSN）阵列，该阵列由异质集成的压力传感器和NbOx忆阻器构成（图1b），其中压力传感器用来感知压力，NbOx忆阻器用来产生脉冲输出并感知温度变化。当压力和温度两种激励同时作用于MFSN时，多模态的模拟感觉信息可以融合为一个脉冲序列，显示出优异的数据压缩和脉冲转换能力。此外，通过解耦输出脉冲的频率和振幅，还可从融合信号中获得独立的压力和温度信息，支持了神经元对于单模态信息的保真度和多模态感知能力。团队进一步将MFSN阵列与脉冲神经网络（SNN）结合构建了一种人工多模态感知系统，成功模拟了人体躯体感觉系统中的多模态信息（温度和压力）感知和多模态物体（不同温度、重量和形状的物体）的分类能力。该工作使构建高效的多模态脉冲感知系统成为可能，为发展高智能机器人技术提供了新思路。

相关成果以A Heterogeneously Integrated Spiking Neuron Array for Multimode-Fused Perception and Object Classification为题发表在Advanced Materials上。相关工作得到国家重点研发计划、国家自然科学基金委、国家重大科技专项、中国博士后科学基金等项目的资助。

论文链接

图1 生物躯体感觉系统与人工体躯体感觉系统。a 人手感知杯子的温度、重量和水杯形状的示意图；b 由MFSN阵列和SNN分类器组成的人工躯体感觉系统模拟触觉感知的示意图。

本文来自【中国科学院】，仅代表作者观点。全国党媒信息公共平台提供信息发布传播服务。

ID：jrtt