近日，中（zhōng）国科学院微电子研究所刘明（míng）院士团队和复（fù）旦大学（xué）教（jiāo）授刘（liú）琦团队在多模态神（shén）经形态感知研（yán）究方面（miàn）取（qǔ）得（dé）进展。

图1生物躯体感觉系（xì）统与人工体躯体感觉系统，a为人手感知杯子的温度、重量和（hé）水（shuǐ）杯形状的示意图；b为由MFSN阵（zhèn）列（liè）和SNN分类器（qì）组成的人工躯体感觉系统模拟触觉（jiào）感知的示意图，图片来自中科院微电子（zǐ）所（suǒ）前述团队共同（tóng）研发（fā）了一种结构紧凑的（de）多（duō）模态（tài）融合感知脉（mò）冲（chōng）神经元（yuán）(MFSN)阵（zhèn）列，并将其与（yǔ）脉冲（chōng）神（shén）经（jīng）网络(SNN)结（jié）合，构建了（le）一种人工多模态感知系统（tǒng）。该成（chéng）果使（shǐ）构建高效的多模（mó）态脉冲感知系统成为（wéi）可能（néng），为（wéi）发（fā）展高（gāo）智能（néng）机器人技术提供了新思路，并发表在国际材料领（lǐng）域期（qī）刊《先进（jìn）材料》(Advanced Materials)上（shàng）。

图片来自《先（xiān）进材料》(Advanced Materials)人类躯体感受系统中的多模（mó）态感知可帮助人们获得（dé）更全面的物（wù）体（tǐ）属性，并对（duì）物体的状态（tài）做（zuò）出（chū）准（zhǔn）确（què）判断，尤其是不（bú）同受体的感觉信号（hào）在（zài）一定条件下可被（bèi）神经元（yuán）整合（hé），并发送到大（dà）脑皮层作进一步处理（lǐ）（图1a）。与单模态感（gǎn）知相比，多模态融合感知在评估物体属性和提高（gāo）物体识别精度（dù）方面具有明显（xiǎn）优势。在（zài）传统的（de）人工感知（zhī）系（xì）统中，多模（mó）态信息（xī）的（de）处理多（duō）采（cǎi）用串行计算架构，传感信号需转换为数字模式才能被处理器处（chù）理，产生较大（dà）功耗和通信带宽开销。

此外，传统（tǒng）半导（dǎo）体（tǐ）技（jì）术在脉冲域构建（jiàn）多模态感知系（xì）统方面，还面临着器（qì）件集成和电路复（fù）杂性方面的挑战。因此，迫切需要开（kāi）发更高效的（de）多（duō）模态（tài）融合感知硬件（jiàn）方案。生（shēng）物感知系统具有（yǒu）并（bìng）行分布式感官信息处理、低能（néng）耗、高容错性等特（tè）点，显示出克（kè）服传统困境的（de）重要潜力。

此次，中科（kē）院微电子所刘（liú）明团队（duì）和复旦大（dà）学刘琦团队（duì）研发了（le）结构紧凑的多模态融合感（gǎn）知脉（mò）冲（chōng）神经元（yuán）(MFSN)阵列，该阵列由异质集成的压力传感器和NbOx忆阻（zǔ）器构成（图1b）。其中，压力（lì）传感器用来感知压力，NbOx忆阻器（qì）用（yòng）来产（chǎn）生脉冲输出并感知（zhī）温（wēn）度变化。当压（yā）力和温度两（liǎng）种（zhǒng）激励同时作用于MFSN时，多（duō）模（mó）态的模拟感觉信息（xī）可以融合为一个脉冲（chōng）序列（liè），显（xiǎn）示出优异的数据压（yā）缩和脉冲转换能力。

此外，研究人员通（tōng）过解耦输出脉冲（chōng）的（de）频（pín）率和振幅，还可从融合信（xìn）号中获得独立的压力（lì）和温度信息，支持了神经（jīng）元（yuán）对于单模态信息的保真度和多模态感知能力。团队进一步将MFSN阵（zhèn）列与（yǔ）脉冲神经网络结合，构建（jiàn）了一种人（rén）工多（duō）模态感知系（xì）统，成功模拟了（le）人体躯体感觉系统中（zhōng）的（de）多模态信息（xī）（温度和（hé）压力）感知和多模态物体（即（jí）不同温度、重量（liàng）和形状的（de）物体）的分类（lèi）能（néng）力。

前述成果有（yǒu）助于（yú）在未来进一步构（gòu）建高效的多模态（tài）脉冲感（gǎn）知系统，并为发展高智能机器人技（jì）术提供新（xīn）思路。