中科院化学所宋延林/苏萌团队 AM: 在印刷非接触式人机交互界面方面取得新进展(2025年1月30日)
人类获取的信息70%以上来源于视觉,眼睛作为生物采集的关键感知器官之一,具有极高的研究价值。其中,眼动追踪传感器在无干扰、隐蔽监测人类视觉行为方面展现出巨大潜力。目前,大多数眼动追踪设备依赖复杂的传感系统,图像处理过程繁琐且设备体积较大;而基于隐形眼镜的侵入式方案虽然具备一定的便携性,但其测量精度有限,并可能引发异物引入的不适感。因此,探索一种高成本效益、操作便捷、高精度追踪眼球信号策略具有重要意义。
在国家自然科学基金委、科技部、中国科学院和北京分子科学国家研究中心的支持下,中国科学院绿色印刷实验室宋延林/苏萌团队开展了可控印刷多维度、多功能微纳传感器件等方面的研究,取得了系列进展(Adv. Mater., 2018, 30, 1703963; Angew. Chem. Int. Ed., 2020, 59, 14234; Adv. Mater., 2020, 32, 1907280; ACS Nano, 2022, 16, 10; Adv. Intell. Syst., 2023, 5, 2200307; Nat. Commun., 2023, 14, 1204; Adv. Mater. 2024, 36, 2404740)。
最近,中国科学院化学所宋延林研究员/苏萌研究员团队基于仿生矿化策略,在玻璃基底上成功制备了大晶粒钙钛矿薄膜,并构建了集成钙钛矿光电探测器的智能眼镜系统,实现了基于眼球操控的人机交互展示。
2025年1月16日,相关研究成果以“Perovskite‐Based Smart Eyeglasses as Noncontact Human–Computer Interaction”发表在Advanced Materials 上。第一作者是硕士生胡峪铭,通讯作者是宋延林研究员和苏萌研究员。
图1:用于非接触式人机交互的钙钛矿基智能眼镜示意图。a) 应用于人机交互的智能眼镜流程图。b) 钙钛矿基智能眼镜的识别原理。c) PAAS界面层辅助钙钛矿光电探测器的示意图。d) 观察不同的位置会在智能眼镜上触发不同的光电响应信号。e) 基于智能眼镜的汽车非接触式操作。
图2:MAPbI3晶体在生长过程中的形态特征。a) 分别在3000rpm(ii)、4000rpm(iii)和5000rpm(iv)的转速下,由PAAS界面层调制的MAPbI3薄膜(i)和PAAS-MAPbI3薄膜的俯视扫描电镜(SEM)图像。b) 分别在3000rpm(ii)、4000rpm(iii)和5000rpm(iv)的转速下,由PAAS界面层调制的MAPbI3薄膜(i)和PAAS-MAPbI3薄膜的横截面SEM图像。c) 分别在80°c下加热0 s(i)、20 s(ii)、40 s(iii)、80 s(iv)的对照油墨的原位激光扫描共聚焦显微镜(LSCM)图像。d) PAAS-MAPbI3油墨在80°C下分别加热0秒(i)、20秒(ii)、40秒(iii)、80秒(iv)的LSCM图像。PbI2或中间络合物在500至550 nm范围内的发光用绿色标记,而MAPbI3在700至800 nm范围内发光用红色标记。比例尺:a,b)500 nm和c,d)50μm。
图3: 钙钛矿薄膜的形态和质量表征。a) 对照和PAAS-MAPbI3薄膜的原子力显微镜(AFM)高度图像。b) MAPbI3、PAAS-MAPbI3和PAAS薄膜的傅里叶变换红外光谱(FTIR)。c) 对照和PAAS-MAPbI3薄膜的紫外-可见吸收光谱。d) 控制和PAAS-MAPbI3薄膜的光致发光(PL)光谱。e) 控制和PAAS-MAPbI3薄膜的时间分辨光致发光(TRPL)衰减曲线。f) X射线光电子能谱(XPS)光谱显示了对照和PAAS-MAPbI3薄膜中Pb 4f的结合能。g、 h)对照和PAAS-MAPbI3薄膜的掠入射广角X射线散射(GIWAXS)图案。i) 对应于(g)和(h)的方位强度分布特征。比例尺:a)200 nm。
图4:PAAS-MAPbI3器件的光电性能得到增强。a) 在ITO玻璃上具有PAAS界面层的PAAS-MAPbI3器件结构的示意图。b) c)在450nm激光下,PAAS-MAPbI3和控制装置的响应性与入射功率密度的函数关系。d)控制和e)PAAS-MAPbI3器件在不同光照条件下(黑暗、500勒克斯、1500勒克斯、3000勒克斯)的电流-电压(I-V)特性。f) PAAS-MAPbI3和控制器件在不同光强下的开关比。g) PAAS-MAPbI3设备阵列的照片,包含5×6个探测器。比例尺:8 cm.h)通道1-30的PAAS-MAPbI3器件阵列的时间分辨强度响应。插图放大了第一个波峰的细节。i) 图4h中出现第一个峰值时的相应响应电流强度。
图5:基于PAAS-MAPbI3的光电探测器,用于眼动追踪人机交互。a) 用于处理光电探测器时间输入的神经网络算法示意图。b) 配备PAAS-MAPbI3设备的智能眼镜的图像,其可检测角度为5°,对应角度位置如下。c) 对9种不同方向的智能眼镜进行识别能力测试和d)相应的混淆矩阵结果。e) 在复杂地形演示中,通过智能眼镜对模型车进行实时和精细的控制。比例尺:20厘米。
该策略通过引入聚丙烯酸钠界面层,有效钝化了薄膜缺陷,促进高质量钙钛矿薄膜生长。基于此制备的钙钛矿光电传感器在500 Lux光照条件下,实现了接近300倍的开关比,并展现出高达22.09 A/W的光响应性能。他们进一步将高性能钙钛矿光电传感器阵列集成为可穿戴智能眼镜,通过卷积神经网络算法的优化,智能眼镜可以实现眼球运动的高精度识别。在角度分辨率5°测试条件下,识别准确率高达99.86%;对于9种不同指令,识别准确率达到99.08%。此外,操控者通过控制眼球轨迹操控模型汽车在复杂场景中的准确行进,展现了突出的人机交互能力。
原文链接
https://doi.org/10.1002/adma.202412329
更多信息