3月2日，国际光学权威期刊《Optica》以“Fast Correlated-Photon Imaging Enhanced by Deep Learning”为题发表了上海交通大学金贤敏团队最新研究成果：实验上首次实现了深度学习加速关联光子成像。Optica是美国光学学会（The Optical Society of America，OSA）旗下高影响因子期刊（9.778）。研究团队创新性地从实验角度将深度学习算法应用于解决关联光子成像中非完美系统导致的噪声干扰，进一步拓展人工智能技术与量子技术融合，推动光量子成像朝向快速、实用化的方向发展。
图：逆成像问题中的重构算法。(a)数值算法框架(b)深度学习算法框架
关联光子成像，利用关联光子对中强的量子关联特性，在弱光成像和探测中发挥了很大的优势，主要体现在低光照度、高灵敏度、高分辨率和对比度。同时，由于低剂量的光照辐射，光源自身的散粒噪声（Shot noise）表现明显，严重影响了成像质量。传统的数值优化算法利用光源泊松分布的先验，通过凸优化过程实现成像结果的最优化。但是，此算法要求单光子相机单帧包含少量稀疏光子，因此需要几千甚至几万帧数据的收集，极大地限制了成像的实时性和成像质量。
研究团队利用飞秒激光经过非线性晶体，自发参量下转换产生简并的关联光子对。其中一个光子经过成像光路，另一个关联的光子被单光子探测器接收，其响应的电子脉冲信号触发单光子敏感相机I-sCMOS的像增强器，实现光子与光快门的同步。由于低于2ns的光快门，可以实现精确的时间滤波，从而得到更多的信号。通过构建“端对端”的卷积神经网络（CNN）结构，利用空间光调制器SLM，实现大量原始单帧图像数据的获取。通过对卷积神经网络参数的优化，实现对光子受限成像信号的优化重构。
研究团队在控制关联光子对在相机上的强度为约平均每个像素1.6个光子，采用EMNIST数据集作为样本，通过成像光学系统获取对应的噪声图。将这两张关联的图作为CNN网络的输入，通过GPU加速训练优化网络参数，实现网络结构对光学系统的映射。由于CNN网络结构对图像的降维学习，寻找理想图与实际图的差异，实现对噪声的有效滤除。
图：不同算法方式的重构结果（~1.6个光子/像素）。
(a)原始图(b)I-sCMOS测量结果(c)数值算法（TV正则化）重构(d)深度学习算法重构
研究团队进一步验证CNN结构对光强的鲁棒性，调整照明光子亮度到约每个像素0.8个光子，采用MNIST数据集作为样本。在这种超弱光辐照下，数值算法优化的效果已经达到了极限，没有明显增强。而深度学习算法重构效果有所减弱，但是对于原始信号的轮廓仍能的得到完美的复原，识别度有明显提升。
极限弱光条件下不同算法方式的重构结果（~0.8个光子/像素）
(a)原始图(b)相机直接测量结果(c)深度学习算法重构(d)算法迭代对重构结果的影响
研究团队对比了目前单光子成像领域先进的实验结果。以重构图像对比度和成像实时性作为关注点。通过对比发现，在利用经典算法处理的情况下，对比度和实时性无法实现兼顾，想要得到高的对比度，成像时间基本都在几分钟以上。这对于体现关联光子对中强的量子关联性是不利的，实用性受到限制。但是深度学习算法可以兼顾两方面的特性，既能发挥量子光联特性，又能将成像速度提升至秒量级。至此，研究团队完整的证明了深度学习算法对于加速关联光子成像的优势。
图：单光子成像的最新实验成果对比
该工作作为对传统优化算法的补充，进一步促进了深度学习与量子成像之间的联系，为量子增强成像的更广泛和实际的应用提供了新的可能。同时，作为一种新的研发方向，连接量子技术与人工智能的纽带，为两种技术进一步深入的融合提供了新的探索机会。
研究团队感谢上海市科委重大项目和国家自然科学基金重点项目的雪中送炭，感谢国家重点研发计划、上海市教委的大力支持。上海交通大学物理与天文学院集成量子信息技术研究中心博士生李占明为论文第一作者，金贤敏教授为论文通讯作者。
论文链接：
https://www.osapublishing.org/optica/fulltext.cfm?uri=optica-8-3-323&id=448714
微信公众号
