近日，「图灵量子」、上海交大集成量子信息技术技术研究中心（IQIT）、上海交大无锡光子芯片研究院（CHIPX）合作发表创新成果。上海交大金贤敏团队在《自然·通讯》（Nature Communications）上以「High-efficiency reinforcement learning with hybrid architecture photonic integrated circuit」为题发表最新研究成果，提出了一种新型混合架构可编程光子计算芯片，展示了基于光子芯片的强化学习（PIC-RL）对钙钛矿材料合成任务的高效求解。文章中提出的PIC-RL框架首次成功实现了在可编程光子计算芯片上的复杂强化学习任务实验求解。同时，混合架构光子芯片(HyArch PIC)的独特优势为光子人工智能和光量子计算开辟了新的研究方向。这项研究为深入探索前沿强化学习算法以及充分利用光子集成芯片实现先进人工智能奠定了基础。

Nature Communications官网截图

强化学习（Reinforcement Learning, RL）是机器学习的核心范式之一，在构建通用学习系统（例如ChatGPT等）中发挥着至关重要的作用。然而，传统电子计算机在模拟强化学习模型中智能体与环境交互的过程中消耗了大量计算资源，对强化学习的效率提出了重大挑战。为了克服这一难题，研究团队提出了一个通用框架，利用光子集成芯片（PIC）来模拟强化学习中智能体与环境的交互，以提高算法效率。该项研究结果验证了在光子集成芯片平台上模拟强化学习算法交互的有效性，突显了其在处理大规模和复杂RL任务中提升计算能力的潜力。

图1 a) 混合架构光子芯片（HyArch PIC）示意图，由光学幺正网络结构U和光学点积处理器OCTOPUS组成；b) 基于光子芯片的强化学习（PIC-RL）框架。

研究团队创新设计的混合架构光子芯片（HyArch PIC）在可扩展性，多功能性以及高速兼容性方面相较于单一集成光计算架构（如SVD网络和光学线性神经元架构）表现出显著优势。在容错性方面，HyArch PIC相较于SVD网络具有亚指数级别的优势，进而支持大规模地片上集成。计算表明，当采用10GHz的高速薄膜铌酸锂电光调制器作为调制单元时，128维HyArch PIC的算力能够超越NVIDIA A100显卡。将HyArch PIC与高速FPGA和电驱动器集成在单个开发板上，形成高度集成的光电计算板卡，提供了巨大的参数优化空间。174个封装好电学接口通过「图灵量子」自主设计的256通道100kHz驱动板卡控制，实现了对HyArch PIC上全部87个通道的任意编程重构。通过全局参数优化和链路校准，HyArch PIC可高精度完成高达15维光学点积操作，确保后续复杂RL算法在光子芯片上的有效执行。

图2 基于HyArch PIC芯片光电计算系统的实验展示。a) 光电集成计算板卡的架构展示；b）光电集成计算板卡实物图；c) HyArch PIC显微图片；d)~g) HyArch PIC的测试结果。

为了验证PIC-RL框架的有效性，研究团队首先进行了基于悬崖行走环境（cliff walking）的基准测试。在Q-learning算法的基础上，引入相似度奖励函数(SRF)相较于恒定奖励函数(CRF)实现了训练加速。并且随着环境规模的扩大，SRF更显著地实现了指数级别的加速效果。

图3 基于PIC-RL的悬崖行走任务基准测试。

为了更深入验证 PIC-RL 的效率和通用性，上海交大研究团队进一步和「图灵量子」的材料算法专家讨论，共同研究了PIC-RL框架在解决实际问题（二维钙钛矿材料合成问题）中的应用。通过对比原始的Ruddlesden-Popper (RP) 相过渡金属钙钛矿硫属化物Ca₃Sn₂S₇(CSS)，研究团队发现，当氧元素部分取代硫族阴离子的条件下，衍生产物Ca₆Sn₄S₁₄₋ₓOₓ (CSSOx, x从1到5)表现出更为卓越的光伏性能。类似于高维空间悬崖行走任务，钙钛矿材料合成任务的目标是在由所有3472 个CSSOx 衍生结构组成的状态空间内确定从起始结构到目标结构的最佳合成路线。基于高效的PIC-RL框架，研究团队成功地在3472维状态空间内完成了钙钛矿材料合成的强化学习任务，并显著提升了算法效率(56%的提升)。

图4 基于PIC-RL的钙钛矿材料合成任务求解。a) RP phase CSSOx晶体结构图及其向量表示；b) CSSOx钙钛矿材料最优合成路线；c) 3472个14维结构相似度计算的实验与数值的对比曲线（σ=0.015）；d) PIC-RL的训练曲线（绿），相较于传统CRF-RL算法（灰）实现了56%的训练加速；e）3472维状态空间中最优合成路线的t-SNE表示。

在上述研究过程中，「图灵量子」的光电硬件研发团队为集成光电计算板卡的软硬件开发提供了关键支持，「图灵量子」的材料算法专家团队为项目中钙钛矿材料合成方案提供了关键的知识支撑以及宝贵的数据。上海交通大学集成量子信息技术研究中心与「图灵量子」研发团队紧密合作，深度推动学科交叉和融合发展，是一次产学研结合创新的重要典范。

研究团队感谢「图灵量子」、上海交大无锡光子芯片研究院（CHIPX）与上海交大集成量子信息技术技术研究中心（IQIT）的合作。并感谢上海市科委重大项目、国家自然科学基金重点项、国家重点研发计划、上海市教委的大力支持。上海交通大学集成量子信息技术研究中心博士李轩坤为论文第一作者，金贤敏教授为论文通讯作者。

论文链接：

https://www.nature.com/articles/s41467-024-45305-z

文：远见  闵青云 ；来源：FUTURE远见微信号