|  站内搜索:
网站首页 > 学术探索 > 科技前沿 > 阅读信息
上海交大金贤敏团队发表最新研究成果:基于混合架构光子计算芯片的高效强化学习
点击:  作者:远见 闵青云    来源:FUTURE远见微信号  发布时间:2024-02-23 11:43:01

 

近日,「图灵量子」、上海交大集成量子信息技术技术研究中心(IQIT)、上海交大无锡光子芯片研究院(CHIPX)合作发表创新成果。上海交大金贤敏团队在《自然·通讯》(Nature Communications)上以「High-efficiency reinforcement learning with hybrid architecture photonic integrated circuit」为题发表最新研究成果,提出了一种新型混合架构可编程光子计算芯片,展示了基于光子芯片的强化学习(PIC-RL)对钙钛矿材料合成任务的高效求解文章中提出的PIC-RL框架首次成功实现了在可编程光子计算芯片上的复杂强化学习任务实验求解。同时,混合架构光子芯片(HyArch PIC)的独特优势为光子人工智能和光量子计算开辟了新的研究方向。这项研究为深入探索前沿强化学习算法以及充分利用光子集成芯片实现先进人工智能奠定了基础。

 

 

Nature Communications官网截图

 

强化学习(Reinforcement Learning, RL)是机器学习的核心范式之一,在构建通用学习系统(例如ChatGPT等)中发挥着至关重要的作用。然而,传统电子计算机在模拟强化学习模型中智能体与环境交互的过程中消耗了大量计算资源,对强化学习的效率提出了重大挑战。为了克服这一难题,研究团队提出了一个通用框架,利用光子集成芯片(PIC)来模拟强化学习中智能体与环境的交互,以提高算法效率。该项研究结果验证了在光子集成芯片平台上模拟强化学习算法交互的有效性,突显了其在处理大规模和复杂RL任务中提升计算能力的潜力。

 

 

1 a) 混合架构光子芯片(HyArch PIC)示意图,由光学幺正网络结构U和光学点积处理器OCTOPUS组成;b) 基于光子芯片的强化学习(PIC-RL)框架。

 

研究团队创新设计的混合架构光子芯片(HyArch PIC)在可扩展性,多功能性以及高速兼容性方面相较于单一集成光计算架构(如SVD网络和光学线性神经元架构)表现出显著优势。在容错性方面,HyArch PIC相较于SVD网络具有亚指数级别的优势,进而支持大规模地片上集成。计算表明,当采用10GHz的高速薄膜铌酸锂电光调制器作为调制单元时,128HyArch PIC的算力能够超越NVIDIA A100显卡。HyArch PIC与高速FPGA和电驱动器集成在单个开发板上,形成高度集成的光电计算板卡,提供了巨大的参数优化空间。174个封装好电学接口通过「图灵量子」自主设计的256通道100kHz驱动板卡控制,实现了对HyArch PIC上全部87个通道的任意编程重构。通过全局参数优化和链路校准,HyArch PIC可高精度完成高达15维光学点积操作,确保后续复杂RL算法在光子芯片上的有效执行。

 

 

2 基于HyArch PIC芯片光电计算系统的实验展示。a) 光电集成计算板卡的架构展示;b)光电集成计算板卡实物图;c) HyArch PIC显微图片;d)~g) HyArch PIC的测试结果。

 

为了验证PIC-RL框架的有效性,研究团队首先进行了基于悬崖行走环境(cliff walking)的基准测试。在Q-learning算法的基础上,引入相似度奖励函数(SRF)相较于恒定奖励函数(CRF)实现了训练加速。并且随着环境规模的扩大,SRF更显著地实现了指数级别的加速效果。

 

 

3 基于PIC-RL的悬崖行走任务基准测试。

 

为了更深入验证 PIC-RL 的效率和通用性,上海交大研究团队进一步和「图灵量子」的材料算法专家讨论,共同研究了PIC-RL框架在解决实际问题(二维钙钛矿材料合成问题)中的应用。通过对比原始的Ruddlesden-Popper (RP) 相过渡金属钙钛矿硫属化物CaSnS(CSS),研究团队发现,当氧元素部分取代硫族阴离子的条件下,衍生产物CaSnS₄₋ₓO (CSSOx, x15)表现出更为卓越的光伏性能。类似于高维空间悬崖行走任务,钙钛矿材料合成任务的目标是在由所有3472 CSSOx 衍生结构组成的状态空间内确定从起始结构到目标结构的最佳合成路线。基于高效的PIC-RL框架,研究团队成功地在3472维状态空间内完成了钙钛矿材料合成的强化学习任务,并显著提升了算法效率(56%的提升)

 

 

4 基于PIC-RL的钙钛矿材料合成任务求解。a) RP phase CSSOx晶体结构图及其向量表示;b) CSSOx钙钛矿材料最优合成路线;c) 347214维结构相似度计算的实验与数值的对比曲线(σ=0.015);d) PIC-RL的训练曲线(绿),相较于传统CRF-RL算法(灰)实现了56%的训练加速;e3472维状态空间中最优合成路线的t-SNE表示。

 

在上述研究过程中,「图灵量子」的光电硬件研发团队为集成光电计算板卡的软硬件开发提供了关键支持,「图灵量子」的材料算法专家团队为项目中钙钛矿材料合成方案提供了关键的知识支撑以及宝贵的数据。上海交通大学集成量子信息技术研究中心与「图灵量子」研发团队紧密合作,深度推动学科交叉和融合发展,是一次产学研结合创新的重要典范。

 

研究团队感谢「图灵量子」、上海交大无锡光子芯片研究院(CHIPX)与上海交大集成量子信息技术技术研究中心(IQIT)的合作。并感谢上海市科委重大项目、国家自然科学基金重点项、国家重点研发计划、上海市教委的大力支持。上海交通大学集成量子信息技术研究中心博士李轩坤为论文第一作者,金贤敏教授为论文通讯作者。

 

论文链接:

https://www.nature.com/articles/s41467-024-45305-z

 

文:远见  闵青云 ;来源:FUTURE远见微信号

责任编辑:向太阳
特别申明:

1、本文只代表作者个人观点,不代表本站观点,仅供大家学习参考;

2、本站属于非营利性网站,如涉及版权和名誉问题,请及时与本站联系,我们将及时做相应处理;

3、欢迎各位网友光临阅览,文明上网,依法守规,IP可查。

昆仑专题

高端精神

国策建言

热点排行
  • 一周
  • 一月
  • 半年
  • 建言点赞
  • 一周
  • 一月
  • 半年
  • 友情链接
  • 人民网
  • 央视网
  • 新华网
  • 求是
  • 中国军网
  • 中国经济网
  • 中国社会科学网
  • 中国科技网
  • 中国共产党历史和文献网
  • 红色文化网
  • 观察者网
  • 参考消息
  • 环球网
  • 毛泽东思想旗帜网
  • 红旗文稿
  • 红歌会
  • 红旗网
  • 乌有之乡
  • 橘子洲头
  • 四月网
  • 新法家
  • 中红网
  • 激流网
  • 宣讲家网
  • 中共党史网
  • 国史网
  • 全国党建网
  • 中国集体经济网
  • 中国延安精神研究会
  • 西北革命历史网
  • 烽火HOME
  • 俄罗斯卫星通讯社
  • 赵晓鲁律师事务所
  • 备案/许可证编号:京ICP备15015626号-1 昆仑策研究院 版权所有 举报邮箱:[email protected]