从一句话生成一张图，到几秒钟生成一段视频，生成式东谈主工智能正在走向更复杂确实凿全国行使。模子越大、别离率越高、生成实质越丰富，对算力与能耗的需求就越惊东谈主，后摩尔定律时期，面向将来的征询焦点转向光电运筹帷幄等“下一代算力芯片”。关联词，面前光电芯片仍主要擅长加快判别类任务，距离支握前沿大限度生成模子还有不小距离。因此，“如何让下一代算力光芯片能开动复杂生成模子”，成为各人智能运筹帷幄范围公认的难题。

论文在《科学》杂志发表

新民晚报记者近日从上海交通大学获悉，上海交大集成电路学院陈一彤课题组在新一代算力光芯片所在获取首要冲破，初度完好意思了支握大限度语义视觉生成模子的全光运筹帷幄芯片LightGen。有关征询以《大限度智能语义视觉生周至光芯片》（All-optical synthesis chip for large-scale intelligent semantic vision generation）发表于国外顶级学术期刊《科学》（Science）上。

所谓“光运筹帷幄”，不错凡俗地意会为：不是让电子在晶体管中开动，而是让光在芯片中传播，用光场的变化完成运筹帷幄。光自然具备高速和并行的上风，因此长期被视为冲破算力与能耗瓶颈的热切所在。关联词，要把光运筹帷幄确凿用到生成式AI上，并非这样肤浅：生成模子常常限度更大，还需要在不同维度之间不停变换；若是芯片限度较小，则不得不经常在光与电之间级联或复用，速率上风会被蔓延与能耗飞快对消。因此，全光运筹帷幄，就显得更为热切和繁难。

大限度全光生成运筹帷幄芯片LightGen

LightGen之是以梗概完好意思惊东谈主的性能飞跃，在于它在单枚芯片上同期冲破了三项范围公认的要道瓶颈：单片上百万级光学神经元集成、全光维度养息，不依赖真值的光学生成模子考试算法。这三项中的任性一项单独冲破皆足以组成热切发达，而LightGen将它们同期完好意思，使得面向大限度生成任务的全光端到端完好意思成为可能。

更热切的是，LightGen展示的并不是电援手光去作念生成，而是让全光芯片完好意思完好意思“输入—意会—语义操控—生成”的闭环：输入图像投入芯片后，系统梗概索要与表征语义信息，并在语义操控下生周至新的媒体数据，完好意思让光“意会”和“明白”语义。论文实验考证，LightGen可完成高别离率（≥512×512）图像语义生成、3D生成（NeRF）、高清视频生成及语义调控，同期支握去噪、局部与全局特征迁徙等多项大限度生成式任务。

LightGen生成的采样图像示例

在性能评估上，LightGen弃取了极严格的算力评价法式：在完好意思与电芯片上开动的Stable Diffusion、NeRF、Style Injection Diffusion等前沿电子神经辘集相仿生成质料的前提下，获胜对端到端耗时与耗能进行测量。实测标明，即便弃取较滞后性能的输入修复，LightGen仍可获取比拟顶尖数字芯片2个数目级的算力和能效普及。而若是弃取前沿修复使得信号输入频率不是瓶颈的情况下，LightGen表面可完好意思算力普及7个数目级、能效普及8个数目级的性能跃升。这不仅体现了在不葬送生收效力的情况下，用全光有盘算替换现存有盘算可能带来的重大增益，也从侧面印证了大限度集成、全光维度变换与无真值考试等难点被系统性贬责后，全光片上承载大限度生成辘集的实践道理。

论文同步被《科学》杂志选为高光论文重心报谈。文中提到，生成式AI正加快融入坐褥生涯，要让“下一代算力芯片”在当代东谈主工智能社会中确凿实用，大势所趋的是研发梗概获胜实行确凿全国所需前沿任务的芯片——尤其是大限度生成模子这类对端到端时延与能耗极高的任务。面向这一见识，LightGen为新一代算力芯片确凿助力前沿东谈主工智能设备了新旅途，也为探索更高速、更高能效的生成式智能运筹帷幄提供了新的征询所在。