原文來源：公眾(zhong) 號“愛光學”

算力是智能時代最重要的基石和引擎，而視覺是人類和機器感知世界最重要的途徑。“感算一體(ti) 芯片”作為(wei) 人工智能時代重要的基礎模塊，可以為(wei) 手機、機器人、無人機等一係列小型化、便攜化終端設備賦能感知與(yu) 計算的強大能力。清華大學黃翊東(dong) 教授團隊崔開宇課題組提出世界首款“物譜芯片”——光譜成像芯片2.0，即物質成像光譜卷積神經網絡芯片，是麵向複雜視覺任務的感算一體(ti) 芯片，也是首個(ge) 可以用含有物質光譜信息的自然光直接作為(wei) 輸入的光計算芯片，突破了現有光神經網絡大多都難以落地到實際應用的困境，真正實現真實世界的複雜視覺計算任務。該工作以”Spectral convolutional neural network chip for in-sensor edge computing of incoherent natural light“為(wei) 題，在線發表於(yu) 《自然-通訊》（Nature Communications）。

隨著大數據大模型對算力需求呈現遠超摩爾定律增長的趨勢, 電子計算平台的能耗大且計算速度有限，嚴(yan) 重限製了邊緣設備上人工智能模型的發展。光神經網絡具有計算速度快、並行性高、功耗低的明顯優(you) 勢，然而受限於(yu) 片上集成的規模問題以及對相幹光源的依賴性，現有的光神經網絡隻能用在圖像邊緣檢測、手寫(xie) 數字識別等簡單的任務上。

崔開宇課題組提出新的感算一體(ti) 式解決(jue) 思路，即光譜卷積神經網絡（Spectral convolutional neural network, SCNN），如圖1所示，通過在圖像傳(chuan) 感器（CMOS image sensor, CIS）表麵大規模集成光譜調製結構，便能夠在光譜維度實現向量內(nei) 積的大規模並行計算。將集成了光譜調製結構的圖像傳(chuan) 感器視為(wei) 輸入層及第一卷積層，結合後續的小規模電計算卷積層，便能構成一個(ge) 光電混合的神經網絡。

圖1 現有的光神經網絡（ONN）與(yu) 論文提出的光譜卷積神經網絡（SCNN）的對比

製備的基於(yu) 光譜卷積神經網絡的物譜芯片如圖2所示，分別采用了光學超表麵以及色素作為(wei) 光譜調製結構，製備了兩(liang) 款不同的物譜芯片，驗證了光譜卷積神經網絡框架的可行性。其中基於(yu) 超表麵的芯片具有更好的光譜調製能力，並且具有偏振、相位、入射角等全光場感知的潛力，而基於(yu) 色素的芯片已實現了12吋晶圓的流片量產(chan) ，具有更高的集成度和更低的加工製備成本。光譜卷積神經網絡方案主要有三點優(you) 勢：（1）基於(yu) 圖像傳(chuan) 感器實現的光計算卷積層集成度大、功耗低，且可以直接感知自然光（包含兩(liang) 個(ge) 空間維度和一個(ge) 光譜維度的寬帶非相幹光），不依賴於(yu) 相幹光源；（2）光計算卷積層為(wei) 感算一體(ti) 式，即圖像傳(chuan) 感器完成拍攝的同時也完成了計算，能夠在算力有限的邊緣設備與(yu) 移動終端上完成高維光譜圖像的獲取與(yu) 處理，實現“物質超成像”（Matter meta-imaging），擺脫GPU、不被卡脖子，讓光譜成像的應用輕鬆下沉到終端；（3）光電混合的計算架構能夠兼顧光計算高速、並行、低功耗的優(you) 勢以及電計算的靈活性，充分利用圖像傳(chuan) 感器作為(wei) 目前最高集成度的光電探測陣列芯片，讓上百萬(wan) 像素、上億(yi) 像素相機的每一個(ge) 像素點都可以計算！

圖2 分別采用光學超表麵及色素實現的基於(yu) 光譜卷積神經網絡的物譜芯片

為(wei) 驗證光譜卷積神經網絡方案的有效性和靈活性，用同一個(ge) 物譜芯片（3×3.5mm2）實現了病理診斷和人臉鑒偽(wei) 兩(liang) 個(ge) 完全不同的現實世界複雜任務，如圖3所示。光譜信息可以反應物質的組成成分，且難以被偽(wei) 造，利用光譜卷積神經網絡感知計算得到的光譜信息，可以實現像素級的活體(ti) 檢測，並達到96.23%的準確率，進一步可以實現幾乎100%的圖像級人臉鑒偽(wei) 準確率。在切片病理診斷上，不依賴於(yu) 顯微鏡便能實現對正常甲狀腺組織切片及四種病變（包括癌變）甲狀腺組織切片的分辨，展現出了物譜芯片在術中病理實時診斷的應用潛力。

圖3 用同一個(ge) 物譜芯片實現了病理診斷和人臉鑒偽(wei) 兩(liang) 個(ge) 完全不同的現實世界複雜任務

綜上所述，物譜芯片，即物質成像光譜卷積神經網絡芯片，能夠直接處理自然圖像，在百萬(wan) 至上億(yi) 像素的空間維度實現高度並行的內(nei) 積運算，實現全新“物質成像”的感算一體(ti) 邊緣計算(In-sensor Edge Computing)，為(wei) 機器視覺、邊緣計算終端設備賦能物質成像的全新功能，從(cong) 而開啟一個(ge) 超越人眼的物質元成像(Matter Meta-Imaging, MMI)神經網絡芯片的新範式。

2025年1月2日，相關(guan) 成果以“非相幹光感算一體(ti) 的光譜卷積神經網絡芯片”(Spectral convolutional neural network chip for in-sensor edge computing of incoherent natural light) 為(wei) 題，在線發表於(yu) 《自然-通訊》（Nature Communications）。

加拿大官网开奖号码成立於(yu) 2004年，專(zhuan) 注於(yu) 光機電產(chan) 品與(yu) 技術服務，提供光學元件、激光應用等多元化產(chan) 品。依托高校與(yu) 國際合作夥(huo) 伴，技術實力雄厚。作為(wei) 高新技術企業(ye) ，我們(men) 致力於(yu) 打造光裝備行業(ye) 核心元件品牌，為(wei) 客戶提供優(you) 質產(chan) 品與(yu) 服務，推動行業(ye) 進步。