新華社北京5月30日電（記者宋晨）清華大學(xué)類腦計(jì)算研究中心團(tuán)隊(duì)近日研制出了世界首款類腦互補(bǔ)視覺芯片“天眸芯”，相關(guān)成果30日作為封面文章，發(fā)表于國際學(xué)術(shù)期刊《自然》。
圖為“天眸芯”。（清華大學(xué)精密儀器系供圖）
論文通訊作者、清華大學(xué)精密儀器系教授施路平介紹，在開放世界中，智能系統(tǒng)不僅要應(yīng)對(duì)龐大的數(shù)據(jù)量，還需要應(yīng)對(duì)如駕駛場景中的突發(fā)危險(xiǎn)、隧道口的劇烈光線變化和夜間強(qiáng)閃光干擾等極端事件。而傳統(tǒng)視覺感知芯片面對(duì)此類場景往往出現(xiàn)失真、失效或高延遲，限制系統(tǒng)的穩(wěn)定性和安全性。
為更好應(yīng)對(duì)上述問題，清華大學(xué)類腦計(jì)算研究中心團(tuán)隊(duì)聚焦類腦視覺感知芯片技術(shù)，提出了一種基于視覺原語的互補(bǔ)雙通路類腦視覺感知新范式。
“該范式借鑒了人類視覺系統(tǒng)的基本原理，將開放世界的視覺信息拆解為基于視覺原語的信息表示，并通過有機(jī)組合這些原語，模仿人視覺系統(tǒng)的特征，形成兩條優(yōu)勢(shì)互補(bǔ)、信息完備的視覺感知通路。”施路平說。
基于這一新范式，團(tuán)隊(duì)進(jìn)一步研制出了世界首款類腦互補(bǔ)視覺芯片“天眸芯”，在極低的帶寬和功耗代價(jià)下，實(shí)現(xiàn)了高速、高精度、高動(dòng)態(tài)范圍的視覺信息采集，能夠高效應(yīng)對(duì)各種極端場景，確保系統(tǒng)的穩(wěn)定性和安全性。
同時(shí)，基于“天眸芯”，團(tuán)隊(duì)還自主研發(fā)了高性能軟件和算法，并在開放環(huán)境車載平臺(tái)上進(jìn)行了性能驗(yàn)證。在多種極端場景下，該系統(tǒng)實(shí)現(xiàn)了低延遲、高性能的實(shí)時(shí)感知推理，展現(xiàn)了其在智能無人系統(tǒng)領(lǐng)域的應(yīng)用潛力。
論文通訊作者、清華大學(xué)精密儀器系教授趙蓉表示，“天眸芯”為自動(dòng)駕駛、具身智能等重要應(yīng)用開辟了新的道路。結(jié)合團(tuán)隊(duì)在類腦計(jì)算芯片“天機(jī)芯”、類腦軟件工具鏈和類腦機(jī)器人方面的應(yīng)用落地的技術(shù)積累，“天眸芯”的加入將能夠進(jìn)一步完善類腦智能生態(tài)，有力推動(dòng)人工通用智能的發(fā)展。
現(xiàn)實(shí)世界的多樣性、動(dòng)態(tài)性和不可預(yù)測性對(duì)圖像傳感器提出了挑戰(zhàn)。在本周的期刊中，石路平及其同事展示了一款受人類視覺系統(tǒng)啟發(fā)的視覺芯片。這款名為 Tianmouc 的芯片將視覺信息解析為原始表示，然后使用兩條互補(bǔ)的視覺通路（一條用于認(rèn)知相關(guān)處理，一條用于動(dòng)作相關(guān)處理）來解析這些表示以理解場景。認(rèn)知處理以高空間分辨率處理顏色和強(qiáng)度，而——
封面圖片：清華大學(xué)
