聯(lián)發(fā)科提到“聯(lián)發(fā)科與ARM的深度合作以及經(jīng)驗共創(chuàng)下，我們催生出新的GPU架構(gòu)”；“我們這三年來一直在講移動光追，也很開心我們即將看到開花結(jié)果”...這些信號都表明，基于Immortalis-G715的天璣芯片不遠(yuǎn)了。
這兩年聯(lián)發(fā)科召開天璣旗艦技術(shù)溝通會，都會將GPU和圖形相關(guān)技術(shù)當(dāng)做重點(diǎn)去做分享。好像在天璣9000上市之后，聯(lián)發(fā)科在手機(jī)AP SoC市場的話語權(quán)就已經(jīng)被改寫了——天璣9000。今年天璣芯片對高通驍龍系列的壓力似乎也是前所未見的。話語權(quán)的進(jìn)一步拿捏，也就讓聯(lián)發(fā)科的技術(shù)路線在行業(yè)內(nèi)更為舉足輕重。
“光線追蹤”這個詞在移動市場大概已經(jīng)預(yù)熱有3年了——雖然光追在PC和工作站領(lǐng)域逐步開始普及，但專門的光追加速單元在手機(jī)、平板之類的移動設(shè)備上還非常罕見。除了像Imagination這樣的IP供應(yīng)商時有談起，“率先落地”的應(yīng)該暫時也只有三星Exynos 2200了——用的是AMD RDNA 2架構(gòu)——但今年也還沒怎么看到光追手機(jī)游戲的影子。
這兩年聯(lián)發(fā)科也頻繁提到光追，包括去年提到生態(tài)方面與Arm、騰訊游戲等上下游合作伙伴之間的合作。但聯(lián)發(fā)科的技術(shù)發(fā)言人彼時就提到雖然在那之前的天璣芯片都沒有增加光追單元，但“這兩代就已經(jīng)在為光追做準(zhǔn)備，包括渲染指令運(yùn)算、緩存機(jī)制，現(xiàn)在是融入在了IP里面的”。
實(shí)際上天璣9000就已經(jīng)開始支持基于軟件的光線追蹤了，所以天璣9000發(fā)布會上也多少聽到聯(lián)發(fā)科提到了光線追蹤——但基本是蜻蜓點(diǎn)水式的。在光追游戲的“預(yù)備”和試水上，聯(lián)發(fā)科于天璣9000發(fā)布之際推出光追SDK產(chǎn)品。
這次的技術(shù)溝通會上，聯(lián)發(fā)科再度提到“從GPU內(nèi)容開發(fā)的進(jìn)展來看，基于移動光追的需求可能會有更大更廣的覆蓋”?！皬那澳甑饺ツ?，我們持續(xù)跟游戲引擎合作的這些移動光追方案，目前都變成了手游開發(fā)者的標(biāo)桿”。與此同時，“基于VR/AR的需求，移動光追技術(shù)也已經(jīng)陸續(xù)在萌芽 ”。所以光追技術(shù)已經(jīng)不是專屬于高端游戲需求，已經(jīng)越來越貼近用戶需求，沒有那么遙遠(yuǎn)。
今年年中ARM 正式對外發(fā)布了新的GPU產(chǎn)品線Immortalis，以及首款支持光追硬件加速的GPU IP，Immortalis-G715（以及包括更低端型號）。在ARM發(fā)布G715當(dāng)天，聯(lián)發(fā)科就在推特上快速轉(zhuǎn)發(fā)了Arm的發(fā)布信息，ARM的Immortalis-G715的產(chǎn)品介紹頁面特別列出了聯(lián)發(fā)科的“合作伙伴證言”。
聯(lián)發(fā)科這次也在會上提到“聯(lián)發(fā)科與ARM的深度合作以及經(jīng)驗共創(chuàng)下，我們催生出新的GPU架構(gòu)”；“我們這三年來一直在講移動光追，也很開心我們即將看到開花結(jié)果”...這些信號都表明，基于Immortalis-G715的天璣芯片不遠(yuǎn)了。
有關(guān)Immortalis-G715的第四代Valhall架構(gòu)，此前ARM的發(fā)布會上已有提及。其中的光追部分——這的確應(yīng)該是ARM的GPU IP首度加入專用的光追加速單元。
這種RT core光追核心的內(nèi)部有用于BVH（Bounding Volume Hierarchy）盒子遍歷，以及光線與三角形相交測試的專用硬件加速單元。值得一提的是ARM和聯(lián)發(fā)科的方案中RTU是直接放進(jìn)每個shader核心里面的，而不是像別家那樣是個外部的加速器。
移動光追的技術(shù)和生態(tài)布局
聯(lián)發(fā)科表示早在2020年12月就“提前布局Ray Query技術(shù)方案，啟動生態(tài)合作”。
在Vulkan世界里，要做光追有兩種選擇，分別是用ray tracing pipeline和ray queries。后者可在任意shader階段用于執(zhí)行光線遍歷并返回結(jié)果。網(wǎng)上能找到一些有關(guān)ray tracing pipeline和ray queries的比較。似乎SIGGRAPH 2019上，還有專家特別談到過ray tracing pipeline的諸多問題。
聯(lián)發(fā)科表示：“我們采用Ray Query方案來縮小和開發(fā)者切入的困難點(diǎn)。這些經(jīng)驗可以反饋給硬件實(shí)作者，加速他們的光追硬件開發(fā)和驅(qū)動開發(fā)。今年初Khronos也發(fā)布了Vulkan 1.3標(biāo)準(zhǔn)——基于新標(biāo)準(zhǔn)的發(fā)布，聯(lián)發(fā)科的自研方案也可以無痛切換到行業(yè)標(biāo)準(zhǔn)上繼續(xù)推進(jìn)?！边@也是大范圍生態(tài)培養(yǎng)的基礎(chǔ)。
另外聯(lián)發(fā)科也提到了Immortalis-G715硬件級光追。除了RTU以外，也包括GPU本身其他架構(gòu)層面帶來的性能提升，包括浮點(diǎn)算力的提升、三角形輸出能力提升3倍、帶寬需求優(yōu)化。這些也都是實(shí)踐移動光追游戲，以及其他更復(fù)雜游戲場景的基礎(chǔ)。
再有就是生態(tài)布局上，“與評測工具聯(lián)合推進(jìn)光追生態(tài)”；以及“協(xié)助開發(fā)者和硬件廠商定位合理的性能目標(biāo)”。
有關(guān)陰影的呈現(xiàn)，“用光追得到的反射效果會更為真實(shí)”。Imagination和英偉達(dá)早兩年做光追效果宣傳時都提到純光柵管線計算，常規(guī)可獲得的陰影都不夠真實(shí)。其實(shí)要達(dá)成陰影邊緣模糊效果（penumbra），依靠純光柵也有可行的方案，但需要引入額外的特性或技術(shù)，不僅算力開銷不小，而且得到的陰影還未必是正確的。光線追蹤在解決這類問題上有天然的優(yōu)勢。
聯(lián)發(fā)科多層面布局移動GPU增效方案，自底層硬件絕對性能提升，到平臺軟件優(yōu)化、算法布局，以及在圖形渲染以外，借助AI、CV之類的技術(shù)來生成像素與幀，提升體驗。
生態(tài)相關(guān)的部分也包括“Vulkan的推廣”。聯(lián)發(fā)科解釋說，“Vulkan本身就是為了達(dá)到內(nèi)容本質(zhì)上的降載目標(biāo)”，深耕Vulkan生態(tài)是聯(lián)發(fā)科如今的一大策略——聯(lián)發(fā)科在此表達(dá)的應(yīng)該是從芯片制造商的角度對Vulkan標(biāo)準(zhǔn)做出更快的響應(yīng)和支持。據(jù)說聯(lián)發(fā)科的天璣生態(tài)實(shí)驗室“深度聯(lián)調(diào)提升Vulkan性能”，讓熱門游戲Vulkan性能平均提升10%。
?系統(tǒng)調(diào)度、驅(qū)動優(yōu)化?！氨热鐪乜胤€(wěn)幀算法，就是這個類型的增效技術(shù)”。這兩年手機(jī)OEM廠商對此宣傳還是比較積極地。
?自適應(yīng)調(diào)度，或者說自適應(yīng)框架的應(yīng)用。“越來越多的軟件框架能夠達(dá)到系統(tǒng)平衡與內(nèi)容開發(fā)的聯(lián)動。”比如說Google ADPF、騰訊TGPA、Arm Adaptive Performance。借助這種自適應(yīng)框架，開發(fā)者能夠獲取來自系統(tǒng)、芯片的實(shí)時信息，然后對內(nèi)容做實(shí)時的負(fù)載調(diào)整，這對性能和效率發(fā)揮會大有益處。聯(lián)發(fā)科認(rèn)為這會成為未來的一大趨勢。
?平臺廠商的自研算法，如VRS（可變速率著色）、超分、補(bǔ)幀等。這些也是需要生態(tài)構(gòu)建的。
