準備好,中文互聯(lián)網(wǎng)終于有人開始嚴肅地討論 VR 技術了。純干貨文章,直奔主題。
VR 渲染的難點是什么?
左眼和右眼看到的場景是不同的,因此同樣的 API 需要調用兩次。以 Oculus DK2 為例,頭戴顯示器分辨率為 1920 X 1080,viewport 均分為左右兩部分,各為 960 X 1080。這意味著 CPU 和 GPU 的工作量相比傳統(tǒng)三維游戲都要增加,如何降低額外的一次繪制的開銷是這篇文章的重點。
VR 地獄有幾層?
先來四層:
整個場景畫兩次:先繪制左眼看到的場景,然后繪制右眼看到的場景。
每個物體畫兩次:對于場景中的物體依次繪制,物體 1 左眼 -> 物體 1 右眼 -> 物體 2 左眼 -> 物體 2 右眼 -> 按照左右左右的順序繪制。
硬件 Geometry Shader 技術:只繪制一次,用硬件 Geometry Shader 生成左右兩個場景。
硬件 Instancing 技術:只繪制一次,用 instancing 技術生成左右兩個場景。
第一層:整個場景畫兩次
優(yōu)點 - 最容易實現(xiàn)
缺點 - 效率低下,不論是 CPU 還是 GPU。
左眼渲染結束后,同樣的 API 在右眼部分依然需要重復。
第二層:每個物體畫兩次
優(yōu)點 - 容易實現(xiàn),可顯著降低 API 調用,貼圖、Shader、頂點緩存等不用修改。
SV_ViewportIndex 可以用于選擇多個 Viewport。
缺點 - draw call 依然存在重復。
僅僅需要修改右眼的攝像機的狀態(tài)(View Matrix)和 視口(Viewport)。
第三層:硬件 Geometry Shader 技術
優(yōu)點 - 看上去很美,硬件加速,不需要重復 API 調用。
缺點 - 需要修改 Shader 流水線以支持 GS,同時部分硬件平臺不支持 GS,而且 GS 的效率非常糟糕(某顯卡:怪我咯)
第四層:硬件 Instancing 技術
優(yōu)點 - 不涉及額外的狀態(tài)切換,比 GS 快三倍!
缺點 - 不支持兩只眼睛渲染到不同到 render target 上(暫時不是問題),同時老版本的 GLES 不支持
Instancing。Instancing 的特點是 CPU 只上傳一次頂點數(shù)據(jù),讓 GPU 批量渲染多次。也就是場景中所有物體的 Vertex Buffer、Index Buffer、Texture 以及渲染狀態(tài)只設置一次,一個物體也僅僅 draw 一次。
但是前面提到左右眼的 View Matrix 和 Viewport 是不同的,只 draw 一次怎么解決這個問題呢?
float4x4 WorldToEyeClipMatrix[2]; // 由 VR 設備的 SDK 獲取
float4 EyeClipEdge[2]={(-1,0,0,1), (1,0,0,1)};
float EyeOffsetScale[2]={0.5,-0.5};
uint eyeIndex = SV_InstanceID & 1; // 最低位作為眼睛的索引值:0 為左眼,1 為右眼。
float4 clipPos = worldPos * WorldToEyeClipMatrix[eyeIndex];
SV_CullDistanceOut.x = SV_ClipDistanceOut.x = clipPos · EyeClipEdge[eyeIndex];
clipPos.x *= 0.5; // 渲染范圍的寬度縮小一半
clipPos.x += EyeOffsetScale[eyeIndex] * clipPos.w; // 根據(jù)是左眼 or 右眼來向左 or 向右移動
clipPositionOut = clipPos;
正確答案是這段 HLSL Vertex Shader 偽代碼,詳細的解釋留待下一篇文章。
總共十八層的地獄,小張只探索到第四層,等大家打怪練級經(jīng)驗漲上去了,后續(xù)關卡會依次開放。