對(duì)半導(dǎo)體供貨商來說，Google新發(fā)表的虛擬現(xiàn)實(shí)(VR)平臺(tái)Daydream，是與它的名稱(白日夢(mèng))正好相反、具備實(shí)際商機(jī)潛力的產(chǎn)物；高通(Qualcomm)虛擬處理技術(shù)部門主管Tim Leland，就是眾多與Google合作了好一段時(shí)間的廠商代表之一，協(xié)助催生了可支持移動(dòng)虛擬現(xiàn)實(shí)功能的新一代升級(jí)版Android手機(jī)，如三星(Samsung)以GearVR產(chǎn)品所展現(xiàn)的實(shí)例。
Leland的團(tuán)隊(duì)協(xié)助開發(fā)了一個(gè)針對(duì)單緩沖渲染(single-buffer rendering)優(yōu)化的Android架構(gòu)，該整合于高通最新Snapdragon 820單芯片(SoC)的繪圖處理核心經(jīng)過調(diào)整，可提供精細(xì)紋理的搶占技術(shù)(fine grained pre-emption)，以降低移動(dòng)延遲(motion-to-photon latency)；移動(dòng)延遲是確保VR頭戴顯示器畫面變換速度與用戶頭部移動(dòng)速度一樣快的關(guān)鍵指針。
Leland表示，藉由深入SoC設(shè)計(jì)讓Android平臺(tái)的應(yīng)用達(dá)到20毫秒(millisecond)的延遲目標(biāo)是個(gè)大工程，Snapdragon芯片需要改變與各個(gè)傳感器之間的交握(handshake)方式才能降低延遲；而傳感器本身則需要支持更快速的、從100MHz到1GHz等級(jí)的采樣。
為此高通開發(fā)了一種稱為“視覺慣性測(cè)程(visual inertial odometry)”的算法，以追蹤六個(gè)自由度的頭部運(yùn)動(dòng)；該算法會(huì)在Snapdragon內(nèi)建的Hexagon數(shù)字信號(hào)處理器(DSP)中執(zhí)行，將來自頭戴設(shè)備的加速度計(jì)、陀螺儀、磁力計(jì)、攝影機(jī)的數(shù)據(jù)相互關(guān)聯(lián)。
開發(fā)工程師能透過高通即將上市的軟件開發(fā)工具包(SDK)取得上述技術(shù)，而Google也打算在Android N操作系統(tǒng)加入能處理傳感器融合(sensor fusion)任務(wù)的功能，應(yīng)該是為了那些采用未具備傳感器融合功能之SoC的廠商。
高通在一篇技術(shù)白皮書中聲稱，Snapdragon 820的移動(dòng)延遲低于18毫秒；該白皮書寫道：“以實(shí)際的角度來看這個(gè)挑戰(zhàn)，60Hz顯示器每17毫秒會(huì)更新一次畫面，而90Hz顯示器則是每11毫秒更新一次。”
結(jié)合頭戴式設(shè)備使用的手機(jī)通常會(huì)需要采用AMOLED顯示器，因?yàn)槟鼙葌鹘y(tǒng)液晶顯示器支持更快的切換時(shí)間，否則容易出現(xiàn)所謂的‘鬼影’；而繪圖處理核心則會(huì)采用一系列的渲染影像技巧，提供用戶運(yùn)動(dòng)時(shí)的流暢感、同時(shí)最小化耗電量。
舉例來說，該類組件會(huì)盡可能時(shí)常重復(fù)使用宏區(qū)塊(macro-blocks；或譯“宏區(qū)塊”、“宏塊”)，以減少渲染影像的需要。一個(gè)簡單的技巧是先在顯示器的中央渲染影像，假設(shè)用戶的目光聚焦于此；而更先進(jìn)的解決方案是使用智能手機(jī)攝影機(jī)來追蹤使用者的眼球運(yùn)動(dòng)，來判定哪個(gè)角度的影像該優(yōu)先渲染。
繪圖數(shù)據(jù)的壓縮已經(jīng)成為在提升處理速率同時(shí)降低耗電的關(guān)鍵；另一個(gè)技巧是改變影像的色調(diào)，讓它看起來似乎更亮，因此不需要調(diào)高耗電量大的背光。這確實(shí)是個(gè)挑戰(zhàn)，因?yàn)槟壳暗氖謾C(jī)只是在車上開個(gè)導(dǎo)航功能就會(huì)開始發(fā)燙，而今年秋天上市的手機(jī)則是要能貼近使用者的臉。無論如何，VR功能期望能為成長趨緩的手機(jī)市場(chǎng)注入新動(dòng)力。
對(duì)首批與未來VR手機(jī)產(chǎn)品的期望
大多數(shù)供貨商預(yù)期會(huì)推出類似三星 GearVR設(shè)備的Daydream平臺(tái)產(chǎn)品，也就是需要搭配智能手機(jī)使用的被動(dòng)型VR頭戴式設(shè)備；不過Leland表示，該類產(chǎn)品是Daydream平臺(tái)的典型頭戴式設(shè)備，也會(huì)有廠商推出特殊應(yīng)用移動(dòng)VR頭戴式設(shè)備，甚至也有廠商在開發(fā)擴(kuò)增實(shí)境(AR)產(chǎn)品，但那會(huì)較晚問世。
特殊應(yīng)用移動(dòng)VR頭戴式設(shè)備可能包括一系列高價(jià)位產(chǎn)品，配備更昂貴的顯示器、更大儲(chǔ)存容量以及先進(jìn)的空間音頻(spatial audio)；該類頭戴式顯示器預(yù)期價(jià)格范圍也會(huì)更廣。
Daydream平臺(tái)的最后一個(gè)部分硬件，就是內(nèi)建軌跡板的雙按鍵控制手把，類似第一代任天堂(Nintendo)游戲機(jī)Wii的手把；其中一個(gè)應(yīng)用程序按鍵是為開發(fā)廠商留的，另一個(gè)回到主頁(Home)按鍵則是保留給Android。根據(jù)曾經(jīng)開發(fā)電玩、對(duì)游戲互動(dòng)十分熟習(xí)的Google VR部門主管Clay Bavor表示，該控制手把的精確度媲美雷射筆。
將在今年秋天陸續(xù)問世的Daydream平臺(tái)產(chǎn)品只是個(gè)開始，Leland 表示：“產(chǎn)業(yè)界將持續(xù)努力降低移動(dòng)延遲──這也會(huì)是接下來幾年大家會(huì)常聽到的話題，因?yàn)殡m然20毫秒的延遲性已經(jīng)很好了，15毫秒、甚至低于10毫秒當(dāng)然更好，這能讓VR畫面看起來更真實(shí)，不會(huì)讓使用者感覺好像是畫面很努力要趕上自己。”
Leland指出，這類需求將影響傳感器處理是如何完成，以及攝影機(jī)子系統(tǒng)如何開發(fā)、繪圖渲染如何與顯示器接口協(xié)作，擴(kuò)及所有的處理器。為此高通正在尋求新的SoC功能區(qū)塊，以說服原廠愿意多花點(diǎn)錢取得差異化；而現(xiàn)在Daydream則是已經(jīng)準(zhǔn)備好進(jìn)駐預(yù)計(jì)年底圣誕節(jié)/新年假期上市的產(chǎn)品。
至于Google本身則是積極為Daydream提供所需的內(nèi)容，其地圖應(yīng)用程序的街景服務(wù)(Street View)以及在線視頻平臺(tái)YouTube，都已經(jīng)準(zhǔn)備好提供360度照片以及視頻，YouTube也能支持空間音頻以及運(yùn)動(dòng)強(qiáng)度評(píng)分(motion- intensity ratings)。
此外Google也與好萊塢(Hollywood)與各家媒體商接觸，除了與Imax等廠商開發(fā)配備16臺(tái)攝影機(jī)的360度影像拍攝設(shè)備，派拉蒙(Paramount)、發(fā)現(xiàn)頻道(Discovery)以及紐約時(shí)報(bào)(The New York Times)等都是其VR內(nèi)容合作伙伴。
Daydream平臺(tái)開發(fā)工具已經(jīng)開始提供，能讓使用C++語言的程序設(shè)計(jì)師取得底層應(yīng)用程序編程接口(API)與硬件；Google總部的Daydream實(shí)驗(yàn)室一直試圖一天快速開發(fā)兩個(gè)VR實(shí)驗(yàn)性應(yīng)用程序原型，將透過發(fā)表博客文章的方式分享其學(xué)習(xí)經(jīng)驗(yàn)。
Leland 結(jié)論指出，Android平臺(tái)上的VR體驗(yàn)，將會(huì)讓那些認(rèn)為VR頭戴式設(shè)備都需要跟一臺(tái)PC綁在一起的人驚艷。而使用者只要耐心等待幾個(gè)月，就可以看到是否蘋果(Apple)也會(huì)加入這個(gè)趨勢(shì)，讓iPhone 7也有自己的VR方案…或者該公司看到的是另一種“現(xiàn)實(shí)”。
