5月12日 Unite 2017開發者大會在上海國際會議中心舉行。下午VR/AR專場論壇中，谷歌資深軟件工程師Wim
Meeussen分享了Daydream平臺和Tango平臺相關構造，并現場運用運動追蹤和深度感知技術，讓虛擬的小貓變得更加生動自然。

　　Wim
Meeussen，來自于Google公司，目前負責亞太區的工程團隊，此次演講更多的關注于移動AR和VR。

       以下為演講實錄：

　　在開始之前，我想談一下為什么AR和VR這么重要。我們來看一下Google公司的愿景，Google希望能夠把所有的信息組織起來為人們所用，為什么Google這么關注AR和VR呢?答案在于如果我們看一下各種不同歷史上的計算平臺，我們相信AR和VR會成為下一代的計算平臺。

　　我們一開始是大型機到個人電腦到互聯網時代，大家都有手機。我們相信下一步時代是增強現實和虛擬現實的時代。在這個時代里有很多的互動，在VR里面可以看成一種新的環境，它把我們處置在一個假的環境中，在VR里面我們可以對現實有更好的了解，AR和VR都是表達和使用信息的新途徑，正是因為這樣，Google非常重視AR和VR。

　　你要問我們為什么要在移動設備上設計AR和VR，因為我們全世界的移動設備非常多，如果我們要實現非常大的數據規模，我們必須要實現移動化，全球手機有30多億臺。這樣的規模對Google很有意義，對在座的諸位也很有意義，我今天會介紹Daydream做VR的平臺，還有Tango做AR的平臺，這兩個平臺現在已經存在了，我們可以買到一些設備，硬件軟件都存在了，不是一個未來的東西。

　　我不想講的過多，主要是VR講一點，AR講一點。我們如何來創建一個代入感或者臨場感，對VR如何使虛擬的物件具有現實感、真實感。這兩點做到的話就非常圓滿了。

　　先介紹一下Google虛擬現實的平臺Daydream。

　　先做一下民意調查，在座的諸位有多少人使用過任何的VR平臺?請舉手。好像舉手的人還蠻多的，有多少人用過Daydream?好像舉手的人少很多。沒問題，我今天會講很多關于Daydream的內容。

　　首先Daydream在不同的平臺之間有定位，左邊是眼鏡這個是比較便宜的東西，是現今存在最大的VR平臺，我們已經賣出了1000多萬個。右邊是更加高端的桌面的虛擬現實的東西，Daydream處在中間。我們要體驗Daydream，就需要一個有Daydream功能的手機和Daydream的查看器、控制器。要使這三個東西緊密地配合實現它們的功能。

　　我前面談到過規模，Google對一臺符合Daydream功能的手機，現在中國通信和摩托羅拉已經有了這一類的手機，華碩和華為也正在開發這方面功能的手機。

　　這是一個Daydream眼鏡、查看器、耳機，我們要把它設計的比較柔軟，便于使用。所以在Daydream里面要進入到VR，把手機放上去，把它關上就可以體驗了。在查看器里面我們的手機會和我們的察看設備實現無線通訊和互動。另外我們還有控制器，對于VR來說，我們控制器要做的簡單易用，我們其實是蒙上眼睛就可以使用，控制器要非常地簡單，有一個可以點擊的觸屏，有一個應用的按紐。

　　我們進入到VR之后把耳機戴上會是什么情況呢?首先我們在Daydream里面先看到Daydreamhome，可以啟動和停止VR應用，可以進入到app
store，我們可以下載新的應用，可以采購一些APP，也可以看電影，我們整個體驗都在VR里面，我們不需要進出VR，甚至可以在里面打電話，我們可以對不同的DaydreamAPP使做整體的介紹。

　　我們在Daydream里面已經建立了很多東西，這里面很多的內容已經過時了，因為有很多新的東西已經被開發出來。

　　剛才我從消費者角度談了一下Daydream，現在從開發者角度談一下Daydream。我們要做VR是什么意思呢?我們要欺騙我們的大腦，相信我們處在實際上不存在的環境當中，讓大腦產生幻覺，產生幻覺要三個要素，首先要能看到一些東西，聽到一些東西，還要能夠進行互動。VR產生體驗有三個要素，接下來會更詳細地從三個方面來闡述。

　　首先我們能夠看到一些東西在現實的世界當中，如果我們移動很快就看到了一些運動，比方說我轉個頭就可以看到。幾乎是在移動和看到圖象的延遲幾乎是零毫秒，在VR里面我們移動傳感器要能夠探測到移動在什么地方，另外我們要提交渲染圖像，圖像出來以后才能看到運動的模型，所以從開始移動到我們看到有很多不同的步驟。

　　我們要實現比較好效果的VR，滯后時間要小于20毫秒，正是因為這樣Daydream里面有特殊的軟件、硬件，確保滯后時間在20毫秒以內，在硬件方面對很多手機進行了認證，我們的手機滯后時間非常短，它有非常好的芯片，而且它傳感器的滯后、延遲也是很低的，我們前面已經講到過，有一些手機已經具備了Daydream的功能。在軟件方面我們設計這些軟件能夠使用VR和Daydream。圖片每一楨的楨率要滿足性能的要求。

　　下面我們再來看系統的UI，希望能夠在里面打電話、做購買。你可以待在VR里面，同時它的低延遲渲染也是非常重要的。所以可以在20秒當中做很多事情。

　　下面我們再來看看另外一個非常重要的功能，就是你的音頻體驗、聽覺體驗。你想要去做這樣一個渲染，想要有這么好的一棵樹，你可以花很多的時間，或者很多CPU能夠讓每一張樹葉看起來都非常真實。

　　當然，這在移動上是挺難做到的。但是我們可以這樣做，把樹用比較少的面數，給它加入音頻，對于用戶里面低面樹加上聲音之后代入感非常好，就跟比較好的渲染出來的代入感是一樣的，不需要用到那么多的CPU。音頻是一個比較便宜的解決方案，另外聲音在不同的地方表現也是不一樣的，比如說你在森林里面講話的聲音是不同于你在太空進行的對話。因此我們要使得聲音也做的盡可能真實。

　　VR不僅僅只是左右聲道，這個聲音是360度，全方位環繞的。同時聲音就好像是背后傳來了很真實的聲音，你想要去查看一下，因此這個聲音也可以作為代入感的工具。

　　第三個要談的是你與這個世界的交互，我們這里有一個控制器，它有相應的傳感器，可以對運動進行感知，聽起來非常簡單，如果把感知和身體連接起來，就像是你的胳膊、頭在轉動一下，如果把所有的知識加在一起的話，你就可以做到很強的控制器。它不僅僅只是做3D的控制，它是可以幫助你來做到自由運動

　　就像你在打高爾夫，你用你的控制器可以打高爾夫，可以用它來進行瞬息移動，也可以讓你在開放式的空間進行運動，這就是關于控制器的不同使用方式，你可以用它來做很多的事情。

　　去扔一個東西去拍一個東西，你有很多種不同的方式來使用這么一個簡單的控制器，因此作為開發者你要有創意，你要把控制器進行開發，它有很多的功能，不僅僅只是像激光筆一樣。這些是我希望大家能夠記住的，真正能夠創造代入感看看你能看到什么、聽到什么，你能進行什么樣的交互。

　　下面給大家分享一下VR的最佳實踐，首先有這么一點，如果你假設你的用戶是坐在沙發上，他很舒服，可能有20、30分鐘的時間給他，這個用戶可以到處去看，但是很難向后看，因為他是坐著的，你就想象有這么的一個場景，你坐下來之后你也挺難去運轉，很難轉動。假設這個就是你的用戶場景，你記住這一點就容易去進行開發。

　　下面再來看看Motion，運動。在現實生活當中你的用戶是坐下來的，在虛擬世界當中用戶坐下來就是完美的，因為兩者是可以匹配的，是一樣的。如果你想使用motion運動的話必須要非常謹慎，因為很多人會有運動上的緊張感。有的時候你想要讓Motion盡可能地短時間，因為有的人可能會有不適感。

　　再舉一個例子，有時候你看上去挺有趣的，現實當中感覺有些東西挺恐怖的，但是這個感覺在VR當中也是一樣讓人恐怖的，比如說有人有恐高癥，在VR當中也是感覺不適的。另外有的人有幽閉空間恐懼癥，他會在開放空間也會感覺不舒服。如果有尖銳物體的話你會感覺你會受傷，你也不想有擠在中間的感覺。所以VR對用戶的感覺是非常真實的，它可以帶來非常真實的情感體驗，所以你在設計的時候必須能夠重視這一點。

　　剛才談的是Daydream，是關于VR的。我的第二部分想要討論的是Tango，這是AR平臺。大家在座有人用過Tango嗎?請舉手，這里看到有些人有用過，很好。Tango的設備在京東或者是其他的渠道都是可以買到的，在中國已經有售了。如果VR是關于創作想象，那么AR真正重要的就是能夠讓你的手機去了解我們身邊的世界。

　　我這里再解釋一下它是怎么樣去運作的。你看這樣的場景，你知道這個是什么意思，你知道哪些地方你是可以走路的，哪些地方是可以躺下來的，但是在Tango里面希望給你手機能夠有同樣的體驗，看到場景的時候你希望Tango能夠了解背后的3D的幾何，不光光只是看到了像素，還可以看到3D的幾何世界。

　　我們先來看看Tango的硬件，看看它具體有什么特別之處，每一個Tango手機有三個獨特之處，每個Tango手機都有特別的深度感知傳感器，它是有這樣的功能能夠讓它感知深度，此外它還有運動追蹤器，因為我們在做圖象處理的工作，所以還有第三點，就是視覺處理器。

　　這就使得每一個Tango手機非常獨特，現在聯想在2016年12月已經發布了這樣的一款手機，叫做Lenovo Phab2 Pro，華碩也開發了。

　　如果我們再來看看手機的演變，在最開始的時候手機就是用來打電話的，后來有了攝像頭、GPS，后來加入了指紋識別。Tango的攝像頭將會是手機的下一個變革，能夠讓人們更好地了解這個世界。

　　這是關于Tango的硬件設施，下面再來看看Tango的軟件設備。它有三塊，一塊兒是運動追蹤，一塊兒是深度感知，一個是關于領域知識，也叫Area
Learning。運動最后能夠告訴我運動軌跡是什么樣的，能看你進行旋轉、運動進行了哪些，你就知道你的設備在怎么樣的運動軌跡進行運動，它是非常精準識別的。

　　深度感知能夠幫你看到3D世界，我們用Tango特定的攝像頭，如果指向這樣的物體就能夠看到這個物體3D的界面。

　　最后一塊兒Area
Learning，請大家先閉上眼睛，大家都閉眼了，保持閉眼，有你的手指一下你剛剛從哪個門進來的，指一下這個門的方向，謝謝!我看很多人的手都指了不同的方向。當大家進來的時候你都開始有這樣的記憶，知道這個房子長什么樣的，大家都記得你在哪里，從哪個方向都進來了，剛才大家都指了你進來的方向。對Tango也是這樣的，我們給Tango這種記憶，讓它記住它去過哪里，記住手機的運動軌跡，記住它經過哪些地方。

　　為什么你需要這三塊兒來做VR呢?比如說我們做渲染，做一輛汽車的時候為什么需要這樣的渲染呢?我再給大家展示一下。

　　我這里所拿的就是聯想這部手機，Phab2 Pro，它有G Pro的攝像頭，我像大家做的展示就是它能幫你理解AR的。

　　這看起來挺傻的，這可能是AR的最簡單的版本，這里是有虛擬的角色，這個并不是非常棒的AR。

　　我們再向前一步，現在我們去加入運動追蹤，有虛擬的小貓，我們在運轉這個小貓還在這里，它也可以走來走去，我還可以讓它去做平移，不僅僅只是做旋轉。這也不是非常棒，因為它并不像一只真正的小貓，所以運動追蹤不足夠讓它做到很好的VR體驗。

　　再加上深度感知看看，在這個版本當中我們用了深度感知器，讓它去了解地板在這兒，能夠把它放在合適的地方。因為我們了解了它背后的幾何學，所以我就可以去做點擊，讓它走到不同的地方。看看能不能讓它跳到桌子上去，現在我們有了運動追蹤，有深度感知，這里面的AR做出來就是很棒了。

　　我總是喜歡在這個時候來拍張照，可不可以請大家揮手示意我們一起來拍張照片。謝謝!

　　我地給大家看一下這個是怎么做的，把小貓放在桌子后面，我在走動，看看會發生什么事情。人可以通過這個桌子看到這個貓，這不太好，這就破壞了AR的幻覺，還有一個給大家展示的。我們會用深度傳感器對環境建立3D的網格，我們會告訴Tango在哪些地方有障礙，有遮擋，我這里有一個網格，小貓在桌子后面。我們看不清楚，如果我們建立真正的應用會把整個貓都遮擋起來，這里面會有陰影，我們要有很好的AR體驗，要有不同的要素。

　　我們了解了它的運動、重量、障礙、遮擋物，使得虛擬的物件就像真實的物件一樣受到這樣的效果，當然我們要建立很好的AR，可以通過反光、光線能夠做到一些效果非常好的AR。

　　很快地過一些Ues
Cases，我們可以用它來玩虛擬的家具。可以把家具放在你的房間里面，到后面再去下單，在京東里面可以看一下沙發放在真實的房間里會是什么樣，我們可以通過京東的APP來進行購買，我們可以考慮到在教育上的應用，同時也可以考慮生產。我們也可以用Tango來進行三維的尺度測量，我們可以通過3D的模型在Tango里面對尺寸進行測量和核對。

　　我前面講到過方位的感知、區域的學習，我們現在在這個房間里面，加入我們要感知一下在整個大樓里面的位置，在真實的世界對虛擬的物件要實現可視化，通過記憶，在植物園里面可以看到整個的熱帶雨林。

　　我們今天講到了Daydream和Tango，要有虛擬體驗，所見、所聞三個因素，如何在VR里面實現真實的效果?首先要有真實的體驗，這些物件必須看上去是真實的。這是我們的開發者網站，包括Daydream和Tango。

　　我們想了解大家現在正在開發什么東西，我們想了解大家在AR、VR上做什么項目、調查，謝謝大家!