從augmented reality看家用遊戲設備發展

Recent work has been called names such as ubiquitous computing and augmented reality. Although the technologies differ, they are united in a common philosophy: the primacy of the physical world and the construction of appropriate tools that enhance our daily activities.
---Pierre Wellney, Wendy Mackay, Rich cold. BACK TO THE REAL WORLD
早在1997年，Wellney等學者就已經將computer-augmented environments，即augmented reality定義並強調:這將成為人們生活環境的未來形態。十多年之後的今天，增強現實技術已越發成熟，並逐漸進入人們的日常生活中。今年末11月正式面市，由SCE推出的家庭遊戲EyePet正是其中之一。
眾所周之，當下家用遊戲設備最受歡迎的是Nintendo的Wii，微軟的Xbox360以及Sony的Playstation3，值得一提的是除了Wii以外的兩個巨頭都將目光聚焦在了視訊操控類型設備，例如2003年推行的PS2 專用視訊攝影機EyeToy：Play，即是採用 USB 介面的視訊攝影機，將玩家與背景拍攝下來並傳輸到 PS2，藉由比對前後畫面的差異來判斷出玩家的動作，並將這些動作反應到遊戲中。因此遊玩時玩家可以看到自己的影像出現在遊戲畫面上，並可以使用身體的動作來進行踢球、拳擊、功夫、彈吉他、跳舞、操控滑板等各式各樣的玩法。同樣的，在 SCE 的 EyeToy 獲得優異成果之後，微軟也在2006年的新一代 Xbox 360 推出了自家的 Xbox LIVE Vision 攝影機，提供 Xbox LIVE 視訊交談用途與類似 EyeToy 的影像辨識玩法，還可以充當 PC 視訊攝影機。之前所提到的EyePet，正是繼EyeToy之後，通過視訊攝影機利用增強現實技術來與虛擬寵物進行互動的遊戲。
我們能夠發現，曾經夢想家們腦中的增強現實技術，如今已經不再是遙不可及的夢想，不論是影像辨識、動作偵測、語音辨識等，都已經借由突飛猛進的科技發展成為我們生活中普遍應用的技術。在Xbox，NDS觸控螢幕與Wii的動態偵測紛紛躍上主流市場之際，也更讓人期待未來的增強現實技術能有什麼創新革命的發展。
http://www.eyepet.com/home.cfm

Gaikai----Streaming Worlds

Gaikai takes a radical new approach – we host the games, we run them, we worry about hardware and software updates, and we stream them to you. The only thing you need is a browser and an internet connection. ----www.gaikai.com

前些日子看了一段Gaikai於7月1日在官網上公佈的一段DEMO視頻，因為有過遊戲占記憶體太大的苦惱，所以覺得這或許能夠成為電腦遊戲的未來發展方向也不一定。這項新服務之噱頭在於，無需在本地安裝遊戲即可享受流暢的遊戲環境，也就是說，即使你是586的老電腦，一樣可以跑得動最新的高配置遊戲，當然前提是你網路環境很好。玩家通過流覽器啟動遊戲，遊戲所在位置是服務商的平臺，玩家不再需要花錢購買昂貴的硬體，只需要支付服務費。
正如Gaikai在自己的主頁上所講，Gaikai 試圖從玩家的角度出發來解釋為什麼自己的服務將是那麼迷人：我們已經把照片、視頻、音樂和文檔都放在了網上，如果你還要為了玩一個遊戲升級電腦，聽上去簡直是古代的事情；更荒謬的是，即使你換一張昂貴的顯卡，你也只能在這一台電腦上玩遊戲，這太悲哀了。
技術
Gaikai是將伺服器上的遊戲通過流媒體傳遞的技術，玩家只要能上網，不需要安裝遊戲用戶端就可以遊戲。玩家的操作由Gaikai的伺服器傳遞，將結果以流媒體的形式展示給玩家，以達到“anywhere, anytime”的效果.。這不僅讓我想到了以同樣的理念向“雲計算遊戲”前進的Onlive，後者其實於今年四月更早提出此理念。這兩個公司的“雲計算遊戲”點子裏其實沒有什麼高深的概念。所有的遊戲資料都儲存在強大的伺服器上，玩家通過流覽器來觀看即時傳輸過來的遊戲畫面並進行操作，運算元據通過網路傳到伺服器上，反映在遊戲中。

限制
然而“雲計算遊戲”看似基本上具備了一切理論可行性，除了網路帶寬方面的隱憂之外。就像Onlive 計畫始於2005 年，兩年後被迫放棄，帶寬是一個很大的障礙。即使到了現在，這項極度需要網路快速反應的技術在大部分國家和地區也還只是癡人說夢。連Gaikai自己都說有“a few milliseconds”的“Low Latency (delay)”。
以目前流行的網遊和聯網對戰的主機遊戲來看，最適合搖身一變成為“雲計算遊戲”的，可能是遊戲節奏相對較慢、對操作精確性不那麼高的遊戲，比如角色扮演（RPG），即使有一點延遲，對遊戲體驗影響也不會太大。但是在賽車、射擊、格鬥遊戲裏，這一點點延遲就很要命了。
各個平臺上付費下載小遊戲的走紅，已經證明了遊戲界在順應潮流方面的變革。面對“雲計算時代”，它的解決方案就是OnLive 和Gaikai 嗎？

參見：www.gaikai.com

smule ocarina, what else can iphone do

The design for Ocarina aimed to achieve several goals. We wanted to create an expressive musical instrument. However, instead of taking a larger instrument (e.g., aguitar or a piano) and “shrinking” the experience into a small mobile device, we started with a small and simple instrument, the ocarina (more specifically, the 4 hole English Pendant ocarina), and fleshed it out onto the form factor of the iPhone.——Ge Wang, Designing Smule’s iPhone Ocarina


Smule最初僅僅是由一群有著創意和豐富想像力的年輕程式開發者創建的，雖然Smule一直標榜著自己的專業和團隊深度，但不可否認的是它的研發團體對比其他app軟體供應商，如EA或是Gameloft而言，簡直得的可憐，但就是這樣一群有著非凡創新欲望的年輕團體，正在締造著大牌研發公司無法企及的銷售額，這正符合app的行銷理念“低價位的軟體往往更適合用戶”。無論是Smule公司的開山之作，同樣也是迄今為止其人氣值最高的軟體Ocarina，還是最新推出的VOX，Smule正在將自己的創新思維移植到iphone用戶的腦中，因為Smule堅信，此時手中握著iphone的用戶正是這種思維的實踐者。
說Ocarina是一款創新的音樂軟體一點也不過分，可以這樣講，Ocarina本身就是一款屬於數位時代的樂器，Smule對於Ocarina的研發投入顯而易見，作為smule的開山之作，顯然Ocarina融合了數位技術，互聯網以及音樂理論於一身，創新性的"四鍵吹奏法"也讓Ocarina自從問世開始便成為了許多iphone迷愛不釋手的玩物。無論是在應用介面上，還是使用方法上，Ocarina都略顯神秘，但你只需要隨意按住那幾個藍色的圓圈，然後對著話筒吹氣，那麼美妙的音符便會傳入你的耳朵，在Smule的網站上有Ocarina的詳細使用說明和樂譜。蕩漾著的綠色波紋和富有靈動感的音樂似乎在訴說著Ocarina的悠遠神秘，同樣通過Ocarina你還可以去聆聽世界上任何一個地方，任何一個人，通過Ocarina傳遞出的任何一種聲音，而此時，也許你吹奏的音樂正被某個人所傾聽著，這種感覺很奇妙，而這種設計也貫穿了Smule軟體的設計始終。"分享你的存在"，Smule如是說。

PERSONAS---How dose the Internet see you?

“It is meant for the viewer to reflect on our current and future world, where digital histories are as important if not more important than oral histories, and computational methods of condensing our digital traces are opaque and socially ignorant.” --- personas.media.mit.edu

互聯網是如何看待我們的呢？這實在是個有趣的問題，Personas似乎給出了範例。由來自MIT Media Lab的Sociable Media Group於今年2-九月在MIT Museum舉辦的以Connections 為議題的展覽，探究了最新交流技術的社會潛力。被組成裝置藝術的研究專案迫使觀眾引發關於社會互動的飛速變化以及未來社會化互動的走向的思考。其中，名為Personas的網路軟體通過運用精密的程式以及互聯網路，創造出人們線上身份的資料肖像，即展示出所謂在互聯網“眼中”的我們的形象。

Personas其實操作起來簡單，使用者只需在其網站輸入自己的名字，Personas就可在互聯網上搜索到所有與該名字相關的線上資料，再通過其程式的整合，運算等方式，最終呈現出視覺上的圖形，這之中的bug再明顯不過——倘若遇上同名同姓的，抑或名字被包含其中的狀況，Personas所呈現的圖像就絕對不準確，而這種情況出現的頻率也不低。不過，這些都是事先被Personas的發明者所言明的，實際上Personas的發明意圖正是演示出電腦和網路不可思議的洞察力和無法忽視的不精確，並體現出人們在社會化的網路中進行交互活動的數位蹤跡的複雜性和不可知性。然而，隨著科技邁向更高的新層面，我相信在網路中的個體的形象會逐漸變得清晰和明確，並具備作為社會中的人所獨有的特性，例如唯一和無法替代性，從而單獨的個人身體直至龐大的社會結構，構成一個與現實社會相對應的無比複雜的數位網路社會。

http://personas.media.mit.edu/

Life GO，GO！生活志： + 水 -

開始寫這篇日誌時忍不住長歎一口氣，為期一周又兩天的Life Go Go互動生活工坊終於結束了。說來坎坷，我所在的D組本是由兩個小組（D1，D2），共12人組成，到後來只剩下僅僅6人合成一組。看著陸續離開的組員，說不覺得沮喪是不可能的，自己也有過中途退出的念頭，好在最後堅持了下來。看著我們最終的成果，雖然不夠專業、成熟、精緻，我仍有喜極而泣的衝動。



我們組的議題是：加減水。所謂加減水，即是說以節水為中心思想，考慮如何讓人們在日常用水的過程中能夠意識到用水量的多少。淋浴是最常見的洗浴方式，但同時也是最為浪費水的日常行為之一，原因在於我們在沖澡的過程中往往不知道用了多少水量，自然也就不會意識到節水。我們是否能夠提出一種方式，既能讓使用者意識到每次淋浴的用水量，同時又能享受到洗浴的樂趣，並增添其中的情趣呢？
最初的想法是，用水量計量器，或者是類似的sensor感應到每秒鐘用戶所用水以及該次洗澡的用水總量，作為input輸入給電腦，電腦將之做出一系列處理之後回饋給投影儀，投影儀將動畫投射到浴室的牆面，使用者最終感受到的output是浴室牆面上逐漸上升的類比動態的水的波紋以及體積越來越大的遊動的小魚。同時設置於浴室內的sensor能夠感知用戶的一些與浴室牆面的互動動作，作為另一input輸入，電腦同樣作出反應，並以動畫的形式通過投影儀展現在牆面上。如此一來用戶既能即時感知到自己的用水量（水量過多會淹沒過頭頂，並以音樂提醒用戶），又仿佛能與所用之水產生互動，享受到更多淋浴的樂趣。
考慮到成本和技術等諸多因素，在模擬浴室的壓克力面板空間（10：1）中，我們將output做成了led燈以及音樂的形式：在測量到當前流入的水量之後，置於壓克力面板後的波浪狀的led燈會逐排亮起，同時音響會放出較輕柔的旋律；當用水量超出預設值時，led燈會開始閃爍，同時會響起節奏較快的音樂，以提醒用戶。



慚愧得很，這個議題是我提出來的，當時不知出於何種勇氣提出了這一想法並且最終得到大家的認同，雖然最後的成果與預想的有較大差異，但畢竟是大家一起努力的結果，讓人倍感珍惜。



PS：我們組的指導老師：黃暐皓。
組員：林瑄蓉（領隊&模型製作）/詹前杭（模型製作）/蔣勤彥（程式編碼，電路控制&模型製作）/陳文曉黎（演示動畫製作，3D建模渲染&模型製作）/盧昱睿（ppt製作&模型製作）/潘國雄（ppt展示）

SixthSense——Ubiquitous Computing ，be one and the same

Mark Weiser預言，人類社會今後數十年的發展，將是一個在計算設備幫助下，物理世界與虛擬世界高度融合的過程。物理向虛擬世界融合的嘗試，似乎並不會成為主流，畢竟活在Matrix中的風險太大。而虛擬向物理世界的融合也就是普適計算，卻很有可能對人類社會產生重大的影響。目前關於這方面的研究正如火如荼的進行，SixthSense就是其中之一。



SixthSense看起來簡單：一個網路攝像頭，一個投影儀，和一個蓄電池組被一個掛繩系住掛在Pranav Mistry的脖子上。這些總共花了大約350美元的零件，插在一個能上網的手機上。正如裝置的名字所說的那樣，這種直率的設計盯准了一個很高的目標：要使訪問互聯網這件事無縫地融入在我們平日生活中。
隨著物理與虛擬世界的不斷融合，在類似SixthSense系統的幫助下，計算力大規模嵌入我們的生活，人類社會存在的資訊不對稱現象會迅速減弱，同時實現普適計算Ubiquitous computing的動機：一是，任何真正為人類社會帶來巨大變革的技術，往往是那些融入生活而消失於無形的東西；二是，未來人類最稀缺的，並非計算資源，而是注意力資源。
context-awareness是普適計算技術的核心。過去數年間全球蓬勃發展的基於位置服務（location-based service），其實是環境感知服務的一小個分支。它的目的，就是節省用戶的注意力資源，在感測器與智慧演算法的幫助下，自動探測用戶需求，並做出應對。我們熟知的smart home就是環境感知服務的另一個具體實現。
大概是因為誕生於Mark Weiser預言式研究動機的緣故，不少人對普適計算，尤其是環境感知服務存在一個疑問，那就是它能否真正被用戶接受。事實上，有很多因素，比如用戶隱私問題、基礎設施缺乏、啟動成本高等等，都在阻礙著大部分普適計算技術進入主流市場。然而可以預知的是，不久的將來物理世界中高速流動的巨量資訊將讓這一切（數位與現實）保持一致並成為一體。




link:http://www.pranavmistry.com/projects/sixthsense/#VIDEOS

virtualgravity - the physical weight of data

虛擬重力——資料的物理重量

當下越來越多的研究者致力於將數位媒體資訊實體化，或是讓虛擬資訊跳脫出數位介面並以更加自然的模式融入到人們的實際生活當中，本篇即是要討論這樣一個試驗項目，該項目是德國維爾茨堡應用科學大學實驗性課題，正如題目（virtual gravity）所言，該專案是關於如何測量資料的容量，並在真實世界中以人們習慣認知的形式——重量，呈現出來。

值得一提的概念：1. scale——虛擬重力天平是一個數位與模擬世界（analog world）的介面。它通過Internet即時的資訊查詢結果（Google Insights for Search）將所得的信息量轉化為虛擬重量（virtual weight），並在真實世界中模擬天平測量重量的形式來對比某兩個資料或術語資訊容量的大小。因而無法感觸到的數位資訊獲得了真實的、物理性的存在，成為一種可以觸碰的官能體驗，並對真實世界產生了迅速而直觀的影響。2. the carrier of information——資訊載體的形式。課題的另一關鍵點表現在虛擬資訊的採集，傳輸和置入，他們不再被束縛在投影圖或是螢幕上，而是被像放大鏡一樣的載體所替代，如此一來資訊的轉移和人的實際肢體動作緊密結合，其互動模式也更接近於真實世界。
需要指出的是，這篇課題只是在實驗的範疇，對於實際上的應用沒有做出明確的說明，資料的量化也沒有明確的現實和說明；同時因為它停留在模擬的層面，或許是研究者迫切想要類似於真實世界的互動體驗，所以過於形式化，反而不如直接輸入資訊來得方便快捷。
對於這一課題，我覺得在資訊的篩選上或許可以有延伸的空間：如今網路資訊繁雜，並以難以想像的額度大大超出了人類所能感知及接受的資訊容量，搜索並獲得有效或有價值的資訊及資料是人們迫切需要的。哪些資訊過重，超出了使用者的認知範圍，我們或許可以通過scale來衡量一下，並拿掉多餘的部分，得到我們想要的資訊。若能將資料的物理重量與資訊的篩選結合起來，也許會產生不錯的互動效應。

Link: http://www.virtualgravity.de/

Avatar

實在不知從何說起，就發表一下我對將於年底發佈的3D影片Avatar的一點淺見吧（本人是超級科幻迷）。
八月份的時候，由詹姆斯·卡梅隆（James Cameron）指導的熱片Avatar發佈了其首款預告片，Moviesoon也對預告片進行了分鏡頭講解。之前TotalFilm採訪完詹姆斯·卡梅隆後說：你將看到前所未見的東西！雖然看預告之前就抱著很大期待，但在看了以後還是被震撼了。

劇情:
故事講述發生在外星原住民和人類殖民者之間的一場戰爭史詩。
故事的時間是很久很久以後，地點是一個遙遠的名叫“潘朵拉”的星球。我們的主角是一位半身不遂的前海軍隊員Jake Sully。經歷一場實驗後，Sully在外星世界中化身為一個高大的藍色生化體，隨後又陷入了救自己還是救外星人民的兩難境地…

技術:
全新動作捕捉技術，照片級寫實CG技術，全方位浸入式3-D視覺體驗，數位資料管理系統…
卡梅隆為電影Avatar初動筆還要追溯回1995年，他的目標便是製作出一部劃時代的3-D立體科幻電影。那時他還專門和微軟合作，研究人類的視覺原理。
他還和WETA工作室合作，開發全新的動作捕捉技術和照片級寫實CG技術。
為了開發全新的3-D立體攝像機，他在五年內曾參與7次深海探測（結果還捎帶著拍了兩部IMAX紀錄片）。
卡梅隆使用的技術讓他完成了前人從未實現的即時3-D拍攝。它的3-D效果絕非傳統的簡陋效果，而是全方位浸入式的體驗。觀眾並非通過“螢幕”，而是通過一個“視窗”看電影，與劇中人物“分享空間現實”。影片中的CG圖像是照片級寫實的,你將無法分辨特效和實景，合成角色（synthespian） 也會表現逼真的情緒。
在這部影片中，卡梅隆創造了一個完整的外星世界，包括一整套的生態系統、不同種族的人類及他們的文化和語言。
影片技術的核心是微軟開發的一套數位資料管理系統，由於該系統對藝術創作和電影製作有很好的針對性，因而得到卡梅隆的褒贊。這套系統可以讓他們跟蹤每一片雲和每一根草。
對於技術卡梅隆一直很熱衷，從The Abyss中逼真的CG人臉，到Terminator 2: Judgment Day中里程碑的CG與真人的結合，再到True Lies把電腦合成技術上升到新的高度，都可以看出他的這種狂熱。卡梅隆也多次表示Avatar之後他將只拍3D立體電影，因為他相信這將是未來娛樂的潮流。
不管怎樣，Avatar是一部非常值得期待的3D影片， 盼望12月的到來！
Avatar預告片地址：http://www.apple.com/trailers/fox/avatar/teasermedium.html