The distance between virtual and reality ---From muscle-control tech to the ambient life

This future vision is called the 4th generation of communication. It is communication with a maximum of freedom and flexibility for the user who plays a key role, has almost unlimited Internet access and is always capable of interacting with anybody, anywhere. Communication infrastructures, applications and services are effective extensions of people’s capabilities. It is a great challenge to realize this vision. --- Freeband
Augmented reality與virtual reality原本就都致力於虛擬與現實的融合，不過方向不同罷了，雖然我絕對相信未來人類生存的環境將是computer-augmented environments，但由於自己學識淺薄，現在一些科技的發展讓我有些難以分辨了，比如muscle-control tech和Thought Technology。
Muscle-control tech，Thought Technology都不是什麼新鮮事了，早在2008年Microsoft Research, University of Washington和University of Toronto就發表了相關論文，Thought Technology更是早在05年就已公諸於世。但最近Microsoft向USPTO申請了兩項專利: “wearable electromyography-based controllers for human-computing interface”以及“recognizing gestures from forearm EMG signals”，並以遊戲控制為噱頭，讓Muscle-control重新吸引了公眾的注意。Xbox 360的風頭還沒過，微軟已經超越“controller-less, camera-based motion-sensing system”通過EMG（electromyography肌電描記術)直接讀取人的肌肉電脈衝來操控電腦而又向前邁進了一步。而Thought Technology是加拿大Thought Technology公司推出的用於多維領域的技術，它包含的分支技術非常廣泛，如腦部晶片植入技術、非入侵性思維讀取技術等。實際上，腦部晶片植入技術在很早以前就已出現在醫療領域，而現在的植入技術已經與人工智慧緊密地聯繫在一起，電腦可以直接分析植入晶片所發送的人類思維資訊。通過Thought Technology，腦部可直接通過晶片向腿部發出指令信號，同時還可應用於無人駕駛車輛等軍事領域。這樣看來，是不是可以說Muscle-control tech以及Thought Technology與virtual reality只有一步之遙了呢，然而這兩項技術又各自有Augmented reality的成分，EMG實質是讓人們在現實生活中更方便，比如當你沒有free hand時，又比如它可讓周圍環境對你的感知度更高。而Thought Technology也同樣應用於加強人們對於現實環境的控制，比如你可直接透過腦中的晶片來控制現實環境中的電子設備等等…
或許科技的發展本來都是多維的，是虛擬現實還是增強現實，這都有賴於人的認知和思維方向，就如Freeband所講，未來社會將有最大限度的自由與靈活性，而人扮演著關鍵的角色，科技設施與服務都將是人類能力的有效延伸與擴大。

從augmented reality看家用遊戲設備發展

Recent work has been called names such as ubiquitous computing and augmented reality. Although the technologies differ, they are united in a common philosophy: the primacy of the physical world and the construction of appropriate tools that enhance our daily activities.
---Pierre Wellney, Wendy Mackay, Rich cold. BACK TO THE REAL WORLD
早在1997年，Wellney等學者就已經將computer-augmented environments，即augmented reality定義並強調:這將成為人們生活環境的未來形態。十多年之後的今天，增強現實技術已越發成熟，並逐漸進入人們的日常生活中。今年末11月正式面市，由SCE推出的家庭遊戲EyePet正是其中之一。
眾所周之，當下家用遊戲設備最受歡迎的是Nintendo的Wii，微軟的Xbox360以及Sony的Playstation3，值得一提的是除了Wii以外的兩個巨頭都將目光聚焦在了視訊操控類型設備，例如2003年推行的PS2 專用視訊攝影機EyeToy：Play，即是採用 USB 介面的視訊攝影機，將玩家與背景拍攝下來並傳輸到 PS2，藉由比對前後畫面的差異來判斷出玩家的動作，並將這些動作反應到遊戲中。因此遊玩時玩家可以看到自己的影像出現在遊戲畫面上，並可以使用身體的動作來進行踢球、拳擊、功夫、彈吉他、跳舞、操控滑板等各式各樣的玩法。同樣的，在 SCE 的 EyeToy 獲得優異成果之後，微軟也在2006年的新一代 Xbox 360 推出了自家的 Xbox LIVE Vision 攝影機，提供 Xbox LIVE 視訊交談用途與類似 EyeToy 的影像辨識玩法，還可以充當 PC 視訊攝影機。之前所提到的EyePet，正是繼EyeToy之後，通過視訊攝影機利用增強現實技術來與虛擬寵物進行互動的遊戲。
我們能夠發現，曾經夢想家們腦中的增強現實技術，如今已經不再是遙不可及的夢想，不論是影像辨識、動作偵測、語音辨識等，都已經借由突飛猛進的科技發展成為我們生活中普遍應用的技術。在Xbox，NDS觸控螢幕與Wii的動態偵測紛紛躍上主流市場之際，也更讓人期待未來的增強現實技術能有什麼創新革命的發展。
http://www.eyepet.com/home.cfm

Gaikai----Streaming Worlds

Gaikai takes a radical new approach – we host the games, we run them, we worry about hardware and software updates, and we stream them to you. The only thing you need is a browser and an internet connection. ----www.gaikai.com

前些日子看了一段Gaikai於7月1日在官網上公佈的一段DEMO視頻，因為有過遊戲占記憶體太大的苦惱，所以覺得這或許能夠成為電腦遊戲的未來發展方向也不一定。這項新服務之噱頭在於，無需在本地安裝遊戲即可享受流暢的遊戲環境，也就是說，即使你是586的老電腦，一樣可以跑得動最新的高配置遊戲，當然前提是你網路環境很好。玩家通過流覽器啟動遊戲，遊戲所在位置是服務商的平臺，玩家不再需要花錢購買昂貴的硬體，只需要支付服務費。
正如Gaikai在自己的主頁上所講，Gaikai 試圖從玩家的角度出發來解釋為什麼自己的服務將是那麼迷人：我們已經把照片、視頻、音樂和文檔都放在了網上，如果你還要為了玩一個遊戲升級電腦，聽上去簡直是古代的事情；更荒謬的是，即使你換一張昂貴的顯卡，你也只能在這一台電腦上玩遊戲，這太悲哀了。
技術
Gaikai是將伺服器上的遊戲通過流媒體傳遞的技術，玩家只要能上網，不需要安裝遊戲用戶端就可以遊戲。玩家的操作由Gaikai的伺服器傳遞，將結果以流媒體的形式展示給玩家，以達到“anywhere, anytime”的效果.。這不僅讓我想到了以同樣的理念向“雲計算遊戲”前進的Onlive，後者其實於今年四月更早提出此理念。這兩個公司的“雲計算遊戲”點子裏其實沒有什麼高深的概念。所有的遊戲資料都儲存在強大的伺服器上，玩家通過流覽器來觀看即時傳輸過來的遊戲畫面並進行操作，運算元據通過網路傳到伺服器上，反映在遊戲中。

限制
然而“雲計算遊戲”看似基本上具備了一切理論可行性，除了網路帶寬方面的隱憂之外。就像Onlive 計畫始於2005 年，兩年後被迫放棄，帶寬是一個很大的障礙。即使到了現在，這項極度需要網路快速反應的技術在大部分國家和地區也還只是癡人說夢。連Gaikai自己都說有“a few milliseconds”的“Low Latency (delay)”。
以目前流行的網遊和聯網對戰的主機遊戲來看，最適合搖身一變成為“雲計算遊戲”的，可能是遊戲節奏相對較慢、對操作精確性不那麼高的遊戲，比如角色扮演（RPG），即使有一點延遲，對遊戲體驗影響也不會太大。但是在賽車、射擊、格鬥遊戲裏，這一點點延遲就很要命了。
各個平臺上付費下載小遊戲的走紅，已經證明了遊戲界在順應潮流方面的變革。面對“雲計算時代”，它的解決方案就是OnLive 和Gaikai 嗎？

參見：www.gaikai.com

smule ocarina, what else can iphone do

The design for Ocarina aimed to achieve several goals. We wanted to create an expressive musical instrument. However, instead of taking a larger instrument (e.g., aguitar or a piano) and “shrinking” the experience into a small mobile device, we started with a small and simple instrument, the ocarina (more specifically, the 4 hole English Pendant ocarina), and fleshed it out onto the form factor of the iPhone.——Ge Wang, Designing Smule’s iPhone Ocarina


Smule最初僅僅是由一群有著創意和豐富想像力的年輕程式開發者創建的，雖然Smule一直標榜著自己的專業和團隊深度，但不可否認的是它的研發團體對比其他app軟體供應商，如EA或是Gameloft而言，簡直得的可憐，但就是這樣一群有著非凡創新欲望的年輕團體，正在締造著大牌研發公司無法企及的銷售額，這正符合app的行銷理念“低價位的軟體往往更適合用戶”。無論是Smule公司的開山之作，同樣也是迄今為止其人氣值最高的軟體Ocarina，還是最新推出的VOX，Smule正在將自己的創新思維移植到iphone用戶的腦中，因為Smule堅信，此時手中握著iphone的用戶正是這種思維的實踐者。
說Ocarina是一款創新的音樂軟體一點也不過分，可以這樣講，Ocarina本身就是一款屬於數位時代的樂器，Smule對於Ocarina的研發投入顯而易見，作為smule的開山之作，顯然Ocarina融合了數位技術，互聯網以及音樂理論於一身，創新性的"四鍵吹奏法"也讓Ocarina自從問世開始便成為了許多iphone迷愛不釋手的玩物。無論是在應用介面上，還是使用方法上，Ocarina都略顯神秘，但你只需要隨意按住那幾個藍色的圓圈，然後對著話筒吹氣，那麼美妙的音符便會傳入你的耳朵，在Smule的網站上有Ocarina的詳細使用說明和樂譜。蕩漾著的綠色波紋和富有靈動感的音樂似乎在訴說著Ocarina的悠遠神秘，同樣通過Ocarina你還可以去聆聽世界上任何一個地方，任何一個人，通過Ocarina傳遞出的任何一種聲音，而此時，也許你吹奏的音樂正被某個人所傾聽著，這種感覺很奇妙，而這種設計也貫穿了Smule軟體的設計始終。"分享你的存在"，Smule如是說。

PERSONAS---How dose the Internet see you?

“It is meant for the viewer to reflect on our current and future world, where digital histories are as important if not more important than oral histories, and computational methods of condensing our digital traces are opaque and socially ignorant.” --- personas.media.mit.edu

互聯網是如何看待我們的呢？這實在是個有趣的問題，Personas似乎給出了範例。由來自MIT Media Lab的Sociable Media Group於今年2-九月在MIT Museum舉辦的以Connections 為議題的展覽，探究了最新交流技術的社會潛力。被組成裝置藝術的研究專案迫使觀眾引發關於社會互動的飛速變化以及未來社會化互動的走向的思考。其中，名為Personas的網路軟體通過運用精密的程式以及互聯網路，創造出人們線上身份的資料肖像，即展示出所謂在互聯網“眼中”的我們的形象。

Personas其實操作起來簡單，使用者只需在其網站輸入自己的名字，Personas就可在互聯網上搜索到所有與該名字相關的線上資料，再通過其程式的整合，運算等方式，最終呈現出視覺上的圖形，這之中的bug再明顯不過——倘若遇上同名同姓的，抑或名字被包含其中的狀況，Personas所呈現的圖像就絕對不準確，而這種情況出現的頻率也不低。不過，這些都是事先被Personas的發明者所言明的，實際上Personas的發明意圖正是演示出電腦和網路不可思議的洞察力和無法忽視的不精確，並體現出人們在社會化的網路中進行交互活動的數位蹤跡的複雜性和不可知性。然而，隨著科技邁向更高的新層面，我相信在網路中的個體的形象會逐漸變得清晰和明確，並具備作為社會中的人所獨有的特性，例如唯一和無法替代性，從而單獨的個人身體直至龐大的社會結構，構成一個與現實社會相對應的無比複雜的數位網路社會。

http://personas.media.mit.edu/

Life GO，GO！生活志： + 水 -

開始寫這篇日誌時忍不住長歎一口氣，為期一周又兩天的Life Go Go互動生活工坊終於結束了。說來坎坷，我所在的D組本是由兩個小組（D1，D2），共12人組成，到後來只剩下僅僅6人合成一組。看著陸續離開的組員，說不覺得沮喪是不可能的，自己也有過中途退出的念頭，好在最後堅持了下來。看著我們最終的成果，雖然不夠專業、成熟、精緻，我仍有喜極而泣的衝動。



我們組的議題是：加減水。所謂加減水，即是說以節水為中心思想，考慮如何讓人們在日常用水的過程中能夠意識到用水量的多少。淋浴是最常見的洗浴方式，但同時也是最為浪費水的日常行為之一，原因在於我們在沖澡的過程中往往不知道用了多少水量，自然也就不會意識到節水。我們是否能夠提出一種方式，既能讓使用者意識到每次淋浴的用水量，同時又能享受到洗浴的樂趣，並增添其中的情趣呢？
最初的想法是，用水量計量器，或者是類似的sensor感應到每秒鐘用戶所用水以及該次洗澡的用水總量，作為input輸入給電腦，電腦將之做出一系列處理之後回饋給投影儀，投影儀將動畫投射到浴室的牆面，使用者最終感受到的output是浴室牆面上逐漸上升的類比動態的水的波紋以及體積越來越大的遊動的小魚。同時設置於浴室內的sensor能夠感知用戶的一些與浴室牆面的互動動作，作為另一input輸入，電腦同樣作出反應，並以動畫的形式通過投影儀展現在牆面上。如此一來用戶既能即時感知到自己的用水量（水量過多會淹沒過頭頂，並以音樂提醒用戶），又仿佛能與所用之水產生互動，享受到更多淋浴的樂趣。
考慮到成本和技術等諸多因素，在模擬浴室的壓克力面板空間（10：1）中，我們將output做成了led燈以及音樂的形式：在測量到當前流入的水量之後，置於壓克力面板後的波浪狀的led燈會逐排亮起，同時音響會放出較輕柔的旋律；當用水量超出預設值時，led燈會開始閃爍，同時會響起節奏較快的音樂，以提醒用戶。



慚愧得很，這個議題是我提出來的，當時不知出於何種勇氣提出了這一想法並且最終得到大家的認同，雖然最後的成果與預想的有較大差異，但畢竟是大家一起努力的結果，讓人倍感珍惜。



PS：我們組的指導老師：黃暐皓。
組員：林瑄蓉（領隊&模型製作）/詹前杭（模型製作）/蔣勤彥（程式編碼，電路控制&模型製作）/陳文曉黎（演示動畫製作，3D建模渲染&模型製作）/盧昱睿（ppt製作&模型製作）/潘國雄（ppt展示）

SixthSense——Ubiquitous Computing ，be one and the same

Mark Weiser預言，人類社會今後數十年的發展，將是一個在計算設備幫助下，物理世界與虛擬世界高度融合的過程。物理向虛擬世界融合的嘗試，似乎並不會成為主流，畢竟活在Matrix中的風險太大。而虛擬向物理世界的融合也就是普適計算，卻很有可能對人類社會產生重大的影響。目前關於這方面的研究正如火如荼的進行，SixthSense就是其中之一。



SixthSense看起來簡單：一個網路攝像頭，一個投影儀，和一個蓄電池組被一個掛繩系住掛在Pranav Mistry的脖子上。這些總共花了大約350美元的零件，插在一個能上網的手機上。正如裝置的名字所說的那樣，這種直率的設計盯准了一個很高的目標：要使訪問互聯網這件事無縫地融入在我們平日生活中。
隨著物理與虛擬世界的不斷融合，在類似SixthSense系統的幫助下，計算力大規模嵌入我們的生活，人類社會存在的資訊不對稱現象會迅速減弱，同時實現普適計算Ubiquitous computing的動機：一是，任何真正為人類社會帶來巨大變革的技術，往往是那些融入生活而消失於無形的東西；二是，未來人類最稀缺的，並非計算資源，而是注意力資源。
context-awareness是普適計算技術的核心。過去數年間全球蓬勃發展的基於位置服務（location-based service），其實是環境感知服務的一小個分支。它的目的，就是節省用戶的注意力資源，在感測器與智慧演算法的幫助下，自動探測用戶需求，並做出應對。我們熟知的smart home就是環境感知服務的另一個具體實現。
大概是因為誕生於Mark Weiser預言式研究動機的緣故，不少人對普適計算，尤其是環境感知服務存在一個疑問，那就是它能否真正被用戶接受。事實上，有很多因素，比如用戶隱私問題、基礎設施缺乏、啟動成本高等等，都在阻礙著大部分普適計算技術進入主流市場。然而可以預知的是，不久的將來物理世界中高速流動的巨量資訊將讓這一切（數位與現實）保持一致並成為一體。




link:http://www.pranavmistry.com/projects/sixthsense/#VIDEOS