自然用戶界面真的“自然”嗎？

　　自然用戶界面(Natural User Interface， 簡稱NUI)被認為是既CLI(Command-line interface)和GUI(Graphical User Interface)之後的下一代用戶界面。它的特點是：非常簡單易學，可以讓新用戶在很短的時間內從“初學者”變成“專家”，讓用戶在使用NUI的過程中持續的收獲成功而不會有挫敗感。這也是NUI中“N”的含義：通過更合理的發掘和利用用戶已有的心智模型和潛意識中的東西，創造出合適的隱喻，讓互動的發生變得更加自然，減少用戶的思考和疑惑的時間。NUI中通常糅合了多種交互手段，例如：觸控、語音、手勢、體勢等等。

　　原文作者：Donald A. Norman

　　“我相信未來的人們會回過頭來看2010年 — 我們跨越了鼠標和鍵盤，將一些更加自然的交互手段，例如觸摸、語音、手勢、書寫等糅合在一起，跨入了被計算機科學家稱為NUI的時代。”

　　—— Steve Baller CEO Microsoft

　　基於各種手勢的交互技術目前已經成為了商業領域的新寵。更小更便宜但是更高效的微處理器、內存儲設備、攝像頭、讓用戶通過點擊、滑動、和其他各種復雜手勢來操作設備成為可能。“交互”這個名詞正在被重新定義，規則也正在被改寫。甚至連未來的交互方式都已經被市場起好了名字：“Natural User Interface”。

　　其實這也沒有什麼奇怪的，市場中的一些噱頭總是比現實要超前的多。無論交互的形式怎樣變化，其中影響用戶體驗的一些核心元素並沒有改變。GUI的強大之處在於：“圖形”並不是它的全部，它服務於以一種非常直觀的方式告訴用戶哪些操作動作是可行的以及怎樣執行這些動作。也許圖形化“圖標”和“菜單”顯得有些機械，且GUI在面對復雜的系統時的表現也不盡如人意，但是其至少提供給了用戶探索和學習的機會。GUI最重要的設計原則既“可見性”：通過“菜單”，所有可能的操作行為都對用戶可見且易於發現，讓系統易於探索並被用戶自然掌握。

　　基於手勢的用戶界面並不新鮮，其實在較早的時候，手勢就已經成為了人機交互的一部分。Brad Myer在1998年發表的一篇文章簡單回顧了這一領域，介紹了手勢技術研究從上世紀60年代開始直到90年代初步商業化部署(例如92年蘋果的 Newton)的歷程。到了80年代，Myron Krueger通過投影技術探索人造現實(Artificial Reality)領域則讓手勢交互技術開始為大眾所熟悉。而多點觸控技術則從上世紀80年代開始就已經存在：Nimish Mehta在1982年的論文中設計了第一個服務於HCI的多點觸控交互系統。如果再將思路放廣一些，大部分樂器本身就是“手勢”和“多點觸控”的結合體，而後期電子樂器的出現(電子鼓，電吉他)讓這兩樣交互技術同電子世界聯系了起來，這種交互形式已經存在了很久 — 1928年俄羅斯人發明的泰勒明電子琴(合成器)是世界上最早的這種使用手勢控制的電子設備。

　　大部分手勢都遠談不上“自然”並能夠讓用戶輕易學會，只有少數手勢能夠讓用戶不需要刻意學習而立刻使用。即便是最簡單的“搖頭”動作，在不同的文化中也有不同的含義。相信前往印度的西方旅行者肯定有過這種體驗：點頭表示“no”，搖頭表示“yes”。同樣的，即便是最簡單的“您好”，“再見”，“到這裡來”等手勢在不同的文化中也有不同的表現方法。你可以在wiki百科中搜索“list of gesture”來了解一些高頻率手勢在世界各地的使用情況。

　　另一個手勢不被看好的原因是 — 由於手勢通常是一個短暫的動作且不會留下“記錄”或者“路徑”，這些重要信息的缺失導致當用戶的手勢沒有得到任何反饋時(當用戶犯錯時)，通常只有很少的信息能幫助他們找出原因。另外，一個純粹的基於手勢的交互系統對用戶來說會是一個巨大的挑戰 — 他們必須自己去探索所有可能的手勢操作指令並記住它們。

　　當然，並不是說基於手勢的交互技術就一無是處了，它仍然是一種很強大的交互方式，並且我也相信它會在未來的交互世界中找到自己的位置並占有一席之地。科技進步的過程也就是讓新技術走向廉價的過程，讓基於這些新技術的產品可以被大規模的制造和推廣開去。我認為手勢技術在未來會被統一和標准化，就像現在的一些“標准”手勢那樣：向上抬手代表著“更多”(提高音量、大小等)，搖動設備代表“提供另一個選擇”，水平滑動手指意味著“前往新的頁面”等。新的標准和細節會被制定，舉個例子：大家都知道用手指按住並拖動圖片以改變它的位置，但是大部分人對於停止手勢操作後，依然讓圖片滑動一下段距離再停下來的 “動量”因素並不熟悉(目前還是有很多移動設備的用戶界面都忽視了對“動量”的設計)。“動量”設計的關鍵涉及到了另一個參數：“摩擦力” — 這樣，當用戶將圖片拖動到另一個位置並停止手勢時，圖片仍然會在“動量”的驅動下繼續運動，並在“摩擦力”的作用下運動一小段距離後漸漸停下來。當然，放在今天，“動量”的效果對大部分人都不陌生，但是我第一次見到這個效果還是20多年前的事情了 — Apple的HCI小組，由Joy Mountford開發出來。手勢的時長和動態性無疑會在今後成為大部分論文和研討會所關注的焦點，即便是在今天，不同的研究小組也有自己的“規則”，特別是在很多設計細節上都不盡相同，例如，當你用手指頭拖動一張圖片並觸及到屏幕邊緣時會發生什麼?如果有多個屏幕呢?如果有多個用戶，每個用戶各占用獨立的一個屏幕呢?圖片可以從一台電腦被“拖動”到另一台電腦上去嗎?這些交互細節也由於各自“規則”的不同而變得不一樣。

　　目前手勢開發者所面臨的一些困難讓我想到了很早前GUI開發者所遇到的一些類似問題。在開發早期Xerox PARC的GUI時，當用戶將文件圖標拖放在文件夾圖標上時，很自然的，文件圖標應該消失在文件夾圖標上 — 同理，拖放到垃圾桶圖標上時也應該產生同樣的視覺效果。但是這個交互原則在遇到打印機圖標時遇到了問題：執行拖放動作之後，文件是被打印出來了，但是同時文件也消失了，這是合理的嗎?當時，交互設計師花費了大量的時間來解決類似的問題，讓各個細節都趨近合理、完美、和降低疑惑。而在基於手勢的交互系統中，這樣的問題會更多，也需要設計師花費時間仔細思考這些問題。

　　目前，有些研究者正在嘗試開發一種全新的“手勢語言”，試圖根據用戶觸控點的數量來賦予系統不同的指令輸入含義。例如，單點觸控、兩點觸控、三點觸控、四點觸控等，分別代表不同的指令或指令輸入方式。著讓我想到了在鼠標點擊動作中曾經出現的類似問題：一次點擊代表放置輸入符，兩次點擊代表選擇一個單詞，三次點擊代表選擇一段話 — 看似合理，但是也有內在的邏輯問題。如果每次點擊都是“上升一個層次”的話，那三次點擊為什麼是選定一段話，而不是一句話?需要注意的是，研究者在開發 Xerox Star的GUI時，曾經花費了相當多的精力來建立一套“完善而標准”的“點擊”命令系統，就像現在研究者嘗試建立一套“手勢”指令系統一樣，只是這套 “標准”並沒有能長久的發揮效力，只有很少一部分規則沿用至今。

　　如果從體驗的角度看手勢操作的話，它也可以分為兩面：手勢(以及間接的體勢)可以在交互的過程中帶給用戶更多的參與度和愉悅度，但與此同時，長久的使用手勢操作也很容易讓用戶感覺疲勞，不當的手勢甚至會讓用戶有受傷的危險，在Wii上熱門的保齡球游戲就是一個例子，很多用戶會把握在手中的控制器當作保齡球扔出去，某些過於“自然”的手勢/體勢很可能會造成些我們意想不到的後果。

　　有些人可能會說：我們的系統是完全基於手勢/體勢的，不需要任何控制器，當然，這就不存在把控制器扔出去的情景了，但是緊接著而來的是另外一些更為復雜的問題：虛擬物體在實體世界中象征的缺失?缺少了控制器，系統能否應付得來極端復雜的人體運動狀態 — 范圍、連續性、持續性、臨時性等的界定，都是擋在前面的難題。這也是為什麼目前大部分基於手勢的系統都會提供給用戶或多或少的控制設備：開關、手持控制器、手套等等，以繞開一些更復雜的技術問題。

　　手勢交互系統的設計同其他形式的交互系統並沒有本質上的區別，也必須遵從基本的交互設計中的基本原則：用戶形象、用戶行為、使用場景、以及用戶同系統之間可能發生的各個交互細節、它們所可能產生的影響和結果。由於手勢操作的高自由度，用戶的手勢常常會模稜兩可，不清晰，因此來自系統中的反饋 — 用於指導用戶的提示，讓用戶了解他們的動作造成了什麼效果，錯誤出現在哪裡，應該怎樣做才能走出困境，則更加必不可少。另外，由於手勢是一種自然存在的行為，系統還必須具備區分用戶手勢的能力：哪些是用戶下意識的動作，哪些是用戶的指令輸入。在解決這個問題的過程中可能又會遇到更多的問題，指令輸入和用戶自然手勢動作的分類將變得很困難，而這些問題在鍵盤、鼠標、和觸控筆上是不會出現的。

　　最後，我想要總結的是，手勢技術會成為未來交互技術中非常有意義的一個組成部分，但是它還需要時間真正成熟起來、讓研究者找到最適合它的使用場景、有一套標准的規范讓相同的手勢在不同的系統中可以表示相同的含義。另外，我們也需要一套更好的理論來處理手勢系統中的用戶引導、反饋、糾錯等問題。

　　基於觸屏的手勢交互系統目前已經被很多用戶所接受，我常常看到人們在不知道動作能否被系統理解的情況下使用手勢同用戶界面互動 —