以用戶為中心的設(shè)計幫助許多人創(chuàng)造了以屏幕為中心的生活。

新型模態(tài)交互技術(shù)的興起有望扭轉(zhuǎn)這一趨勢，重新定義技術(shù)在我們生活中的角色?；趥鞲衅鞯募夹g(shù)興起，讓信息和交互可以分布在多種設(shè)備功能以及任何物理對象、環(huán)境、活動或事件中。

交互輸入可以是用戶的物理位置信息，例如使用 GPS 或信標(biāo)設(shè)備，而不僅僅是用戶手動輸入位置，而交互輸出可能是文本通知，也可能是完全自動化的其他行為，如自動拖地。

而要創(chuàng)建此類智能交互，需要對用戶行為有更全面更新的理解。

（再次亮出這組圖）

設(shè)計多模態(tài)交互組合的一種簡單方法，通過人類在物理世界交互過程中所做經(jīng)歷的過程：人類如何感知、理解、決定和行動。這些過程是所有多模態(tài)體驗的核心構(gòu)建塊。我們可能不會在每個體驗中使用所有模態(tài)，但它們之間是存在重疊和相互作用的。并且，它們也可能會形成響應(yīng)循環(huán)。

感知：

感知不僅僅是我們?nèi)绾胃兄锢硇畔?，還在于我們感知后如何組織和解釋它。感知的一個例子是聽覺：它在人聲的范圍內(nèi)特別衰減，這并不奇怪。我們耳朵的面貌（鼓膜、中耳的錘骨、砧骨和鐙骨）經(jīng)過物理優(yōu)化，可以傳輸這些聲音頻率。

就像文本易讀性的標(biāo)準(zhǔn)被明確定義一樣，其他類型的物理信息的交互標(biāo)準(zhǔn)也將開始變得更加明確。例如語音技術(shù)的出現(xiàn)就引入了新的指標(biāo)，語音交互中的話數(shù)和置信度（正確識別單詞的可能性）。觸覺交互可以通過壓力或力、振動速度和強(qiáng)度來測量。新模態(tài)的交互也需要定義可用性指標(biāo)。用于衡量圖標(biāo)可用性的測試，也可以被用于觸覺振動，這些指標(biāo)能夠衡量一個人對振動模式的記憶能力或區(qū)分兩種不同模式的能力。

產(chǎn)品團(tuán)隊需要熟悉人體測量學(xué)，例如人類的視野、聽覺的范圍以及我們的觸覺可檢測到的力的大小。

理解和決策：

認(rèn)知描述了人類如何理解和獲得知識的過程。一個例子是，我們閱讀能力的速度和準(zhǔn)確性在道路標(biāo)志的設(shè)計中起著決定性的作用。在高速公路上，由于我們超過標(biāo)志的速度太快，我們閱讀標(biāo)志的能力會迅速下降，因此必須限制單詞的數(shù)量。我們識別出口和關(guān)閉的能力也受到影響。為了適應(yīng)這種情況，可能需要在出口前整整半英里處放置出口標(biāo)志，以便我們有時間處理信息、做出決定和執(zhí)行信息。這些響應(yīng)時間不僅僅是良好的設(shè)計實踐，他們也是一種法律規(guī)定。

執(zhí)行認(rèn)知是其中的一部分，這就是我們?nèi)绾卫美斫鈦砜刂莆覀兊男袨?。心理學(xué)中有許多不同的決策模型，可能沒有一個是正確的。舉個輕松的例子，當(dāng)涉及到甜點(diǎn)時，有很多種決定。你可以決定吃巧克力布丁而不是檸檬蛋糕，這就是是偏好。你甚至可以決定你根本不應(yīng)該吃蛋糕，這就是抑制。您可以立即決定需要蛋糕，然后開始烘烤蛋糕，這需要程序能力。還有不同級別的決策，例如買蛋糕與開面包店，分別需要不同程度的信息、分析和行動流程。

行動：

我們的主要行動是身體運(yùn)動和言語。身體運(yùn)動涵蓋基本技能，如在掃描圖像時抓取物體和移動眼睛，以及更復(fù)雜的活動，如滑翔傘、切菜或彈電吉他。行動不僅包括活動本身，還包括我們?nèi)绾潍@得這些身體技能。隨著時間的推移重復(fù)一項體育活動可以提高我們執(zhí)行它的能力。重復(fù)也可以使它成為我們行為中更持久和自動的一部分：像咬指甲這樣根深蒂固的習(xí)慣，或者像網(wǎng)球揮桿這樣的專業(yè)技能。這與增強(qiáng)、輔助和自動化技術(shù)尤其相關(guān)，了解來龍去脈對人類安全至關(guān)重要。一個例子是我們自動移動眼睛以聚焦它們的方式，這種反射稱為焦點(diǎn)調(diào)節(jié)。因為我們無法控制這種反射，所以它會干擾 VR 和 AR 頭飾的使用，導(dǎo)致頭暈和惡心，也就是VR領(lǐng)域常說的「眩暈」。

人類很容易同時處理多項任務(wù)，比如可以同時觀看多個電視節(jié)目；關(guān)鍵是平衡參與度與認(rèn)知極限。

03 注意力與焦點(diǎn)

交通事故死亡人數(shù)的上升被廣泛歸因于分心駕駛——比如在開車時使用智能手機(jī)。雖然在駕駛中使用智能導(dǎo)航從根本上改變了駕駛體驗，但使用其他智能功能也使開車行為更加危險。必須優(yōu)先考慮并提前預(yù)防這些危險，人的焦點(diǎn)能力必須放在第一位。添加新的交互操作或改變用戶習(xí)慣的交互都可能會導(dǎo)致用戶錯誤操作或完全分心。參與度并不總是越高越好。

焦點(diǎn)在交互設(shè)計中越來越突出。它是以可控但舒適的方式確定優(yōu)先級、組織和分配注意力的能力。減少分心是其中的一部分，但支持我們的注意力自然運(yùn)作方式是另一部分。注意力設(shè)計還需要考慮活動的持續(xù)時間、疲勞和其他因素。

心流（Flow）是心理學(xué)家 Mihaly Csikszentmihalyi 首次描述的一種心理狀態(tài)。作家 Dana Chisnell 將其描述為“專注狀態(tài)”，是一種放松又專注的狀態(tài)。外面的世界不復(fù)存在，時間也消失了。意識得到提高，感官充滿活力，提高生產(chǎn)力和創(chuàng)造力。在身體活動中（幾乎是所有活動中）心流是理想的表現(xiàn)狀態(tài)。感知、認(rèn)知和行動融合成無縫、輕松的多模態(tài)體驗。

這些心流狀態(tài)是在我們開發(fā)“調(diào)整意識以控制感覺和思想的方法”時出現(xiàn)的。心流對于完成許多不同類型的日?；顒邮潜匾摹Ｏ胂笠幌孪蚬啡忧?。你很容易做到?，F(xiàn)在試著想象一下用數(shù)學(xué)方式計算距離、力和軌跡，同時考慮球和你自己的手臂的重量。所有這些復(fù)雜的計算都已經(jīng)在投擲動作中了。你本來就知道，你會下意識地去做。我們需要處于心流狀態(tài)才能成功完成多種活動。心流從無意識的感知、認(rèn)知和行為中產(chǎn)生控制。與直覺相反的是，當(dāng)我們不完全的對我們正在做某些事情產(chǎn)生意識時，我們其實可以做得更好。

?? 在多模態(tài)體驗中實現(xiàn)專注就是在正確的時間創(chuàng)建正確的多模態(tài)組合：

過濾干擾、優(yōu)先考慮和組織「意識的參與」、允許心流——無意識的參與，甚至允許無注意力參與。不同類型的多模態(tài)體驗具有不同的關(guān)注程度的影響。例如，在嘈雜的環(huán)境中閱讀會很困難，尤其是環(huán)境音中有大量口語的情況下，當(dāng)我們的眼睛和耳朵都試圖使用我們大腦的語言處理部分時，它會導(dǎo)致交叉信號。另一方面，有些人會隨著音樂敲擊腳步，感受節(jié)奏——這本身就是一種特殊的模態(tài)識別。他們甚至可能沒有意識到自己正在這樣做，但這卻增強(qiáng)了他們當(dāng)下的體驗。有些模態(tài)相輔相成，有些則互相沖突，取決于包括人、環(huán)境和互動方式等各方面因素。

04 多模態(tài)設(shè)計使更廣的人類和產(chǎn)品行為成為可能

我們擁有各種系統(tǒng)和跨模態(tài)的能力來處理我們收集的感官信息。例如，我們感受節(jié)奏的能力其實跨越了音頻和觸覺模式。部分感官感受是反射性的，或者與生理本能有關(guān)。如，響亮的聲音或強(qiáng)光會引發(fā)驚嚇反應(yīng)，我們的注意力可能會從正在專注的事情上跳到其他突然發(fā)生的事情。

梅賽德斯-奔馳在其一項名為 PRE-SAFE Sound 的新安全功能中利用了這一點(diǎn)，根據(jù) Wired報道：當(dāng)檢測到碰撞時，汽車會發(fā)出大約 85 分貝的靜電聲。這足以觸發(fā)聲反射，收縮中耳的鐙骨肌以阻擋聲音，保護(hù)敏感的鼓膜和內(nèi)耳的其他部分。這種聲音的聲音不足以導(dǎo)致聽力損失，但它可以保護(hù)耳朵免受安全氣囊展開的影響，安全氣囊會發(fā)出 150-170 分貝范圍內(nèi)的壓力波，從而損害聽力。人類具備無限的將他們的感官能力、分析和決策過程以及身體技能結(jié)合起來的能力。

多模態(tài)如何影響設(shè)計？–創(chuàng)造可用性

所有的交互都依賴于人類多模態(tài)的感知方面，盡管有時以意想不到甚至違反直覺的方式。比如，我們已經(jīng)習(xí)慣了口袋里手機(jī)大部分是無聲的、大部分是矩形的存在，除非我們坐在它上面否則我們根本不會時刻注意到它的重量或大小。尋找手機(jī)的時候，我們必須翻找我們所有的口袋才能找到它，但其實理論上講我們的皮膚神經(jīng)可以時刻感覺到它在口袋里。

神經(jīng)適應(yīng)

有時候我們會短暫忘記自己坐在椅子上的感覺，從而專注于眼前的飯菜。我們的眼睛可以適應(yīng)黑暗，我們的味覺可以適應(yīng)有點(diǎn)太咸的湯，或者我們的皮膚可以適應(yīng)冰冷游泳池的溫度。經(jīng)過長時間的適應(yīng)和重復(fù)，我們可以在嘈雜的城市公寓中輕松入睡，或者壓力較小的在黑暗中在蜿蜒的道路上駕駛。這種現(xiàn)象被稱為神經(jīng)適應(yīng)，使我們能夠過濾掉重復(fù)的感覺刺激物。這也使我們能夠?qū)⒆⒁饬性谛滦畔⑸?，以便快速將這些信息與我們現(xiàn)有的體驗期望進(jìn)行比較。

神經(jīng)適應(yīng)正是「通知」和「警報」等交互起作用的原因。一旦我們習(xí)慣了某個噪音水平或筆記本電腦屏幕的視覺狀態(tài)，我們就會設(shè)定一個稱為閾值的感官的期望基線，并將注意力集中在其中。突然的振動或聲音偏離了該基線，我們會自動重新集中注意力。我們注意到那個聲音并想辦法做出回應(yīng)。我們的靜態(tài)屏幕上有不同顏色的閃爍和動畫就會讓我們?nèi)ラ喿x警報信息。雖然參與度是用戶體驗中最重要的部分之一，但部分交互設(shè)計其實是希望我們的感官脫離原先的感知場景。

反之亦然，減少或消除預(yù)期的刺激也可以轉(zhuǎn)移我們的注意力。例如當(dāng)我們進(jìn)入一個會議室，所有的談話都突然停止時，會令人不安。當(dāng)一個按鈕突然不響應(yīng)的時候，用戶會試圖重新尋找另一個有效的按鈕。屏幕暗了讓我們知道我們的筆記本電腦即將進(jìn)入睡眠狀態(tài)。人們會自動尋找并注意到這些變化，稱為閾值事件。它們錨定了我們的體驗并形成了它們之間的邊界和過渡。

iPhone 和 MacBook 使用幾種不同的方式來中斷我們的閾值或基線感官體驗來發(fā)送通知。

矛盾的是，神經(jīng)適應(yīng)也會導(dǎo)致交互設(shè)計的失敗。隨著時間的推移，我們會習(xí)慣某些類型的交互刺激，開始忽略它們——尤其是當(dāng)它們被過度使用或沒有直接相關(guān)性時。自 1993 年以來，基于瀏覽器的廣告通常位于頂部附近的橫幅中。結(jié)果，人們患上了橫幅盲癥，他們完全不再在頁面上看橫幅廣告了。顯然他們能看到橫幅的形狀和位置，但是卻可以在不閱讀的情況下將其過濾掉。正因為如此，互聯(lián)網(wǎng)廣告格式是我們的大腦過濾噪音的能力與廣告商重新獲得我們注意力的努力之間的無休止的競賽。

神經(jīng)適應(yīng)是多模態(tài)的眾多屬性之一，可以在創(chuàng)造有效的用戶體驗方面發(fā)揮強(qiáng)大的作用。它是多任務(wù)處理、“專家”行為和平靜交互的重要組成部分，它也是支持大多數(shù)輔助功能的設(shè)計策略。

創(chuàng)造喜悅、信任和愛

多模態(tài)的感知質(zhì)量和體驗愉悅密不可分。當(dāng)我們關(guān)上一扇由實心硬木制成的門時，它的重量、緩慢的擺動和螺栓捕捉的精確咔嗒聲確實令人滿意。我們可以通過它的移動方式和發(fā)出的聲音來判斷它比空心刨花板門更堅固。

實心硬木門給人穩(wěn)重的質(zhì)感

無論是令人陶醉的香水、深情的歌曲、壯麗的景色，還是帆船在平靜的海面上緩緩搖曳，體驗的大部分樂趣都是感官上的。描述跨感官的愉快體驗是很詩意的：天鵝絨般的蛋糕，美味滿足的笑容，像白日夢者的嘆息一樣溫柔的愛撫。這些看似詩意的描述其實是有科學(xué)依據(jù)的。無論是直接在體驗中還是觸發(fā)某個記憶，口感宜人的食物，讓我們想起春天穿越樹林的氣味。溫暖、毛茸茸、蠕動的可愛小狗，也能激發(fā)我們的感官感受。我們記住它們的時間也更長，回憶起來更清晰、更容易，并且更有可能渴望并在以后重復(fù)這種體驗。感受聯(lián)想（通感）也是我們與他人、品牌和我們使用的產(chǎn)品建立信任和親密紐帶的方式，物理上的接近和接觸都是信任的標(biāo)志，更頻繁的接近和接觸會增加這種信任。

小猴子更喜歡柔軟的、布覆蓋的代孕母親，而不是那些只有鐵絲和木頭的代孕母親，即使柔軟的母親不提供食物。

2014 年在英國進(jìn)行的一項研究探討了人們與移動設(shè)備之間深厚的情感依戀和紐帶。當(dāng)手機(jī)無法正常工作、損壞或丟失時，參與者表現(xiàn)出極度的痛苦和焦慮，他們對自己的設(shè)備表現(xiàn)出強(qiáng)烈的保護(hù)欲。“手機(jī)被認(rèn)為是自我的延伸”，人們強(qiáng)烈希望通過觸摸或視覺“檢查”來確保手機(jī)的存在。研究人員發(fā)現(xiàn)，與手機(jī)的物理接觸以及與手機(jī)的持續(xù)身體和視覺接觸增加了主人對手機(jī)的情感紐帶以及他們自己的安全感和控制感——設(shè)備就在那里，并在需要時準(zhǔn)備就緒。

05 多模態(tài)設(shè)計是跨學(xué)科的

隨著交互技術(shù)的進(jìn)步，催生了各類新的交互載體——時尚技術(shù)、可穿戴設(shè)備、無人駕駛汽車、互聯(lián)家居和智慧城市——將跨交互和現(xiàn)有物理設(shè)計學(xué)科的多模態(tài)體驗融合在一起變得越來越重要。

我們已經(jīng)與生活中被設(shè)計的物品建立了觸覺關(guān)系。挖掘人們習(xí)慣的物理世界的交互，把它整合到產(chǎn)品中可以產(chǎn)生新的令人意想不到的愉快體驗。勞力士經(jīng)典的蠔式恒動手表，人們可以搖晃手腕來讓手表轉(zhuǎn)動，為手表增添一些額外的互動樂趣。

Pebble 智能手表中，搖晃手可以激活背光功能，這也為舊的使用習(xí)慣帶來了新的意義

我們的大腦中有自動的認(rèn)知過程來閱讀面部表情和肢體語言，我們會注意到人們?nèi)绾握玖?，他們說話時如何移動。在非語言交流中閱讀情感線索，能夠讀懂彼此的情感線索是我們這個社會性動物的一項重要的生存技能。我們還將這些人類情感讀入無生命的物體中，這種現(xiàn)象被稱為擬人化。

汽車的姿態(tài)增添了個性并促進(jìn)了和人類的情感連接

鏡像神經(jīng)元

這也是為什么 MacBook 上睡眠燈的增亮和調(diào)暗如此令人回味的原因，它與睡眠者呼吸的起伏節(jié)奏相匹配。用戶可以迅速識別電腦的睡眠模式，知道計算機(jī)沒有關(guān)機(jī)，再次翻開屏幕它就能立馬 “醒來”。

為什么即使是輸入錯誤的警告，如被拒絕的密碼的搖晃動作也很可愛？因為它看起來有點(diǎn)像一個嬰兒拒絕一口它不喜歡的食物。這些產(chǎn)品行為的設(shè)計充分利用了我們已經(jīng)知道的微妙的肢體語言線索，讓我們更快的理解并適應(yīng)與當(dāng)前產(chǎn)品的互動。

在認(rèn)知神經(jīng)科學(xué)中，鏡像神經(jīng)元被理解為當(dāng)我們行動或感受到情緒時，以及當(dāng)我們觀察到其他人執(zhí)行相同的行為或感受相同的情緒時，鏡像神經(jīng)元都會被激活。我們甚至可能有相同的肌肉繃緊。產(chǎn)品中的這些情感行為可能會引起相同的鏡像，從而引發(fā)對我們產(chǎn)品的同理心。您會無意識地感覺到計算機(jī)需要睡眠、充電并讓其處理器冷卻。這實際上對設(shè)備有好處，不僅僅是理性地理解它，你還會感受并共情它。你會感覺到錯誤的密碼對你的計算機(jī)來說很糟糕，因此你下次會嘗試更仔細(xì)地輸入密碼。你對設(shè)備的運(yùn)行狀況負(fù)責(zé)，并更仔細(xì)地對待它。我們的設(shè)備需要我們的照顧，就像我們需要它們?yōu)槲覀兎?wù)一樣。將其當(dāng)作一種情感需求來設(shè)計——而不僅僅是用戶手冊中的一套實用說明，也會極大地優(yōu)化用戶與設(shè)備之間的自然交互體驗。

感官是我們體驗世界的唯一方式，了解它們的工作原理是設(shè)計更舒適自然的交互體驗的關(guān)鍵，也拓展人類感官感受邊界的途徑。