在數(shù)字化時(shí)代，產(chǎn)品的多模態(tài)交互設(shè)計(jì)正變得越來(lái)越重要。本文從多模態(tài)交互的基礎(chǔ)知識(shí)開(kāi)始講起，給大家分享了如何構(gòu)建一個(gè)跨越感官的多模態(tài)體驗(yàn)，供大家參考。

“感知，理解、決策和行動(dòng)是多模態(tài)體驗(yàn)的基石”

我們的個(gè)人世界是我們的大腦利用感官原材料構(gòu)建而成的，而原材料在構(gòu)建過(guò)程中也會(huì)發(fā)生各種變化?！?Faith Hickman Brynie

?? 本篇知識(shí)點(diǎn)概括：

1. 構(gòu)建多模態(tài)體驗(yàn)

2. 現(xiàn)實(shí)中的切片：環(huán)境與感知

3. 多模式體驗(yàn)：模式和模型（Schemas and Models）

4. PARITY（奇偶校驗(yàn)）: 從感應(yīng)到感知

01 構(gòu)建多模態(tài)體驗(yàn)

與其說(shuō)體驗(yàn)設(shè)計(jì)師在構(gòu)建體驗(yàn)，不如說(shuō)人們?cè)跒樽约簶?gòu)建體驗(yàn)。俗話說(shuō)，“美只存在于旁觀者的眼中。“ 不僅美觀，還有功能性、清晰度和可靠性。它們也存在于我們的皮膚中，分布在我們的骨骼表面、我們的脊柱內(nèi)，更重要的是在我們的腦海中。

做了8年产品经理后，我是这么看产品经理的

我个人是从非常初级的产品经理做起，再到负责一个大产品的项目管理，现在有幸跳出了日常基础的工作更多的去看产品的PMF，product strategy...

查看详情 >

當(dāng)我們體驗(yàn)物理世界時(shí)，需要清楚明白當(dāng)前發(fā)生了什么以及下一步該做什么。我們是高度靈活和適應(yīng)性強(qiáng)的生物，我們解決問(wèn)題的方式也是如此。

我們將許多不同的感知、認(rèn)知和身體能力匯集在一起，從一刻到下一刻作出適當(dāng)?shù)姆磻?yīng)。在這些過(guò)程中，我們的思想和身體會(huì)逐漸發(fā)展出一些快捷方式，讓我們和物理世界的交互變得更簡(jiǎn)單。

產(chǎn)品體驗(yàn)也是如此，弄清楚人們會(huì)如何使用設(shè)備，以類似的方式設(shè)計(jì)使用方式可以幫助用戶快速習(xí)得交互路徑。這種過(guò)程也被稱為同化的過(guò)程，即心智模型在新型信息中的使用，比如，我們本身就了解實(shí)體辦公桌的工作環(huán)境，這種現(xiàn)有的心智模型有助于我們理解如何更輕松地使用計(jì)算機(jī)的操作系統(tǒng)。

許多圖形用戶界面 （GUI） 使用「桌面」的比喻作為組織信息的一種方式。

Mac 操作系統(tǒng)使用的視覺(jué)隱喻

另一種感知現(xiàn)象，稱為「模態(tài)未完成」 （Amodal completion），這是一種視覺(jué)現(xiàn)象，指的是當(dāng)物體的部分被遮擋時(shí)，觀察者仍能感知到完整的物體。這種感知現(xiàn)象可以用于在基于屏幕的導(dǎo)航（如滑動(dòng)窗格和視差）中創(chuàng)建視覺(jué)效果。

02 現(xiàn)實(shí)中的切片：環(huán)境與感知

海豚的聽(tīng)覺(jué)處理能力是人類的兩倍，它們用這個(gè)能力來(lái)定位水下的物體，這是大多數(shù)陸地動(dòng)物無(wú)法做到的。狗的嗅覺(jué)比我們自己的好 100,000 倍，它們用它來(lái)讀懂情緒，而人類做不到。鰻魚(yú)可以檢測(cè)到大多數(shù)動(dòng)物無(wú)法檢測(cè)到的電磁波譜范圍。它們使用這種能力來(lái)檢測(cè)其他生物的接近。這些感官能力中的每一種都允許擁有它們的物種訪問(wèn)獨(dú)特的物理信息片段，這些信息塑造了他們與環(huán)境互動(dòng)的方式。

來(lái)自Jakob von Uexküll的理論：物種如何感知世界并與之互動(dòng)的物學(xué)基礎(chǔ)的理論被稱為 「umwelt」，umwelt 這個(gè)詞的字面意思是“環(huán)境”，Uexküll 的基本思想是，一個(gè)生物生活在一個(gè)感官世界中，對(duì)這個(gè)世界的感知，可以幫助它多姿多彩的生活。

心理學(xué)家 James J. Gibson 將我們對(duì)環(huán)境的理解能力定義為可供性「Affordance」，可用性專家和設(shè)計(jì)基礎(chǔ)教科書(shū)《The Design of Everyday Things – 日常事物的設(shè)計(jì)》的作者 Donald Norman 也很擅長(zhǎng)將我們對(duì)環(huán)境的感知能力應(yīng)用于設(shè)計(jì)。

基于感知的互動(dòng)也與我們理解它們的方式密切相關(guān)。我們不能像海豚那樣使用聽(tīng)覺(jué)進(jìn)行導(dǎo)航，也不能像狗那樣在社交互動(dòng)中使用氣味來(lái)識(shí)別彼此。我們的環(huán)境定義了我們感知的交互范圍，以及我們使用不同感官的目的，這不僅適用于人類，也適用于所有生物。

人類、海豚、狗、鰻魚(yú)和 iPhone 的 「umwelts」切片，他們都有特定的感官，可以影響他們的“世界觀”

03 構(gòu)建多模態(tài)體驗(yàn)：模式和模型（Schemas and Models）

Donald Norman 提出了設(shè)計(jì)的心智模型。它是人們構(gòu)建認(rèn)知的心理模型，人們了解一個(gè)物體是什么，以及它是如何工作的。許多人類能力是通過(guò)重復(fù)經(jīng)歷中出現(xiàn)的模式發(fā)展起來(lái)的。

在心理學(xué)中，「模式」（Schemas）的概念用于描述思想或行為模式?！改Ｐ汀梗∕odels）用于描述外部對(duì)象和事件的內(nèi)部，這些模型是通過(guò)重復(fù)體驗(yàn)構(gòu)建的。這兩個(gè)概念及其應(yīng)用方式之間存在一些重合。模式和模型有很多種類型，它們用于人類行為的各個(gè)方面。身體模式是我們對(duì)空間的感知，它讓我們能夠四處走動(dòng)而不會(huì)撞到東西，也是手眼協(xié)調(diào)不可或缺的一部分。模態(tài)和多模態(tài)都認(rèn)為是「模式」的類型，我們會(huì)同時(shí)使用感知、認(rèn)知和身體模式。如果沒(méi)有字母數(shù)字鍵的布局和行為的心智模型，我們就不會(huì)使用鍵盤，但如果沒(méi)有身體模式的參與，我們就無(wú)法自如的用手在鍵盤上打字。如果我們無(wú)法將語(yǔ)言、輸入和閱讀能力集成到一個(gè)模式里，那我們就無(wú)法和基于文字的應(yīng)用程序交互，這就是多模態(tài)的能力。

設(shè)計(jì)模式反映了人類的行為模式，這個(gè)理論的出現(xiàn)使交互體驗(yàn)易于管理。當(dāng)我們的感官處于最佳狀態(tài)，可以不假思索地執(zhí)行技能，并形成習(xí)慣形式，甚至形成自動(dòng)反射，這就是一個(gè)成功多模態(tài)體驗(yàn)。好的設(shè)計(jì)就是用戶可以不假思索的運(yùn)用多種感官進(jìn)行交互。

模式會(huì)影響我們感知、識(shí)別和記住相關(guān)事物的方式，設(shè)計(jì)模式必須遵循心智模型，使交互保持一致且可管理。如果所有電源開(kāi)關(guān)的工作方式彼此完全不同，那么我們每次使用一個(gè)電源開(kāi)關(guān)時(shí)就必須重新學(xué)習(xí)新的交互方式了。

感知、理解、決定和行動(dòng)可以被認(rèn)為是我們所有多模態(tài)能力的基石。它們通過(guò)模式組織成有凝聚力的知識(shí)和行為體系。舉個(gè)非常簡(jiǎn)單的例子，將語(yǔ)言理解與視覺(jué)相結(jié)合，你就有了閱讀能力。將語(yǔ)言與聽(tīng)覺(jué)相結(jié)合，你就有了傾聽(tīng)能力。再次將語(yǔ)言與手部動(dòng)作結(jié)合在一起，你就有了書(shū)寫或打字能力。將語(yǔ)言與聲帶和嘴巴運(yùn)動(dòng)相結(jié)合，你就有了語(yǔ)言能力。這也適用于無(wú)障礙功能。以不同的方式再次將觸摸與語(yǔ)言相結(jié)合，可以進(jìn)行盲文閱讀和鍵盤輸入。將視覺(jué)與語(yǔ)言再次結(jié)合，手語(yǔ)就誕生了。隨著時(shí)間的推移和實(shí)踐，我們會(huì)發(fā)展出如何結(jié)合使用這些不同模態(tài)的模式，也可以越來(lái)越輕松地使用它們。用戶同時(shí)使用多種感官，就叫做用戶的多模態(tài)輸入，而機(jī)器同時(shí)使用多種模態(tài)進(jìn)行反饋，就叫做機(jī)器的多模態(tài)輸出。

人類的交流可以跨越多種多模態(tài)組合，許多不同的方式可以傳達(dá)同一個(gè)想法；

我們的感官界定了我們可以體驗(yàn)到的物理信息種類，易讀性和可聽(tīng)性開(kāi)始發(fā)揮作用。我們的眼睛只能區(qū)分一定大小和距離的形狀。我們的耳朵只能在一定的音量和音調(diào)范圍內(nèi)聽(tīng)到。作為產(chǎn)品設(shè)計(jì)的一部分，我們的認(rèn)知能力越來(lái)越受到關(guān)注。認(rèn)知演進(jìn)（Cognitive walkthroughs）是一種研究實(shí)踐，它解釋了記憶、語(yǔ)言理解的作用以及人們用來(lái)評(píng)估決策中不同因素的能力和方法。它們?cè)诋a(chǎn)品設(shè)計(jì)中得到了廣泛的應(yīng)用。決策是一個(gè)特別值得關(guān)注的領(lǐng)域。有許多不同的決策模型，因?yàn)槲覀冏龀龅臎Q策有很多種 – 從接受好友請(qǐng)求到如何繞過(guò)水坑。當(dāng)然，我們的身體能力總是影響著設(shè)計(jì)。汽車儀表板上的所有重要控件都必須在駕駛員伸手可及的范圍內(nèi)，并且只能用一只手使用?，F(xiàn)在，電腦桌的高度通常是可調(diào)節(jié)的，以使我們的肘部和手腕處于舒適的角度，以防止重復(fù)性的壓力損傷。

感知、理解、決定和行動(dòng) — 多模態(tài)體驗(yàn)的基石。

04 PARITY（奇偶校驗(yàn)）: 從感應(yīng)到感知

雖然設(shè)備的模式和人類模式在某些方面相似，但在其他方面卻大不相同。這種比較稱為奇偶校驗(yàn)，它展示了人與設(shè)備能力之間感知能力的重合。例如擴(kuò)光譜望遠(yuǎn)鏡如何幫助我們了解太陽(yáng)和恒星發(fā)出的不同種類的能量，而這些能量是我們僅靠眼睛無(wú)法看到的。但是在許多情況下，人類的感知能力也是超過(guò)技術(shù)的——人類的精細(xì)運(yùn)動(dòng)就是其中之一。

人體耳蝸和加速度計(jì)、人眼和相機(jī)的光電陣列：每個(gè)都有優(yōu)點(diǎn)、缺點(diǎn)和有趣的特性。

內(nèi)耳中的耳蝸在檢測(cè)方向和平衡方面的工作方式類似于加速度計(jì)：與地面保持水平的液體可以在 x、y 和 z 軸上移動(dòng)。然而，與我們不同的是，快速旋轉(zhuǎn)加速度計(jì)不會(huì)讓人頭暈。然而，視覺(jué)是不同的。我們可以輕松檢測(cè)到比典型相機(jī)更寬的色彩范圍或色域。親眼看到的美麗風(fēng)景比相機(jī)或屏幕所能顯示的要生動(dòng)和豐富多彩得多，更不用說(shuō)吹拂我們頭發(fā)的風(fēng)和剛落下雪的氣味了。話雖如此，我們絕對(duì)不能像高速相機(jī)那樣看到每秒 100,000 幀。某些相機(jī)可以檢測(cè)紫外線和紅外光 – 超出我們自己的可見(jiàn)光譜。然而，在我們的頻譜中，我們有更好的動(dòng)態(tài)范圍;我們可以同時(shí)看到非常亮的光和非常深的陰影。

除了面相學(xué)與硬件之外，我們處理感官信息的方式也不同。首先，我們處理的感官檢測(cè)到的信息出奇地少。雖然我們可以一次看到一整頁(yè)文本，但我們實(shí)際上一次只能閱讀一個(gè)單詞。過(guò)了幾天以后我們能記住的單詞就很少了，盡管我們可以很容易地推斷出更高層次的總結(jié)和含義。相比之下，計(jì)算機(jī)的 RAM 可以輕松地一次容納一頁(yè)的所有單詞，甚至一整本書(shū)的所有頁(yè)面。計(jì)算機(jī)存儲(chǔ)內(nèi)存可以無(wú)限期地保存副本。然而，得出高層次結(jié)論的能力尚未完全實(shí)現(xiàn)。（也許未來(lái)LLM的推理能力可以做到）

我們有許多用于感官分析的自動(dòng)流程，我們也無(wú)法關(guān)閉它們。每種模態(tài)都提供了從感官數(shù)據(jù)中提取知識(shí)的不同方法。例如，對(duì)話和視覺(jué)圖像的很多信息是觸覺(jué)振動(dòng)無(wú)法傳達(dá)的。

早期的 iPhone 帶有觸覺(jué)引擎的按鈕，用于模擬物理觸感，就是利用了我們的觸覺(jué)不確定感來(lái)創(chuàng)造機(jī)械和人類接觸的錯(cuò)覺(jué)。

Taptic Engine 是 Apple iPhone 和 Apple Watch 中的觸覺(jué)系統(tǒng)，不同類型的振動(dòng)很容易刺激我們的觸覺(jué)，讓我們感覺(jué)像是真正點(diǎn)擊一個(gè)物理按鈕。

人類不太擅長(zhǎng)區(qū)分觸覺(jué)中的變化，我們更擅長(zhǎng)檢測(cè)視覺(jué)中表面紋理的變化。我們的思想和感官不斷地協(xié)同工作，以便我們能夠絲滑地體驗(yàn)世界。心理學(xué)一直在研究我們?nèi)绾胃兄诎l(fā)生的事情，了解它與我們的關(guān)系。我們又是如何適應(yīng)環(huán)境中的各類變量，這些人類感知能力的原理都是設(shè)計(jì)多模態(tài)體驗(yàn)時(shí)的依據(jù)。

感知，理解、決策和行動(dòng)是多模態(tài)體驗(yàn)的基石。

下一篇預(yù)告：

人體五感的感知能力范圍（人機(jī)交互參數(shù)參考）