第一部分　用我們的雙手思考

第1章　說話時如何用手？

如果你曾經注意過自己的手勢，你可能會好奇自己為什么會做手勢。做手勢好像不帶有任何目的，但這種直覺可能是錯的。正如我在前文中所論證的，手勢能夠傳遞有價值的信息，會對傾聽者有所幫助。而且如果手勢能夠幫你保持專注與思考，它也能幫你扮演好說話者的角色。理解我們做手勢的原因可以幫助我們更有效地使用手勢，無論是作為傾聽者還是說話者。我們會在第三部分討論這個問題。現在，我們將深入探究你直覺背后的科學，即“我們為什么要做手勢”。但首先要明確一下“為什么”（why）是什么意思。

“為什么？”在英語中是很有趣的一類問題，其背后實際上蘊藏著兩個問題：“為什么？”和“做什么？”。為了闡明這一點，我們來看一個和我們相去甚遠的物種——美國短吻鱷的例子。每當夜幕降臨，短吻鱷都會潛入密西西比河。這是因為短吻鱷是變溫動物，而且夜晚的氣溫往往比水溫還低，傍晚入水對短吻鱷有重要意義：在夜間保持體溫，防止凍僵。請記住，短吻鱷和人類不一樣：它們不能調節自身的體溫，只能吸收環境的熱量。有了這一前提，我們可能以為短吻鱷傍晚入水的原因或多或少也應該和它們的體溫調節系統有關。但事實并非如此。實際上，傍晚入水的根本原因與光敏感性有關：逐漸消逝的暮色是提醒短吻鱷入水的信號。在光線和溫度可以人為分別調節的實驗室中，我們發現，如果溫度下降但光線并未變暗，即使短吻鱷的體溫隨氣溫越來越低，它也依然會待在岸上，不會進入水中。相比之下，如果光線變暗但氣溫依舊溫暖，短吻鱷反而會進入水中，雖然這個行為不能幫它保暖。傍晚下水的目的或者說“功能”，是調節溫度。但它的原理或者說“生理機制”，是光敏感性。1

因此，當我們提出“人們為什么要做手勢？”這一問題時，我們實際上是在問兩個不同的問題。第一個問題是關于發生在手勢之前的事件，以及這些事件是否引起了做手勢的行為——引發手勢的生理機制，即“什么令我們做手勢”。第二個問題是關于手勢之后的事件，以及手勢是不是引發這些事件的關鍵——手勢的功能，即“為了什么做手勢”。我們先來探索觸發手勢的生理機制，之后再來探究手勢的功能，以此認識到這可以是兩個截然不同的過程。

手勢的生理機制：什么令我們做手勢？

所有手勢都是身體行為，是劃過空間的肢體動作，但許多手勢也還原了可以用身體完成的動作。有個絕佳的例子。如果我問你如何系鞋帶，你很可能會邊說邊用手演示，你的手勢就是在模擬系鞋帶的動作。

另一個例子來自我之前的學生蘇珊·庫克和她的博士后導師麥克·塔恩豪斯的研究，這項研究要求成人受試者以實物或電腦的方式解出河內塔謎題（Tower of Hanoi，簡稱TOH）。TOH是用三根柱子和一堆圓盤組成的邏輯益智游戲。游戲開始時，所有的圓盤都在一根柱子上，由上到下按照從小到大的順序排列。游戲的目標是每次將一個圓盤移動到另一根柱子上，且不能出現大圓盤在小圓盤之上的情況。這個實驗的實物版和電腦版的最大區別在于，實物版需要你把圓盤從一根柱子上提起來，然后才能套在另一根柱子上。而在電腦上做的話，你只需要拖動圓盤就可以把它們移來移去，無須提起圓盤。在游戲結束后，這些成年人講述了他們的解謎過程，與使用電腦相比，使用實物對手勢的影響更顯著。在講述自己的解謎過程時，實物組做出了包含畫弧線的手勢，而電腦組只做出水平拖動的手勢。這些成年人都用手勢還原了解謎動作的方方面面，而且并未口頭描述這些動作。

有趣的是，之后另一批成年人觀看了兩組的實驗錄像，他們也被所看到的手勢影響了。當讓他們在電腦上完成這項任務時，盡管沒必要這么做，看到弧線手勢的人也會把圓盤從柱子上完全提起來，而看到水平拖動手勢的人則會把圓盤在電腦上拖來拖去。第一組成年人將肢體動作的各個方面融入他們的手勢中，而這些手勢可以讓肢體動作在對話中保持活躍。2

正如我們所見，手勢在捕捉動作方面表現出色。我之前的學生、為了解手勢在教育中的作用做出了持續性貢獻的瑪莎·阿里巴利，以及她的學生奧特·霍斯泰特爾（也是我的“徒孫女”）在上述觀察的引導下提出了“手勢模擬動作”（GSA）框架。當我們說出“扔”這個詞時，會模擬扔的動作。我們不是非得這么做，但腦部活動顯示“扔”確實出現在了我們的頭腦中——做出“扔”的動作時會被激活的大腦區域，在說“扔”的同時也被激活了。我們在思考和說話時模擬動作的意識被稱為“具身認知”。這個意識奠定了GSA的基礎，而GSA假定模仿動作會引發手勢。一旦達到激活腦部的某個閾值（這個閾值因人而異），扔的動作便會通過手勢的模仿行為變得可視。3

所有這些都表明，行為是產生手勢的生理機制的一部分。如果這一理論是正確的，說話者在形容自己所做的事情時應該會做出很多手勢。他們也的確如此：相較于只是看過圖形的人，動手繪制過的人在描述圖形時會使用更多的手勢。說話者在表達想法時，會用手勢來模擬他們做過的動作。

另一個證明行為與手勢的產生關系密切的證據，來自一個著名的視錯覺實驗。如果請你比較以下兩根棍子的長度，你會篤定兩端開口朝外的棍子（深色）比兩端開口朝內的棍子（淺色）更長。但實際上，兩根棍子一樣長（正如它們去掉兩端之后的樣子）。

如果請你用拇指和食指表示棍子的長度，你很容易會受到上述視錯覺的影響。在描述棍子顏色時，你的手指可能會比描述兩端開口朝內的淺色棍子張得更開——因為你的眼睛已經被欺騙了，所以對棍子長度的估算誤差也會反映在你的手上。但是，你的手并不總會受到視錯覺的影響。在你準備握住棍子時，無論是握兩端開口朝外還是開口朝內的棍子，你分開拇指和食指的寬度是相同的——當準備行動的時候，你的手就不會被欺騙了。4

如果你的手既沒用于做評估，也沒做出行動，僅僅只是在做手勢進行描述，又會發生什么呢？第一步，讓你用一個兩端開口朝外的棍子做動作——把它撿起來，然后按照指定的路徑在空間中移動它。接著，請你在口頭描述所做動作的同時做手勢。之后，請你對兩端開口朝外變為兩端開口朝內的同一根棍子重復這些動作并進行描述。那么問題來了，你的手勢會像哪一種？是你做動作的手（未受視錯覺影響，那么你對兩根同樣大小的棍子所做的手勢沒有區別），還是做評估的手（對視錯覺敏感，那么你描述兩端開口朝外的棍子時的手勢會比描述兩端開口朝內的棍子更寬）？

答案是手勢更像做動作的手，而不是做評估的手。無論你是在描述兩端開口朝外還是開口朝內的棍子，你分開拇指和食指的距離都是一樣的。你做手勢的手并不比你做動作的手更容易受到視錯覺的影響，且比你做評估的手更不易被視錯覺影響。盡管手勢與語言緊密相連，但它的根源可能在于行動。5

另一個證據可以證明行為是手勢生理機制的一部分，它來自我們大腦的反應。功能性磁共振成像（fMRI）可以反映出你在執行任務時大腦某一區域的供血量：供血量越大說明該區域在執行任務時越活躍。在課堂上解決數學等式問題（4+6+3=__+3）時，孩子們要么會單獨通過話語說出來（“我想讓等號左右兩邊相等”），要么一邊說一邊做手勢（說的同時在等式左邊做一個向右扇的手勢，再在等式右邊做向左扇的手勢）。學習任務進行一周之后，請這些孩子在解數學題的同時接受fMRI，但這次不讓他們做手勢。兩組大腦活躍圖像呈現出差異：盡管儀器沒有顯示出任何手部活動，但對通過手勢+話語學習的兒童來說，他們大腦中負責運動功能的區域比只通過語言學習的兒童活躍得多。這些被激活的大腦區域與兒童通過對物體施加動作來學習一項任務（比如學習字母并書寫字母）后被激活的大腦區域非常相似。就像通過對物體施加動作學習，通過手勢學習可以形成運動特征。這一現象至少部分解答了我們本章開篇提出的問題：什么令我們做手勢？答案是，動作模擬似乎是手勢產生機制的一部分。6

有一個問題。盡管所有手勢都是由身體完成的，但并不是所有手勢都是身體行為的反映。當你說到火箭發射升空時，你會用手在空中向上示意它的軌道，但你的手勢展示的只是一個動作，而非身體動作。或者當你在空氣中比畫S形來表示狗的尾巴時，你的手勢甚至都算不上是“動作”，更不用說“身體動作”。在這些情況下，身體無法做出一個可供模擬的動作。或許，手勢模擬動作理論是對代表身體動作的手勢的正確解釋，但它不能輕易解釋那些代表形狀、抽象概念，甚至物體運動的手勢。

還有一個證明手勢并不能完全起到動作作用的例子。一個名叫IW的年輕人在19歲時飽受一種原因不明的病癥折磨，這種病影響到了他的脊髓神經，令他喪失了觸覺以及所有依賴體態和方位反饋（我們稱之為“本體感受反饋”）的運動神經控制能力。經過時間推移和大量努力，IW學會了通過注視和指揮四肢的方式控制他的手臂和腿部動作。他重新奪回了對體態和動作的控制權，但只有在能看到四肢的情況下才能完成。他無法在黑暗中移動，不過有個有趣的例外，他可以在黑暗中做手勢。換言之，盡管IW在看不到自己的手的情況下不能移動它，比如撿起一塊積木，但可以在看不見手的情況下邊說話邊做手勢。IW的病情影響了他對物品做動作，但并不影響他做手勢，這也說明動作與手勢背后的機制是不一樣的。7

還有一個例子也可以說明這一點：一個沒有手臂的女性卻有做手勢的意識。《腦中魅影》一書講述了一個先天沒有手臂的年輕女孩的故事，她本應對手勢一無所知，但事實并非如此。米拉貝爾出生時雙肩下只有兩個肉錘，但她能夠感受到從未擁有過的手臂，她所具有的便是所謂的“幻肢”。人們往往在經歷截肢后才會有幻肢體驗。但是，米拉貝爾“無肢可截”，所以醫生對她的幻肢感表示懷疑。當被問起是怎么知道自己有幻肢時，她回答道：“嗯……因為我在和你說話時，它們在做手勢。它們在我說起某個物體的時候會指向它，就和你的胳膊和手一樣……醫生，在我走路時幻肢不會像你們的正常胳膊一樣晃蕩，它們只會在身體兩側保持不動，就像這樣。”她邊說邊站起來，讓兩個肉錘垂在身體兩側。“但只要我說話，”她繼續說道，“我的幻肢就會做手勢。現在我說話時，它們就在動。”可見，做手勢并不僅僅是動動手臂。8

手勢的功能：我們“為了什么”做手勢？

除了令其產生生理機制之外，手勢也可以獨立發揮作用——換言之，做手勢可能具備一種甚至多種與行為無關的功能。正如前文所述，一般人都能讀懂你自發做出的手勢，這意味著你的手勢具備與傾聽者交流信息的功能。9

手勢甚至可以把你變成更高效的溝通者。這里舉一個例子。2021年4月9日星期五，《紐約時報》報道了馬丁·托賓醫生為德雷克·肖萬被指控殺害喬治·弗洛伊德一案出庭作證。亨內平縣前首席公共辯護律師瑪麗·莫里亞蒂對托賓的作證做了如下描述：“托賓是一位精通呼吸原理的胸內科醫生……他湊近麥克風，領帶略微歪斜，用手和肘部演示了人是如何呼吸的。”她接著說，“他以世界一流專家的形象示人，卻用門外漢也能聽懂的英語解釋了一切。”我認為，托賓如此有效的作證的秘訣在于（除了他清醒的頭腦之外）他說話時所做的手勢。托賓有意無意地用手勢對證詞加以潤色，但有無意識真的不重要——只要信息擺在那里，每個人都可加以利用。你的手勢可以幫助別人理解你的觀點。

你似乎是憑直覺了解自己的手勢的。身處嘈雜的環境時，你會提高音量，并且清楚、分明地說清每一個詞，尤其是在話語是唯一可選的溝通方式的情況下。可當你還有手勢這一選項時，你就會把它運用到極致。你可以用各種方法細化手勢，也可以在其中加入額外的信息；如果你想在一個嘈雜的房間里點薯片和薩爾薩辣醬，在做出“吃”的手勢之前，你會先做一個用薯片蘸醬的動作，然后再把手指放到嘴邊。你還可以通過在不同空間重復動作，或者用停頓分隔兩個動作的方式細化你的手勢，以此來強調動作。有趣的是，當你能用手時，你就不會再費勁兒地增加話語的信息量了，反而會把這項工作交給手勢和夸張的口型。換言之，在嘈雜的面對面交流中，盡管你調整了話語和手勢以適應聽不清的環境，但包含手勢在內的視覺途徑似乎在確保傾聽者能理解你的話方面贏得勝利。10

你的手勢幫到了他人，那它們也能幫你嗎？聽起來有些古怪，但你明知傾聽者看不到你，為什么還要在打電話時做手勢呢？盲人之間說話時，明知對方看不到，為什么也會做手勢呢？還有同聲傳譯人員，你有沒有注意過國際會議上坐在玻璃窗后的同聲傳譯員？他們的聲音會被傳送給傾聽者，但畫面并不會傳送。沒有人會看到他們，但他們在雙語互譯時會不斷地做手勢。我們最合理的猜測是，手勢對他們有用。

讓我們來想想，你的手勢可能對你有什么作用，而你對此渾然不覺。你會在說話的同時做手勢——可能你的手勢在幫你組織語言。你在想“螺絲刀”這個詞時會發現手在做擰的動作。做這些動作會幫你找到想說的那個詞嗎？證據尚不確鑿：某些人從證據推導出的答案是肯定的，另一些人的答案則是否定的。如果手勢可以幫你說話，那么不使用手勢就會妨礙說話，但尚且不能為這個假設找到能夠令所有人信服的證據。即使做手勢的確在說話中起作用，我們也沒有理由相信做手勢只有一種功能。做手勢可以影響你的思想，而且方式頗多。11

手勢助你專注。當有人做手勢時，手勢會吸引你的眼球，你便更容易打起精神、集中注意力。有一種可以追隨佩戴者目光的視線追蹤器，我們用它們來觀察有手勢和沒手勢的數學課上兒童的視線。當教師說：“我想讓這一邊（對等式左邊做手勢）等于那一邊（對等式右邊做手勢）。”孩子們的視線追隨著她的手勢，因此看到了她話中提到的對應部分。不出所料，看到手勢的孩子比沒看到手勢的孩子更容易理解教師的話。他人的手勢確實可以幫助你看到該看的地方。

但我們的發現不止于此：如果只看兩組中理解教師的話的孩子，我們發現看到手勢的孩子比沒看到手勢的孩子在受到點撥后更容易進步。這有些出人意料，因為那些沒有看到教師手勢的孩子是靠自己理解所教的內容，理應比注意力集中于手勢的孩子從語言中得到了更多的信息。相較于只理解教師的話卻沒有看到手勢的孩子，似乎手勢讓孩子們收集到了更多信息。手勢不僅能控制注意力，還能幫你從正在聆聽的話語中獲取更多的信息。12

上述都是由他人做出的手勢，但你自己的手勢也可以幫你保持專注。學齡前兒童尤其喜歡在數東西時指著它們，數數時做出指的動作（相較于兒童數數的同時觀看一個布偶做出指的動作）可以幫助兒童將數字和他們正在數的東西聯系起來。結果是，他們會比不做手勢時數得更流利。13

自己做出手勢確實可以使你更專注。但與不做手勢相比，做手勢還能幫你從眼前事物中獲取更多的信息。

手勢助你記憶。如果你邊做手勢邊描述某件事，你會不會覺得比不做手勢能更好地回憶起這件事？我們請幾個成年人看一些視頻，視頻內容包括玩具、動物、做各種各樣（有些甚至很奇怪）動作的人：一只滑向警察的雞、一個撫摸狗的女人、一只飛進獨輪推車的鴿子、一個彎腰以手觸腳的慢跑者、一個自己晃蕩著關上的籬笆。我們測試了這些成年人立即描述這些事件和三周后對其的記憶情況。被我們要求在描述時使用手勢的成年人要比那些沒被要求使用手勢的成人能回憶起的事件更多，尤其是在幾周后。如果人們自行做手勢，結果是否會有所不同，為了驗證這一點，我們又做了一遍實驗，但這次實驗對手勢沒有任何要求。我們依然得到了相同的結果：人們對他們自發做了手勢的對象的記憶要好于沒做手勢的。無論是出于自發還是被要求，說話時做手勢都會令編碼于話語中的信息變得難以忘記。14

手勢可以減少你在認知上付出的努力。我們一直在關注伴隨需要被記住的事物而做出的手勢——這些手勢讓事物更好記。但是，手勢還可以通過減少你在完成任務時需要付出的認知努力，來間接地對記憶施加影響。我們通過實驗展現了這一觀點，實驗內容為：要求成人受試者在解釋數學題的解法時做手勢，而在解釋其他類似題目時不做手勢。

這個實驗共分為4步。受試者被要求（1）解一道數學題，（2）記住一個字母列表（比如XR QP BN），（3）解釋他們的解題方法，（4）試著回憶字母。每個受試者都解出了24因數分解的題目，比如X2-5x+6=（　）（　）。請注意，這些受試者在解釋解題過程時還要試著記住那些字母，也就是說他們同時在做兩個任務，因此這兩個任務使用的是同一份認知心力。我們用他們在解釋時記住的字母的數量來衡量所付出的認知心力：記住得少意味著他們在努力解釋，所以只能記住少量的字母；記住得多則意味著他們為解釋付出的努力更少，因此能記住很多字母。當然，這個邏輯預設了認知心力的總量是一定的，我們稱這一總量為“認知負荷”，且兩項任務（解釋題目與記字母）所消耗的認知心力會即時抵消。之前的工作為這兩個假設提供了很好的證據。15

我們感興趣的問題是：做手勢讓成年人記住字母的任務變容易了還是變困難了？換句話說，做手勢是減少還是增加了認知負荷？做手勢是一種伴隨話語的行為，強行將手勢與話語綁定可能會消耗認知心力，這也就意味著與不做手勢相比，邊做手勢邊解釋的難度更大。而另一方面，手勢和話語一起組成了一個信號系統。所以，如果兩者同時進行，就可以消耗更少心力，也就是說，邊做手勢邊解釋會比不做手勢更容易。那我們發現了什么呢？成人受試者邊解釋邊做手勢比不做手勢記住了更多的字母。盡管說話時做手勢是增加了一項行為，但結果表明你的認知負荷得到了減輕。16

兒童的情況又如何呢？我們將實驗模板為兒童稍加調整，發現做手勢也同樣減輕了他們的認知負荷。但我們可以在兒童組多探究一個問題，我們將能解出和不能解出附加題的兒童進行對比——因為在成人組實驗中，他們全都成功地解出了因式分解。我們可以探究兒童做出正確或錯誤的解釋手勢時發揮的作用是否一樣，事實證明是一樣的。無論解釋正確與否，做手勢都減輕了兒童的認知負荷。17

但你可能有所疑慮。我們告訴成人和兒童受試者不要做手勢。“不要做手勢”這一指令本身就可能造成認知負荷。所以，被告知不要做手勢的情況下，成年人和兒童能回憶出的字母數量會因為強加的認知消耗而變少。我們可以排除這一可能性，因為哪怕有機會做手勢，受試者也不一定會做。這就說明一個人可能做出三種類型的解釋：（1）受試者選擇做手勢，（2）受試者選擇不做手勢，（3）受試者被要求不做手勢。結果顯示，在選擇不做手勢和被要求不做手勢這兩種情況下，成人組和兒童組記住的字母數量是一樣多的——被要求做手勢并沒有增加他們的認知負荷。也就是說，無論是出于自愿還是由于受到指令，他們做手勢都比不做手勢能記住更多東西，這也證明手勢的作用之一便是減輕你的認知負荷。

如果覺得口頭表達難以完成，你可以在說話時用手勢來自救。

做手勢會外化你的想法。如果你在頭腦中解數學題遇到了困難，你可能會找一張紙把問題寫下來。把問題落在筆頭可以減輕你的記憶載荷，還會帶給你不同的視角。那么把你的想法放在手上，或許也有同樣的效果。

我們用一個兒童道德推理的例子可以證明這種可能。這個案例是一個困境，有一對缺錢的兄弟想通過非法途徑獲利：一個欺詐了一個老人，另一個盜竊了一家商店。我們讓孩子們決定欺詐和盜竊哪一個更可惡，并讓他們在給出理由的同時做手勢。他們都照做了，并且在說話的同時做手勢。說話時，他們會把做手勢的兩只手放在不同的空間，每只手都代表一個不同的視角。單獨空間位置里的手勢描述的是單個視角（左圖），多個空間位置中的手勢則描繪的是多重視角（右圖，每一只手都描繪了一個不同的觀點）。

把手放置在不同的空間位置是一個首要標志，表明兒童可以從多個角度看待道德困境。多重視角也開始在兒童的話語中出現，不過僅在要求他們做手勢時出現。接著，在接受道德推理方面的訓練之后，被要求做手勢的孩子在解釋道德困境時給出了更多高階的道德推理，不僅僅考慮一個角度。而被要求不做手勢的孩子卻做不到這一點。請注意，道德是一個抽象概念，與空間毫無關系。通過使用手勢，孩子們把他們的想法“空間化”了（他們真的把想法在空間中表達了出來），這也在本例中幫助他們從多個角度看待道德困境。18

通過置于空間的方式，手勢不僅將想法外化，還將它們嵌入一個空間架構內。視覺空間推理和協同認知領域的知名權威芭芭拉·特沃斯基在《行為改造大腦》一書中提出了這一觀點。在她看來，空間思維是思想的基礎，是地基并非上層建筑。手勢及其他人類活動都發生在空間中，并且可以為我們的心理表征創造場域。手勢所涉及的動作可以為發現同一問題的不同視角奠定基礎。19

將想法布局在空間內，哪怕想法本身并不具備空間性，可以為應用依賴于空間的認知操作做鋪墊。以軌跡記憶法為例，這是一種回憶物品列表的方法。它的工作原理如下：首先想象你把想要記住的東西放在房間的不同位置（比如沙發上、桌子上，以及落地燈旁，等等），然后你就可以在腦海中回溯標記過的位置，以此回想起每一件物品，以及物品在各個位置的畫面（比如沙發上、桌子上，以及落地燈旁的物品，等等）。或許手勢也可以派上類似的用場。在空間中用手勢比畫出不同的想法，你便可以把它們嵌入這片空間，并可以利用這片空間回想起它們。這個主意值得一試。20

做手勢為思維帶來了第二種感官模式。我們一直在討論做手勢可能起到的微小作用。而一個不那么微小的作用便是，手勢為溝通帶來了除話語之外的第二種感官模式，且這一模式具備影響思考和學習的潛能。《多媒體學習》的作者理查德·邁耶認為，兩種不完全重合的感官模式同時呈現，可以增強學習效果。口頭交流學習是一件有力武器，但口頭和視覺的融合要比單一屬性的學習資料更有可能增加深入持久的學習效果。比如，“活塞在主氣缸內向前運動”這句話和活塞在汽車制動系統中如何運動的圖表間建立有意義的聯系，會比單獨思考單詞或圖表讓人理解得更全面。邁耶的著作聚焦于語言和圖像語境下的學習，但其中一個小步驟便是把手勢——而非圖片——看作與語言一起呈現的視覺材料。21

手勢和圖片存在著顯著差異。手勢是動態的，并會隨著時間結束；而圖片是靜態的。有些問題本身就適合動態展示，比如學習打繩結。眾所周知，繩結圖片不好理解，尤其是與伴有手勢的語言描述相比。而另外一些問題則是用靜態展示會效果更好，因為這能使其中各要素間的關系一目了然——比如，組裝抽屜柜體之前先看看圖紙是什么樣。在組裝抽屜的過程中，能擁有一個供你隨時查看、告訴你各部件如何拼接的樣板，要比一閃而過的手勢有用得多。

但是，手勢的確有一個圖片所不具備的優點：無論是輸出還是理解方面，手勢都可以與話語融為一體。也就是說，你不必思考如何把兩者結合起來。你說話時，手勢便自動出現。你聆聽時，說話者的手勢也會融入接收的信息。與之相反的是，你總得下點兒功夫才能將一張圖片有效地融入你的話語。事實上，手勢似乎就是將語言和圖片合二為一的最顯而易見的方式——比如，描述圖片的某一部分時用手指向它。目前，針對手勢和圖片在課程中的最佳利用方式的研究寥寥無幾，但這似乎是未來一個頗有前途的研究方向。我可能會從觀察教師的做法入手，因為他們是專業人士。

做手勢為思維帶來了第二種表現形式。手勢是通過話語之外的感官模式表現出來的，但它還有另一個層面上的不同：手勢可以連續地表達信息，它可以在空氣中描繪場景。與之相反，話語則依賴于將分散的信息類目整合成更大的合成體——發音組成單詞，單詞組成句子。或許正是因為手勢引入了一種圖像化的格式，而不僅僅是帶來了第二種感官模式，手勢才擁有了在學習領域的能量。我們不能在說話者中探究這一可能性，因為他們在做手勢時會使用兩套感官系統：聽-說語言感官和手-眼手勢感官。但是，我們可以以手語者為研究對象來處理這個問題。

手語利用信息類目的方式和話語一樣，而且手語者在打手語時也會做手勢。兩者的區別在于，他們的手勢和手語屬于同一種感官的產物：手動感官模式。所以，手語者在打手語和做手勢時會使用兩種表現形式，感官模式卻只有一種，這兩種表現形式分別是一種離散的手勢形式和一種連續的手勢形式，兩者都由手部呈現。與之不同的是，說話者使用的是兩種感官模式的兩種表現形式，即由口說出的語言離散形式，以及由手做出的手勢連續形式。這樣的組合使我們能夠將使用兩種感官模式的情況與使用兩種表現形式的情況進行比較。究竟是什么給予了手勢其認知能力？是并列的兩種表現形式（語言離散，手勢連續），還是兩種感官模式（手和口）？22

手語者的手勢和說話者的手勢具有相同的認知效果嗎？為了解答這個問題，我們教給說英語的健聽兒童一個數學概念，并把美式手語（America Sign Language，ASL）教給了聾啞兒童。如果是并列的兩種表現形式在起作用，即語言和手語上離散、手勢上連續，那么手語者應該和說話者的表現相當。但如果是并列的兩種感官模式在起作用，那么手語者的表現應該會有所不同，因為他們只用了一種感官模式——手。

第一個問題是，這兩組兒童會不會在這些問題上做手勢。答案是肯定的，而且比率幾乎相等。舉個例子：3+6+8=3+___，一個會說話的孩子和一個聾啞兒童都錯誤地把4個數全加在一起，在空格處填了20。會說話的孩子解釋道：“我把這道題里所有的數字都加在了一起。”說著用手依次指向這4個數字。而手語者則做出了“加法”的手語，再做出“所有”的手語；而她的手勢則是，先用食指依次掃過右邊的3和左邊的8、6、3的下方，再依次指向左邊的3、6、8和右邊的3的下方。兩個孩子用他們各自的語言（口語或手語）和手勢傳達出了相同的信息——把題中所有的數字加起來。

下一個問題是，這些兒童是否曾經做出過與他們的語言表達的信息不同的手勢。答案是肯定的，而且比率再次大致相同。這里有一個例子：7+4+2=7+___，兩組中所有填了13的孩子都是把等式左邊的數字相加。他們用各自的語言告訴了我們解答的過程。會說話的孩子說：“我把7、4和2加在一起，填了13。”而手語者（如下圖所示）在等式左邊的7、4、2上做了“加法”手勢，并在空格處做出“放”的手勢。但兩組兒童都在他們的手勢中傳達了不同的信息。會說話的孩子對等式右邊的7做出了一個“拿走”手勢。而手語者則用手掌把等式右邊的7蓋住，好像是要把它排除在外（這個動作是一個手勢，并不是美式手語）。在兩組實驗中，手勢都傳達了無法從他們各自語言中找到的信息。換句話說，兒童的語言和他們的手勢出現了某種“錯位”。在之前的研究中，我們發現一個會說話的孩子在數學課之前面對這類問題時表現出的“錯位”次數，預示了這個孩子將從數學課中受益的可能性。23

這里有一個至關重要的問題，這一條是否適用于手語者：手語者在課前手語與手勢的錯位的數量是否也預示著他們課后能解題成功？我們把孩子們按照課前的手勢-手語錯位數量，從0到6劃分為7組。然后，我們觀察他們能否在課后成功地解答這類題（只做錯一道題也可視為成功）。如果課前的錯位可以預示課后解題成功，那么完全沒有手勢-手語錯位的兒童應該是表現最差的，而有6個錯位的兒童應該表現得最好，其余兒童的表現居于兩者之間。這和我們的研究結果完全一致。手語者和說話者的表現一樣，這說明手勢的認知能力來自并列的兩種表現形式（語言離散，手勢連續），而非并列的兩種感官模式（手和口）。24

做手勢使身體參與到認知中。手勢的表現形式對思考和學習非常重要，但這些形式所屬的感官模式或許同樣重要。手勢是由身體做出的行為。運動感知系統是我們與世界互動的介質，而通過在系統中建立感知、感覺、情緒，甚至我們理解語言的方式，我們的行為可以對思維造成影響。比如，你在看不到自己動作的情況下學習了新舞步，之后依然可以用眼睛認出這些動作，哪怕你從來沒見過。你的行為會影響你認識世界的方式。25

與動作一樣，手勢也可以影響后續的思維。回想一下前文提到的河內塔謎題。那些圓盤不僅在大小上遞增，在重量上也是遞增的。最大的圓盤最重，必須用雙手才能拿起來。最小的圓盤最輕，單手就可以拿起。在成人受試者解出謎題后，我們請他們形容解題過程，他們果然做了手勢。在解釋的過程中，有些人選擇用單手手勢描述移動最小的圓盤，有些人則選擇用雙手手勢。

我們請這些人再次解題，只是我們在題中做了手腳：在受試者不知情的情況下，我們互換了圓盤的重量。現在，最大的圓盤是最輕的，最小的圓盤反而是最重的，必須用雙手才能提起來；但圓盤的外觀并沒有變化。結果出人意料，在我們讓圓盤互換重量而保持外觀不變的情況下，受試者描述時的手勢選擇影響了他們的解題能力。在解出互換重量的謎題之前，受試者的單手手勢讓他們想當然地以為小圓盤的重量比較輕。當發現小圓盤實際很重時，他們的發揮便受到嚴重影響。圓盤的重量信息被植入了——且僅植入了——他們的手感，而這些信息會影響到他們的解題結果。26

如果手不是你的，手勢又會是什么樣呢？如果你戴著假肢，還會做手勢嗎？你是否把假肢當作身體的一部分，真的很重要嗎？先天或后天失去一只手臂的人通常會佩戴假肢，事實證明他們說話時也會用這些假肢做手勢。但他們做手勢的頻率和健全人有所不同。調查問卷結果顯示，那些把假肢當作自己身體的一部分的人會更多地使用假肢做手勢，而那些認為假肢不是身體一部分的人則不會頻繁地做手勢。這個發現的有趣之處在于兩點。首先，人機交互從業者可以通過穿戴人用假肢做手勢的次數來衡量其對新手臂的掌控程度，這也是人機交互領域的終極目標。由于從未被明確當作任務的一部分，做手勢正好可以用來衡量具身性，而且具有公正性和可操作性。其次，只要你的手臂（無論是自然還是人造）是身體的一部分，你就會用它做手勢。27

很顯然，你的手勢可以調動你的身體，那么看他人的手勢會有同樣的效果嗎？當你看到別人對某個對象做出某種行為時，你的神經回路會和你親自做出這一動作的神經回路有所重疊。我們把這種重疊的神經元稱為“鏡像神經元”。如果你的運動系統正在執行一個動作，而你正試圖理解他人執行的相同動作，你用于理解該動作的運動資源就會減少，你的表現就會受到影響。28

我們運用相同的邏輯來理解觀看他人做手勢是否也有同樣的效果。我們請成人受試者完成一項需要理解說話者手勢信息的任務，同時移動他們的手臂和手，或者腿和腳（這樣便可以占據不同的運動資源）。移動手臂和手會加大他們理解說話者手勢的難度，然而移動腿和腳卻不會。所以，移動手臂和手——而不是腿和腳——會阻礙你使用說話者手勢所傳達的信息。對他人手勢的理解，至少是在部分程度上依賴于你自己的運動系統。29

做手勢可以促進抽象概念的理解。手勢和行為都會對認知產生影響，但兩種影響不盡相同。針對物體的行為直接影響著世界。你擰開一個瓶蓋，瓶蓋就會掉落。但是，如果你在瓶蓋周圍（而不是瓶蓋上）做手勢，瓶蓋則不會有位置的變化。當然，除非有人把你的手勢當成要求他們擰開瓶蓋的請求，并且他們也照做了。而這正是問題的關鍵。行為會直接導致瓶子被打開，而手勢則會通過其交際和具象屬性產生間接影響。這一區別或許意味著手勢和行為有著不同的功能。

我之前的一位學生米里亞姆·諾瓦克主導了一個實驗探索這一可能性，她采取的方式是教9歲或10歲的孩子用三種方法中的一種解數學等式問題。一個小組學習模擬分組法解題策略的動作。另外，兩個小組學習的動作屬于相同的解題策略，但分別使用具體的或抽象的手勢。實驗給出的題目是4+2+8=__+8，并用磁鐵數字在黑板上顯示出來。行為組的孩子們要拿起數字4和2，把這兩個磁鐵放在空格下方，以此模擬4+2并把總和填進空格。在具體手勢組，孩子們要做出拿起4和2的手勢，再做出把它們放到空格下的手勢。在抽象手勢組，孩子們要用食指和中指分別指向4和2，再用另一根手指指向空格。在上課前，我們要求所有的孩子在做這些動作的同時說：“我想讓兩邊相等。”課上，我們要求孩子們在嘗試解出每一道題前后都要說這句話并做出手部動作，而老師本人在課堂上則不做任何手部動作。

課后，所有孩子都進行了數學等式測試，而在這節課前他們從來沒有做對過等式問題。在解答與教學樣例形式相同的題目時——比如3+4+7=__+7——三個組都有所進步。這樣看來，行為和手勢都有助于學習。

但是，相同點僅此而已。行為組兒童不能舉一反三地解答其他形式的數學等式問題，比如3+4+7=3+__。因為僅把等式左邊的前兩個數字加起來放進空格是無法解出答案的。你必須真正理解等式的意義——等號兩邊數量相等——才能解出答案。行為組兒童答不出這類問題，而具體和抽象手勢組兒童卻能夠成功解答。

我們又對他們做了一個更泛化的測試：題目中沒有相同的加數——比如3+4+7=__+5。行為組兒童又一次無法解出答案。而這一次，一部分具體手勢組兒童也沒能解出，但抽象手勢組兒童則表現出色。手勢似乎能很好地幫助學習者從問題的細節中提取抽象概念，并對如何解決問題進行更深刻的思考。30

現在你可能會說，我們讓孩子們做出的行為并不典型：這些行為確實有對象，但是并沒有解決問題。所以，我們又進行了一次實驗。這一次由我之前的一位博士后學生伊麗莎白·維克菲爾德主導，她將使用行為法和手勢法教3歲和4歲的兒童學習新的動詞。我們告訴這些兒童“tiffing”的意思是捏住一個造型奇異的玩具的球狀部件。行為組兒童在一個紫色玩具上做出了捏的動作（左圖）。手勢組兒童在同一個玩具的附近——并非在玩具上——做出捏的手勢（右圖）。所有兒童都在他們做出動作的同時說出“tiffing”這個詞。

下課后，我們測試了孩子們對于新詞的掌握程度。兩組兒童都知道“tiffing”是指捏住被當作教具的紫色玩具。但當我們讓他們將“tiffing”類推到另一個可以捏住的橘色玩具時，行為組兒童的表現就比手勢組差了許多，尤其是當我們過了一周和四周后再次進行測試時，這種差距就更大了。通過手勢教學學會的兒童可以舉一反三，把這個詞類推到“捏”的一般意義上。而行為法教出來的孩子似乎想當然地認為“tiffing”是指捏那個紫色玩具，而不是“捏”的一般意義。他們并沒有錯，只是循規蹈矩，在歸納超出學習情境的知識方面較為遲鈍。31

行為和手勢都可以幫助你學習。但是，手勢可以幫你歸納超出特定學習情境的知識。行為和手勢也都能使身體參與到認知中來，也同樣有助于促進學習。但要想解釋為什么手勢比行為更有助于概括，我們需要超越身體。

做手勢可以填補話語的縫隙。我們已經論證了語言是受規則支配的，并將信息打包，分門別類。你所說的某種語言已經有了既定的類目，這也讓傳達特定類型的信息變得簡單。但這些類目可能會遺漏你想要表達的內容。比如，當你說“杯子在牛奶旁邊”這句話時，你就在暗示杯子和牛奶并排擺放。但你并沒有說明兩者之間相距多遠；它們可能離得很近，也可能離得很遠。這時，你就可以用手勢加以說明。這同樣適用于“上方”這個方位詞。你可以說：“麥片盒在糖的上方。”但是，這句話并沒有告訴我麥片盒是在糖的正上方還是右上方，或者是左上方。當然，你可以多說幾個詞來說明，但手勢也可以起到相同的作用，而且可能效果更好。

手勢可以讓你給畫面填充一些想法，這些想法很難融入你的語言所提供的預先打包的單位，從而讓一種不完美的語言對當下的說話者或傾聽者更為有用。這種定制產生的原因可能是，手勢可以輕松表達出語言需要很多個單詞才能表達的想法，就像那些描述物品方位的例子，也可能是因為你當時不知道如何用話語表達想法。回想一下前文中學習化學的人的例子，他們當時還不能將“旋轉”與立體異構體聯系起來，卻可以做出旋轉的手勢。還可能是因為你不方便在話語中表達出某個觀點，就像那個信誓旦旦的朋友，他堅稱男性和女性具備相同的領導能力，卻把代表男性的手勢放得比代表女性的高。手勢可以暴露你所持有，但沒有在話語中表達出來的觀點。

手勢可以展現畫面中暗含的，卻難以言表的信息。空間思維專家瑪麗·赫嘉蒂和她的同事一起研究了手勢在精神動畫方面的作用。他們給成人受試者展示了機械系統的示意圖，并讓他們厘清系統每個部分的運動方式。受試者在回答90%的問題時都使用了手勢，而且大部分以手勢描繪的機械運動并沒有在他們的話語中出現，也沒有明確出現在示意圖中。對于說話者來說，手勢是一種自然的方式，讓他們可以表達從一張機械系統的示意圖獲得的對該系統的推斷。32

這一討論把我們帶回了手勢與圖片的對比。手勢較于圖片的優勢在于可以將動態融入自己的形式。數學涉及移動和變換數字，但這些移動和變換并未明確表現在數學等式中。拉斐爾·努涅茲以他的數學與手勢的研究著稱，他讓數學系研究生兩兩一組在黑板上證明數學定理。其中一些定理涉及動態數學的概念——比如遞增函數、連續性和相交。另一些則涉及相對靜態的概念——比如包含和近似。每一組學生基本上都完整地寫出了證明過程，僅一名學生以外的所有人都做了手勢。這些手勢之后被編為動態組（有位移的手勢）和靜態組（沒有位移的手勢）。33

如我們所料，講解動態概念（遞增函數、連續性和相交）時的手勢含有位移，而講解靜態概念（包含和近似）時的手勢則沒有。比如，一個用集合符號演算不等式的學生說：“所以，這一矛盾……嗯……遞增。”當他的手向上抬的時候，食指伸出像是循著一條路。這名學生是在他寫下一列方程后做出的這些手勢。他的手勢告訴我們，盡管他的敘述中沒有動作，但他對遞增函數的理解本質上是動態的。或者說，他將遞增函數和序列定義為動態實體，而且我們也能從他的手勢中察覺到這一點。完全用靜態術語定義的微積分概念也被高等數學家定義為動態概念，而且可以從他們的手勢中看到這種動態。值得注意的是，用動態手勢描述靜態模型的老師，其實是在用手勢揭示數學概念的動態本質。如果學生可以努力捕捉到老師手勢中的含義（我們知道他們可以），他們將獲得這些只能從手勢中找到的數學概念方面的重要指導。34

手勢就是完美風暴

所以，你究竟為什么在說話時做手勢？我們并不真的清楚答案，但我們有很多好的線索。行為是促使我們做手勢的部分機能，但并非全部。而且手勢擁有許多功能。無論你是否愿意，手勢都會和傾聽者交流信息。同樣，無論你是否愿意，手勢都會幫助（或傷害）你。我們尚不能確定手勢是否會影響你說的話，但它的確會影響你的思維。做手勢可以助你專注，并整合你的想法；做手勢可以幫你記住你做過手勢的信息；做手勢幫你減輕認知負荷；做手勢會外化你的想法并把它們嵌入空間架構，這也為依托于空間認知運作的應用做了鋪墊；做手勢為思維帶來了第二種感官模式，而兩種感官通常要強于一種；做手勢為思維帶來了第二種表現形式，這一形式也讓傳達意象信息變得相對容易；做手勢使身體參與到認知中來，可以幫你學習許多任務；做手勢促進對抽象概念的理解，并且更有效率地比照實物做相同的動作；做手勢可以填補口語的縫隙（應該也可以填補手語的），并且尤其擅長將感知-運動信息引入表征和對話。沒有一個單一的功能可以定義手勢。

手勢所能起到的每個功能都可以由其他設備替代。例如，熒光筆可以集中你的注意力，圖片可以為思維帶來第二種表現形式，表演讓身體參與感知。但是，手勢的獨特之處在于它是能夠同時起到這樣的以及那樣的作用。事實上，也正因如此，手勢才可能成為一個強有力的教學工具。手勢是一場完美風暴，因為它是一個獨特的環境組合，可以徹底改變一個活動——在這里指學習活動。雖然“風暴”一詞通常用于描述破壞性的現象，但我在這里用它來描述各種因素強大而自然的合力。在某些情況下，“少”可能就是“多”，但手勢可以同時對你的認知產生這么多不同的影響，這一事實表明，在這種情況下“多”就是“多”——手勢將所有這些因素結合在一起，帶來了一場完美風暴。