中文版自序

我很高興能為《新媒體的語言》的中文版作序。在序言中，我想向讀者展示我的學(xué)術(shù)歷程，這樣，讀者就能知道我為何開始研究“新媒體”、為何寫了這本書，以及在這本書出版之后我的觀念是如何進(jìn)一步發(fā)展的。

在十七歲那年，我讀了一本書，這本書塑造了接下來的幾十年中我在智識(shí)之路上的方向。這本書是尤里·洛特曼（Yuri Lotman）的《藝術(shù)文本的結(jié)構(gòu)》（Struktura khudozhestvennogo teksta，1971）。¹雖然洛特曼專注于文學(xué)文本的符號(hào)學(xué)分析，但對(duì)我而言，他啟發(fā)了我：我們可以用類似的方法來研究視覺藝術(shù)和媒體。藝術(shù)形象中的元素和結(jié)構(gòu)是什么，它們?nèi)绾螞Q定這種形象的意義、審美影響和價(jià)值？此后不久，我讀了魯?shù)婪颉ぐ⒍骱Ｄ罚≧udolf Arnehim，又譯魯?shù)婪颉垡驖h姆）的《藝術(shù)與視知覺》（Art and Visual Perception，1954）²和謝爾蓋·愛森斯坦（Sergei Eisenstein）對(duì)電影《亞歷山大·涅夫斯基》（Alexander Nevsky，1938）的開場段落中視聽蒙太奇的分析。這些理論家的著述讓我越發(fā)迷戀這樣一種觀念，即我們可以非常詳細(xì)地分析藝術(shù)作品中的多個(gè)視覺維度，甚至可以預(yù)測觀眾的審美反應(yīng)。

二十多歲的時(shí)候，我逐漸意識(shí)到這一觀念的極端困境，也最終意識(shí)到其理論上的不可能性。與使用自然語言的文學(xué)文本相比，在大多數(shù)情況下，圖像都不是由被預(yù)定義元素的詞匯表構(gòu)建的（交通信號(hào)燈系統(tǒng)是極少數(shù)的例外情況之一）。藝術(shù)圖像也沒有通用的語法。因此，想要發(fā)展出一套可以涵蓋所有可能的圖像元素和組合方式的視覺符號(hào)學(xué)，是不可能完成的任務(wù)。相反，我們必須區(qū)別對(duì)待每個(gè)圖像（或一系列相似的圖像），來理解它的“元素”構(gòu)成。例如，如果我們?cè)诮芸诉d·波洛克（Jackson Pollock）的表現(xiàn)主義繪畫中略微改變某些線條的形狀或顏色，觀眾將不會(huì)注意到這些變化，因?yàn)樗漠嬛杏谐砂偕锨Р煌螤詈皖伾木€條。但約瑟夫·阿爾貝斯（Joseph Albers）的作品《正方形的禮贊》（Homage to the Square，1949）系列³僅由幾種不同顏色的正方形組成，即使我們非常輕微地改變某一形狀的大小、亮度、飽和度或色調(diào)，都會(huì)改變整個(gè)作品。那些在波洛克畫作中并不明顯的、無關(guān)緊要的改變，在阿爾貝斯的作品中會(huì)顯得極為醒目、牽一發(fā)而動(dòng)全身。

但是，我沒有放棄使用符號(hào)學(xué)來理解視覺媒體，而是開始把注意力轉(zhuǎn)移到了對(duì)我來說更簡單而且更緊迫的項(xiàng)目上。我不再試圖去理解“舊媒體”（例如繪畫）單個(gè)藝術(shù)作品中的象征元素、它們之間的相互作用、對(duì)觀眾的影響，我開始思考“新媒體”的全新藝術(shù)維度。“新媒體”這個(gè)術(shù)語在1990年左右出現(xiàn)，指基于計(jì)算機(jī)的文化作品（我于1984年開始從事計(jì)算機(jī)圖形和動(dòng)畫的專業(yè)工作）。我們可以像討論“舊媒體”一樣，討論新媒體的視覺維度，如色彩、構(gòu)圖、節(jié)奏。實(shí)際上，20世紀(jì)20年代，蘇聯(lián)的高等藝術(shù)暨技術(shù)學(xué)院和德國的包豪斯學(xué)院逐漸形成了一套設(shè)計(jì)語言，并將其發(fā)展成為教學(xué)系統(tǒng)，這套語言非常適合描述新媒體的視覺特征。但新媒體也有了新的維度，如交互性、交互界面、數(shù)據(jù)庫組織、空間導(dǎo)航，同時(shí)出現(xiàn)了一系列新的創(chuàng)作范式，如編寫代碼、使用篩選器（filters）、數(shù)字合成和3D建模。我在20世紀(jì)90年代的研究和出版物中都側(cè)重于分析這些維度和范式，這些工作成果最終匯集成了《新媒體的語言》一書（完成于1999年，英文版于2001年出版）。⁴

在20世紀(jì)90年代，對(duì)“新媒體”的質(zhì)詢是我的主要研究焦點(diǎn)，我也逐漸開始思考“媒體”本身的概念在數(shù)字時(shí)代會(huì)發(fā)生什么變化。數(shù)字媒體創(chuàng)作工具、編輯工具和工作流程正在逐步取代以前使用的各式各樣的文化工具。雖然藝術(shù)家們還在堅(jiān)持傳統(tǒng)的技法和工具，但在文化產(chǎn)業(yè)領(lǐng)域，油畫、素描、照片編輯、三維物體和三維環(huán)境的創(chuàng)建、圖形設(shè)計(jì)、媒體設(shè)計(jì)和聲音編輯等工作，現(xiàn)在都是通過軟件工具，如奧多比（Adobe）公司的Photoshop、After Effects，蘋果（Apple）公司的Final Cut，歐特克（Autodesk）公司的Maya，微軟（Microsoft）公司的Office和Avid公司的Pro Tools等實(shí)現(xiàn)的。這些工具如何塑造了當(dāng)代媒體和設(shè)計(jì)的美學(xué)？當(dāng)曾經(jīng)在不同媒體中使用的專業(yè)工具，被模擬并被引用到軟件中時(shí)，“媒介”的觀念會(huì)發(fā)生什么變化？探討不同的媒介是否還有意義？20世紀(jì)60、70年代的人創(chuàng)造了一系列構(gòu)成當(dāng)代媒體軟件基礎(chǔ)的概念和實(shí)用技術(shù)，他們的想法和動(dòng)機(jī)是什么？

這些問題引出了“文化軟件的符號(hào)學(xué)”（semiotics of cultural software）概念，我在我的第二本書《軟件掌管一切》（Software Takes Command，該書于2007年出版了第一個(gè)開源版，于2013年出版了修訂版⁵）中進(jìn)行了探討。由此，我的符號(hào)學(xué)歷程從嘗試?yán)斫庖曈X藝術(shù)的“工作機(jī)制”（20世紀(jì)80年代）發(fā)展到研究新媒體的新美學(xué)維度（20世紀(jì)90年代），進(jìn)而探索如何將用于創(chuàng)作、分發(fā)和交互的各類軟件應(yīng)用程序和平臺(tái)進(jìn)化理論化（21世紀(jì)的頭十年）。但是，我最初的想法并不是這些，而是描述組成視覺作品的元素和維度，并理解它們是如何被我們的感官和大腦處理，從而生產(chǎn)意義和情感的。2005年，我意識(shí)到可以換一種路徑來實(shí)現(xiàn)這個(gè)想法。以前，我只專注于思考單個(gè)視覺作品，而現(xiàn)在，我可以使用計(jì)算機(jī)同時(shí)分析數(shù)百萬個(gè)視覺作品。這些作品囊括了從數(shù)字化的歷史文物到用戶生成的內(nèi)容（例如用戶在Flickr、Instagram、VK和其他社交媒體平臺(tái)上分享的圖片）。在20年代80年代中期，這種大規(guī)模的分析是不可想象的，而僅僅20年之后，它就成為現(xiàn)實(shí)。這一方面是因?yàn)橛?jì)算機(jī)速度的提升，另一方面也因?yàn)椤耙曈X文化”現(xiàn)在以數(shù)字形式大規(guī)模生成。

現(xiàn)在的數(shù)據(jù)分析不再依賴人工手動(dòng)進(jìn)行，而是由計(jì)算機(jī)使用計(jì)算機(jī)視覺（Computer Vision）和人工智能（Artificial Intelligence）領(lǐng)域的技術(shù)完成的。用計(jì)算機(jī)進(jìn)行分析的一大優(yōu)勢是，計(jì)算機(jī)可以使用我們自然語言中不存在的任意精度，來量化各種各樣的視覺元素，從圖像的顏色到自拍中的微笑程度。（例如，在我們實(shí)驗(yàn)室的2013年《自拍社會(huì)》項(xiàng)目中，我們按照1～100的程度使用軟件來量化微笑。⁶）這為我們提供了一種新的語言，使用自然語言無法實(shí)現(xiàn)的方式來描述文化圖像，并使我們更接近于視覺符號(hào)學(xué)的理想。

計(jì)算機(jī)的另一個(gè)優(yōu)點(diǎn)是可以定性地描述圖像的特征，或者描述圖像中沒有表現(xiàn)出明顯視覺“元素”的部分，例如波洛克作品中的色彩線條或阿爾貝斯作品中的正方形。這些特征包括漸變和紋理、照片的清晰度和模糊程度，或視頻中的運(yùn)動(dòng)速度。

我的研究方法經(jīng)歷了轉(zhuǎn)變，從研究單個(gè)視覺作品轉(zhuǎn)到了分析大量作品集合上，而這一轉(zhuǎn)變呼應(yīng)了我們體驗(yàn)視覺文化方式的轉(zhuǎn)變。對(duì)單件作品的研究和“細(xì)讀”在20世紀(jì)是合乎邏輯的，作為文化消費(fèi)者，我們也往往聚焦于單件作品。我們?nèi)ル娪霸嚎匆粓鲭娪埃ゲ┪镳^看某件特定的藝術(shù)品，或者在家里一遍又一遍地聽某一首歌。我們可用的媒體數(shù)量有限，我們會(huì)把大量時(shí)間花在單個(gè)作品上。記得少年時(shí)代，家中的藏書里有幾本關(guān)于藝術(shù)品的書，我把它們翻了好幾百遍。這些書中有一些特別觸動(dòng)我的現(xiàn)代藝術(shù)圖像，永遠(yuǎn)地鐫刻在我的記憶中。

現(xiàn)在的情形呢？Google、Yandex、YouTube、Instagram或Pinterest中的視覺搜索及推薦把無窮無盡的圖像和視頻推送到我們面前，而大型博物館的網(wǎng)站提供了大量藝術(shù)品和歷史文物的數(shù)字影像。視覺“訊息”或“符號(hào)”（使用符號(hào)學(xué)術(shù)語）現(xiàn)在再也不是孤立的，而是一個(gè)在我們看來無限大的系列中的一部分。（你知道每天人們分享的圖像有20億張嗎？如果這個(gè)數(shù)字是40億，你會(huì)注意到嗎？）

2007年，我建立了文化分析實(shí)驗(yàn)室，⁷一方面對(duì)“大數(shù)據(jù)”時(shí)代使用計(jì)算機(jī)研究視覺媒體進(jìn)行理論層面的思考，另一方面也研究具有各種可視化數(shù)據(jù)集的具體項(xiàng)目。在實(shí)驗(yàn)室研究的種種問題中，我想突出一個(gè)主題，因?yàn)樗c最初影響我的20世紀(jì)60、70年代的符號(hào)學(xué)想象有關(guān)。這個(gè)主題是一種“文化的科學(xué)”（science of culture）的可能性。

19世紀(jì)，不斷發(fā)展的特大城市中，人的聚集使得“社會(huì)”呈現(xiàn)出直接可見的形態(tài)，政府統(tǒng)計(jì)項(xiàng)目的增加使“社會(huì)”以另一種方式顯現(xiàn)出來，“社會(huì)學(xué)”的概念（關(guān)于社會(huì)的科學(xué)）也同時(shí)誕生。21世紀(jì)初，文化作品的數(shù)量暴增，人們與文化作品的互動(dòng)也越來越多，這些元素最終在網(wǎng)絡(luò)和社交媒體平臺(tái)上聚集起來，同時(shí)，收集數(shù)十億件作品并通過計(jì)算機(jī)進(jìn)行分析的相對(duì)簡單方法也出現(xiàn)了。無獨(dú)有偶，這些趨勢都指向了“文化的科學(xué)”（science of culture）這一概念。這類科學(xué)并不試圖去發(fā)現(xiàn)嚴(yán)格的“文化規(guī)律”（cultural laws），而是嘗試揭示各種文化模式。事實(shí)上，在過去十年，在計(jì)算機(jī)科學(xué)、信息科學(xué)和計(jì)算社會(huì)科學(xué)領(lǐng)域中，關(guān)于這個(gè)話題的出版物有成千上萬種。

我看到了這一范式與20世紀(jì)60年代符號(hào)學(xué)和結(jié)構(gòu)主義的聯(lián)系，因?yàn)檫@些范式很大程度上也是為了避免分析文化的印象主義化和主觀化，而是更具有方法論、體系性和科學(xué)性。因此，羅蘭·巴特（Roland Barthes）的經(jīng)典論文《攝影的訊息》（The Photographic Message，1961）讀起來就像一篇科學(xué)文章：“新聞?wù)站褪且粭l訊息。總的來說，這條訊息是由一個(gè)發(fā)射源、一個(gè)傳輸通道和一個(gè)接收點(diǎn)組成的。”⁸

這是否意味著：對(duì)文化數(shù)據(jù)進(jìn)行計(jì)算分析和建模，以及對(duì)這些數(shù)據(jù)進(jìn)行系統(tǒng)化和形式化的動(dòng)機(jī)，最終也將失去其能量和吸引力？因?yàn)槲覀儠?huì)逐漸認(rèn)識(shí)到，這些方法沒有充分地考慮文化產(chǎn)品和文化交互中所蘊(yùn)含的豐富性和個(gè)體性？或者，它會(huì)讓我們跳出20世紀(jì)符號(hào)學(xué)的局限嗎？時(shí)間會(huì)給出答案。

對(duì)我而言，處理“大文化視覺數(shù)據(jù)”（big cultural visual data）的主要?jiǎng)訖C(jī)是創(chuàng)建方法和工具，使我們首先能夠用眼睛看到這些數(shù)據(jù)。這并不意味著我要用統(tǒng)計(jì)模型或神經(jīng)網(wǎng)絡(luò)取代來生活中學(xué)到的關(guān)于文化和社會(huì)世界的一切，也不意味著我要用它們來取代所有從其他理論家那里學(xué)到的關(guān)于視覺媒體的思考方式，更不意味著我要用它們來取代我的直覺。但今天在我思考媒體之前，我需要能夠先看到它。當(dāng)人們每天分享數(shù)十億張圖像時(shí)，“看”這個(gè)基本行為就變得非常棘手。因此，在我的學(xué)術(shù)軌跡上，我從站在符號(hào)學(xué)角度，用裸眼輕松地觀看單件藝術(shù)品，走向了使用計(jì)算機(jī)“觀看”當(dāng)代媒體的交互界面設(shè)計(jì)和技術(shù)設(shè)計(jì)。考慮到數(shù)據(jù)的規(guī)模之大，使用計(jì)算機(jī)進(jìn)行“觀看”是必要的。

這是否意味著：我早年間的符號(hào)學(xué)計(jì)劃——認(rèn)識(shí)文化文本和文化對(duì)象的結(jié)構(gòu)是如何組織起來的，以及它們是如何產(chǎn)生審美效果的——已經(jīng)與我現(xiàn)在的研究方向無關(guān)了？或者單張圖像已經(jīng)不再重要了呢？完全不是這樣。Instagram上有來自世界各地的大量年輕用戶，他們會(huì)花好幾天時(shí)間來編輯自己想要發(fā)布的某張照片，為每一個(gè)像素絞盡腦汁。⁹單一性、獨(dú)特性和精心設(shè)計(jì)并沒有消失。我們?yōu)槭裁匆x這張圖，而不是選那張？為什么這個(gè)濾鏡，而不是那個(gè)濾鏡更能打動(dòng)我們？我們必須等到神經(jīng)科學(xué)得到充分發(fā)展的那一天，才能得知這些問題的準(zhǔn)確答案。因此，我們現(xiàn)在雖然可以定量、細(xì)致地描述藝術(shù)、媒體對(duì)象和情境中的組織結(jié)構(gòu)，但藝術(shù)如何“產(chǎn)生意義”和“發(fā)生影響”這一問題仍沒有答案。然而，我們是否真的想要去理解這些，就像我們想要了解愛情、欲望、記憶，以及人類經(jīng)驗(yàn)的其他維度那樣嗎？

列夫·馬諾維奇
2018年