多模態(tài)話語分析綜合框架.ppt

多模態(tài)話語理論與現(xiàn)代媒體技術(shù)在外語教學(xué)中的應(yīng)用 張德祿中國海洋大學(xué)外國語學(xué)院 1 1 0引言 話語分析轉(zhuǎn)入多模態(tài)話語分析階段 人類的實(shí)際交際過程 聽覺 視覺 觸覺并用伴語言特征 音響度 聲調(diào) 語調(diào) 音速等 身體特征 如手勢 身勢 面部表情 動(dòng)作 移動(dòng)等非身體特征 PPT 音響設(shè)備 網(wǎng)絡(luò) 實(shí)驗(yàn)室 周圍的環(huán)境因素等 首先 根據(jù)系統(tǒng)功能語言學(xué)理論嘗試建立一個(gè)多模態(tài)話語分析的綜合框架 然后 探討不同的模態(tài)及其之間的關(guān)系 第三 探討實(shí)現(xiàn)模態(tài)的不同媒體系統(tǒng) 最后 探討如何在外語教學(xué)中選擇模態(tài)和媒體 2 多模態(tài)話語 運(yùn)用聽覺 視覺 觸覺等多種感覺 通過語言 圖像 聲音 動(dòng)作等多種手段和符號(hào)資源進(jìn)行交際的現(xiàn)象 這種現(xiàn)象司空見慣 自古有之 如詩歌配上圖畫 說話時(shí)打手勢做鬼臉 使用不同口氣和腔調(diào)等 系統(tǒng)功能語言學(xué)是最適合于研究多模態(tài)話語的理論模式 其主要原因有以下三個(gè)方面 1 系統(tǒng)功能語言學(xué)不僅關(guān)心語言內(nèi)部的運(yùn)作機(jī)制 同時(shí)還研究語言外的環(huán)境和動(dòng)因 2 系統(tǒng)功能語言學(xué)把話語的意義和功能放在首要位置上 3 意義的實(shí)現(xiàn)是以多模態(tài)形式進(jìn)行的 語言只是這些形式中最有效的一種 3 2 0多模態(tài)話語分析的理論基礎(chǔ) 系統(tǒng)功能語言學(xué)理論本身不需要做任何改動(dòng)就可以直接作為其理論框架 這個(gè)框架主要由五個(gè)層面的系統(tǒng)和選擇的基本因素和條件組成 Martin 1992 這五個(gè)層面分別是 1 文化層面 意識(shí)形態(tài) 體裁 2 語境層面 話語范圍 話語基調(diào)和話語方式 3 意義層面 概念意義 人際意義和謀篇意義 4 形式層面 詞匯語法系統(tǒng) 視覺語法系統(tǒng) 聽覺語法系統(tǒng) 觸覺語法系統(tǒng)等 5 媒體層面 語言的和非語言 4 3 0多模態(tài)話語綜合框架初探 如上所述 系統(tǒng)功能語言學(xué)為多模態(tài)話語分析提供了一個(gè)相對現(xiàn)成的理論框架 這就是說 在語境和交際層面和話語意義層面 單模態(tài)的語言交際和多模態(tài)話語交際并沒有什么區(qū)別 李姆 Lim 2004 在研究圖畫與語言形成的多模態(tài)話語時(shí)提供了如下的框架 在這個(gè)框架中 語言和圖畫作為交際模態(tài)共有意識(shí)形態(tài) 體裁 語域和話語意義四個(gè)層面 在內(nèi)容層面 圖畫具有視覺語法 而語言則有詞匯語法 在表達(dá)層面 語言由印刷符號(hào)體現(xiàn) 圖形由圖形符號(hào)體現(xiàn) 在這里最主要的研究領(lǐng)域是把兩者在內(nèi)容層面和表達(dá)層面整合為一體 特別是在內(nèi)容層面研究的任務(wù)最重 5 6 這個(gè)框架是對語言與圖像所形成的多模態(tài)話語的分析框架 還不是一個(gè)對所有模態(tài)都適用的框架 但其基本思路是正確的 第一 他的層次的思想是正確的第二 不同的模態(tài)涉及由不同的媒體來體現(xiàn)第三 不同的模態(tài)需要整合在一起據(jù)此 我們根據(jù)韓禮德的系統(tǒng)功能語言學(xué)理論 和我們以上研究的結(jié)果 提出了如下的理論框架 見圖二 7 8 這個(gè)框架分為四個(gè)層面 文化層面 情景層面 內(nèi)容層面和表達(dá)層面 文化層面是使多模態(tài)交際成為可能的關(guān)鍵層面 意識(shí)形態(tài) 體裁 語境層面 話語范圍 話語基調(diào) 話語方式 實(shí)現(xiàn)所選擇的體裁 話語意義層面 概念意義 人際意義和謀篇意義 形式層面 視覺語法 聽覺語法 觸覺語法等 9 4 0多模態(tài)話語的形式及其關(guān)系 4 1多模態(tài)話語的形式媒體只有通過形式層面的組織和模式化才具有直接表達(dá)意義的能力 形式對媒介進(jìn)行組織有兩種手段 一是直接賦予某個(gè)媒介符號(hào)某種意義 由這種符號(hào)組成的符號(hào)系統(tǒng)通常沒有能產(chǎn)性 沒有任意性 二是把一定的媒介符號(hào)進(jìn)行組合 然后賦予這種組合一定的意義 這就是語法的作用 由這種符號(hào)和符號(hào)組成規(guī)則形成的符號(hào)系統(tǒng)具有任意性 能產(chǎn)性 雙分性 由三個(gè)層次的代碼組成 媒介 形式 詞匯語法 和意義 語言屬于這一類 語言 詞匯 語法圖像 圖符 圖形語法音響 音符 聲響語法接觸 實(shí)體 感觸語法 10 4 2多模態(tài)話語形式之間的關(guān)系運(yùn)用多模態(tài)的理由 一種模態(tài)不足以表達(dá)清楚交際者的意義 從而利用另一者來強(qiáng)化 補(bǔ)充 調(diào)節(jié) 協(xié)同 達(dá)到更加充分 或者盡量充分表達(dá)意義 讓聽話者理解話語的目的 關(guān)系 互補(bǔ)vs非互補(bǔ)互補(bǔ) 強(qiáng)化 突出 主次 擴(kuò)充 vs非強(qiáng)化 交叉 聯(lián)合 協(xié)調(diào) 非互補(bǔ) 交疊 冗余 排斥 抵消 vs內(nèi)包 部分 具體 vs語境交互 獨(dú)立vs依賴 11 12 5 0多模態(tài)話語的媒體系統(tǒng) 從多模態(tài)話語的角度 我們可以把媒體分為語言媒體和非語言媒體 3 1語言媒體傳統(tǒng)媒體 主要兩種 聲波傳導(dǎo)的聲音符號(hào)和由筆 毛刷等生成的書寫符號(hào) 其他媒體 隨著信息技術(shù)的不斷發(fā)展 其他技術(shù)開始用于語言信息的傳播 如計(jì)算機(jī)文字輸入 計(jì)算機(jī)語音識(shí)別等 但最后的傳播媒體仍然是聲音或者字符 伴隨語言的媒體形式 音響 聲音的大小 音調(diào) 聲音的頻率 口音 口氣等 以及字體形狀 大小 空間的布局等 13 3 2非語言媒體交際者肢體動(dòng)作和交際者在意義表達(dá)中所使用的其他非語言手段 如工具 環(huán)境等 1 交際者肢體的動(dòng)作可以分為三個(gè)類別 一 由頭部的移動(dòng)形成的動(dòng)作二 由手臂和腿形成的媒體符號(hào)三 軀干的動(dòng)作 如移動(dòng) 比劃 模擬等 2 非肢體媒體 工具和環(huán)境 工具 音響設(shè)備 PPT 網(wǎng)絡(luò)設(shè)備 到現(xiàn)在的網(wǎng)絡(luò)平臺(tái) 同聲傳譯室等都是工具性媒體 環(huán)境 環(huán)境中已有的任何相關(guān)因素 人和物 有象征意義的符號(hào)等 14 15 6 0模態(tài)選擇 6 1模態(tài)選擇程序?qū)Χ嗄B(tài)話語理論框架進(jìn)行選擇的基本程序是 意義選擇 在文化語境中 受意識(shí)形態(tài)的支配和體裁系統(tǒng)的制約 根據(jù)具體的情景語境 選擇要表達(dá)的意義 包括概念意義 人際意義和謀篇意義 意義體現(xiàn) 所選擇的意義要以合適的模態(tài)表達(dá)出來 即時(shí)的 口語 安靜的 手勢 同樣 對多模態(tài)的選擇也是受語境的制約的 噪音 聲音 手勢 16 不同模態(tài)之間的相互配合問題 語義表達(dá)的需要 交際的需要 我們在選擇中所要考慮的關(guān)鍵因素是在一定的情景中 如何選擇合適模態(tài)來有效地表達(dá)所要傳達(dá)的意義 模態(tài)與媒體基本上是形式和實(shí)體的關(guān)系 模態(tài)語法確定選擇什么樣的媒體 如視覺語法確定不同視覺媒體之間的相互配合 例如 課堂教學(xué) 熟悉的事物 語言講解 不熟悉的事物 講解 實(shí)物 圖像等 17 6 2模態(tài)選擇主導(dǎo)因素在外語教學(xué)中 主導(dǎo)模態(tài)選擇的基本因素是 話語范圍 所教授的課程的內(nèi)容 包括深度 難度 話語基調(diào) 老師的個(gè)人特點(diǎn) 學(xué)生的基本特點(diǎn) 交際目的 如傳授知識(shí) 提高能力 提高素質(zhì)等 話語方式 設(shè)備條件 教學(xué)環(huán)境 傳播渠道等 教學(xué)目標(biāo) 如是知識(shí)型的 講解 實(shí)例 書本 PPT 口頭講授 回答問題等方式 18 在這個(gè)教學(xué)模式中 要涉及模態(tài)內(nèi)部媒體之間的協(xié)作 如書本與PPT PPT通過色彩 光亮 突出的字體等來強(qiáng)調(diào)重點(diǎn)信息 而書本則可提供具體信息 補(bǔ)充PPT提供的框架中的具體信息 更重要的是視覺模態(tài)與聽覺模態(tài)的協(xié)作 從形式上講 每一種模態(tài)都可以是自足的 但只有多種模態(tài)協(xié)作才能收到更好的效果 這樣從兩種模態(tài)的關(guān)系上講 聽覺是主模態(tài) 主導(dǎo)交際的進(jìn)程 而視覺模態(tài)則對聽覺模態(tài)起主要兩個(gè)作用 強(qiáng)化和補(bǔ)充 19 6 3模態(tài)選擇的原則總體原則 充分利用現(xiàn)代媒體技術(shù) 最大限度地充分表達(dá)講話者的意義 取得最佳效果 為更好地利用現(xiàn)代技術(shù)提供一個(gè)合適的理論框架 基本思路 人類交際中意義的體現(xiàn)具有多模態(tài)特點(diǎn) 在形式層面涉及不同模態(tài)的詞匯語法系統(tǒng)之間的關(guān)系 形式層面由媒體來體現(xiàn) 現(xiàn)代媒體技術(shù)都主要是在媒體層面 所以充分利用好現(xiàn)代媒體技術(shù)是重要的研究課題 在多模態(tài)話語交際框架下 對模態(tài)的選擇可以從三個(gè)角度進(jìn)行 1 為外語教學(xué)提供教學(xué)情景和便利條件 工具 2 為外語教學(xué)提供輔助條件 助手 3 為多模態(tài)話語交際提供多通道話語意義表達(dá)方式 補(bǔ)充 20 6 3 1作為工具多媒體技術(shù)的發(fā)展實(shí)際上為提供盡可能真實(shí)的語境的提供了便利條件 可以提供圖像 錄像 聲音 作為學(xué)習(xí)的實(shí)際環(huán)境 利用從真實(shí)交際場合中得到的錄像材料作為 1 學(xué)習(xí)材料 讓學(xué)生了解和認(rèn)識(shí)真實(shí)語境的實(shí)際情況 使獲得的語境知識(shí)更加具體 2 背景信息 讓學(xué)生與錄像中的交際者在錄像提供的語境中進(jìn)行交際 發(fā)展現(xiàn)代多媒體技術(shù)的一個(gè)最基本的理念是多模態(tài)交際可以使受話人通過多通道獲得信息 比單模態(tài)話語更容易使受話者理解和記憶 如PPT 文字 語音 圖形 圖像 錄像 視覺和聽覺 21 6 3 2 作為助手為教師提供條件 使他的工作容易進(jìn)行 現(xiàn)代技術(shù)還可以從內(nèi)部提供動(dòng)力 使教師和學(xué)生從內(nèi)心愿意從事這種活動(dòng) 把外因轉(zhuǎn)化為內(nèi)因 第一 特殊的東西 大的東西 顏色艷麗或者濃的東西更能吸引人們的注意力 這就是突出 把事物前景化 例如 在教學(xué)中在PPT畫面上用藝術(shù)體 黑體 大體字 可以使文字突出 在文字中加上圖片可以更能引起學(xué)生的注意等 第二 美麗的東西 怪誕的東西 幽默的東西更能引起人們的興趣 提高學(xué)生的參與度 所以 在教學(xué)中 用現(xiàn)代技術(shù)提供美麗的圖片 幽默的簡筆畫 美麗的環(huán)境介紹可以使學(xué)生積極參與 注意力集中 第三 有挑戰(zhàn)性的環(huán)境 或?qū)沟沫h(huán)境 或者幽默的環(huán)境 可以激發(fā)人們參與的熱情 如提供一些有一定難度的破解題 謎題 描述一個(gè)對抗的語境 或者提供一項(xiàng)交際任務(wù)等 22 6 3 3 作為補(bǔ)充模態(tài)的選擇要以增加正效應(yīng)為原則 具體可以包括 互相強(qiáng)化 互相協(xié)調(diào) 前景背景 整體部分 抽象具體 等關(guān)系 1 強(qiáng)化關(guān)系用PPT顯示句子 Peterwaskilledinatrafficaccident 并可同時(shí)讀出這個(gè)句子 在PPT畫面上配上皮特發(fā)生車禍的照片 或者放一段發(fā)生車禍的錄像片 配上發(fā)生車禍?zhǔn)堑穆曇舻?2 協(xié)調(diào)關(guān)系協(xié)調(diào)關(guān)系是利用多模態(tài)之間的協(xié)調(diào)性 就是還原人類社會(huì)交際的本來面目 即由一種媒體不能獨(dú)自完成的交際任務(wù)可以由其他媒體來補(bǔ)充 例如 在講包括下面一個(gè)對話的故事時(shí) 如果沒有圖畫 我們會(huì)不知所云 1 BigNutbrownHare IloveyouashighasIcanreach LittleNutbrownHare Thatisquitehigh IwishIhadarmslikethat 但是如果我們配上圖畫就很容易了 而且還很幽默 23 24 3 前景背景關(guān)系第三種選擇多模態(tài)教學(xué)的依據(jù)是語言交際中的前景和背景的關(guān)系 在外語教學(xué)中 語言交際顯然都是處在前景中 由其他模態(tài)提供背景 例如 在戲劇的開始 首先出現(xiàn)一個(gè)布景 提供事件發(fā)生的時(shí)間 地點(diǎn) 環(huán)境 還可以包括人物等 4 整體部分 抽象具體 關(guān)系在多媒體時(shí)代 教師可以通過選擇合適的媒體來提供具體的信息 從而使學(xué)生能更清楚地理解所教的內(nèi)容 例如 當(dāng)你教授一種新奇的動(dòng)物或者植物時(shí) 你一般首先提供名稱 然后做些簡單的講解 學(xué)生仍然不知所云 但如果提供一個(gè)照片 如果條件允許的話 提供一段有關(guān)這種動(dòng)物或者植物的錄像 會(huì)使學(xué)生一目了然 25 6 3 4多模態(tài)選擇的目標(biāo)從經(jīng)濟(jì)的角度講 使用單模態(tài)要比用多模態(tài)要簡單 省力 所以使用多模態(tài)進(jìn)行交際必然要有一定的理由 組成這些理由的最主要因素是使用多模態(tài)的所要取得的效果或者目標(biāo) 形成多模態(tài)選擇的動(dòng)因可以總結(jié)為一下幾個(gè)方面 26 1 補(bǔ)缺 一種模態(tài)不足以表達(dá)意義 或不能使聽話者理解意義 用另一種來補(bǔ)充剩余的意義 即一種模態(tài)只能體現(xiàn)要表達(dá)的部分意義 另一部分需要通過另一種模態(tài)來體現(xiàn) 例如 在較遠(yuǎn)的距離內(nèi)或者噪雜的環(huán)境中喊叫某個(gè)人時(shí)同時(shí)打手勢 在幽默圖畫中只提供語境依賴性強(qiáng)的書面話語 或者在錄像中提供同類口頭話語 圖畫沒有文字則不能把整體意義表達(dá)出來 同樣錄像沒有口頭話語也會(huì)使看者一頭霧水 2 強(qiáng)化 一種模態(tài)表達(dá)整體意義 另一種來突出部分意義 例如 重音 黑體 前景圖像 彩色等 目的 使重點(diǎn)意義突出 27 3 吸引注意力 一種模態(tài)表達(dá)基本的意義 另一種來更加具體和形象地重現(xiàn)這種意義 例如 用文字標(biāo)出某個(gè)動(dòng)物或者植物的名稱 用圖像把這種動(dòng)物或者植物的典型形式表現(xiàn)出來 用語言藝術(shù) 圖像 動(dòng)作來幽默的表達(dá)意義 吸引聽話者的注意力等 形象幽默激發(fā)興趣目的 使讀者或聽話者把注意力轉(zhuǎn)移到話語交際上來 28 4 抒發(fā)情感 用一種模態(tài)來表達(dá)基本的概念意義 用另一種模態(tài)來表達(dá)人際意義 包括態(tài)度 情感 目的等 例如 在用文字描述游行事件的同時(shí) 用照片再現(xiàn)當(dāng)時(shí)的場景 用一定的角度和方式把警察表現(xiàn)為邪惡的人 或者用相同的方法把他們表現(xiàn)為英雄 都屬于這一類 喜愛憎恨目的 力圖左右聽話者或者讀者的態(tài)度和價(jià)值觀等 使其轉(zhuǎn)向有利于自己的觀點(diǎn)和態(tài)度 29 5 易理解 一種模態(tài)表達(dá)比較抽象 概括 偏僻 難度特別大 深?yuàn)W道理或者結(jié)論等 用另一種模態(tài)來提供其實(shí)例 說明 關(guān)系等使理解更加容易 例如 在談?wù)擙垥r(shí) 在中國人頭腦中出現(xiàn)的形象是中國雄偉榮耀的 代表皇帝的龍 即使說的是西方的龍 如果不加說明 也是如此 用文字說明則需要很多的話語 但用圖形方式表現(xiàn)出來則十分容易理解 因?yàn)楦鶕?jù)形象本身我們就可以發(fā)現(xiàn) 西方的龍是邪惡的化身 這類多模態(tài)的用途還包括用表格表示數(shù)量和關(guān)系 用簡化圖表示理論框架 用流程圖表示進(jìn)程等 具體化 形象化 圖形化 關(guān)系化目的 使所交流的信息易于被聽話者理解和接受 避免模糊和不確定性理解 30 7 0結(jié)語 從上所述 系統(tǒng)功能語言學(xué)為多模態(tài)話語分析和研究提供了理論基礎(chǔ) 多模態(tài)話語可以從文化 情景 話語意義 語法 形式和媒介多個(gè)層次進(jìn)行研究 從媒體的角度講 各種不同的非語言媒體 特別是現(xiàn)代技術(shù)媒體 為話語交際提供了大量新的可選擇方式 它們可以通過不同的模態(tài)來實(shí)現(xiàn)話語的意義 在多模態(tài)話語中 不同模態(tài)的話語