《數(shù)字音視頻處理》全套教學(xué)課件

第1章

緒論第2章

聽視覺處理的腦機(jī)制第3章

音視頻信號獲取軟件及應(yīng)用第4章

音頻壓縮編碼第5章

圖像/視頻壓縮編碼第6章

數(shù)字音頻處理技術(shù)第7章

數(shù)字圖像/視頻處理技術(shù)第8章

基于內(nèi)容的音頻、圖像、視頻檢索技術(shù)第9章

數(shù)字音視頻技術(shù)的交叉應(yīng)用目錄全套可編輯PPT課件

第1章

緒論1.1數(shù)字音視頻基礎(chǔ)1.2數(shù)字音視頻系統(tǒng)的組成1.3數(shù)字音視頻技術(shù)的發(fā)展趨勢1.4本章小結(jié)本課件是可編輯的正常PPT課件

1.1數(shù)字音視頻基礎(chǔ)

數(shù)字音視頻技術(shù)是音視頻信息(如文本、圖形、圖像、聲音、動畫和視頻等)采集、獲取、壓縮、解壓縮、編輯、存儲、傳輸及再現(xiàn)等環(huán)節(jié)全部數(shù)字化的技術(shù)。數(shù)字音視頻技術(shù)的進(jìn)步推動了音視頻產(chǎn)品的發(fā)展，音視頻產(chǎn)品的數(shù)字化進(jìn)一步提高了產(chǎn)品的技術(shù)含量。本課件是可編輯的正常PPT課件

與傳統(tǒng)模擬技術(shù)相比，數(shù)字音視頻技術(shù)有以下特點：

(1)傳輸效率較高。

(2)信息傳輸、存儲靈活方便。

(3)信息傳輸、存儲的可靠性高。

(4)抗干擾能力強(qiáng)。

(5)有效保護(hù)信息和進(jìn)行版權(quán)管理。

(6)具有可擴(kuò)展性、可分級性和可操作性。

(7)便于與其他數(shù)字設(shè)備融合。

(8)易于集成化和大規(guī)模生產(chǎn)，其性能一致性好且成本低。本課件是可編輯的正常PPT課件

1.2數(shù)字音視頻系統(tǒng)的組成

數(shù)字音視頻信息系統(tǒng)模型如圖1-1所示。信源編碼和信源解碼統(tǒng)稱為信源編碼，主要解決有效性問題，只有通過對信源的壓縮、擾亂和加密等一系列處理，才能用最少的碼數(shù)去傳遞最大的信息量，使信號更適宜傳輸和存儲。信道編碼和信道解碼統(tǒng)稱為信道編碼，主要解決可靠性問題，旨在盡可能使處理的信號在傳輸/存儲過程中不出錯或少出錯，即使出錯了也要能自動檢錯和自動糾錯。本課件是可編輯的正常PPT課件

圖1-1數(shù)字音視頻信息系統(tǒng)模型本課件是可編輯的正常PPT課件

1.數(shù)字音視頻信息處理

1)信息處理

信息處理包括信息的獲取、交換、存儲，信息特征的提取與選擇，信息的分類與識別、傳遞、處理分析以及信息安全標(biāo)準(zhǔn)化技術(shù)等方面的內(nèi)容。

信息獲取是信息處理的基礎(chǔ)，主要包括界面接口技術(shù)和提取技術(shù)兩個主要方面。提取技術(shù)是指從已經(jīng)獲取的信號中提取感興趣的信息，它是信號處理技術(shù)的一種應(yīng)用。信息獲取的一般過程如圖1-2所示。其主要流程是：首先分析信息需求，即對所需信息進(jìn)行精確定位;其次對信息來源進(jìn)行選擇;隨后確定獲取信息所用的方法;最后對獲取的信息進(jìn)行評價。本課件是可編輯的正常PPT課件

圖1-2信息獲取的一般過程本課件是可編輯的正常PPT課件

音視頻信息的主要特征包括數(shù)字化特征、結(jié)構(gòu)特征、幾何特征和空時特性等。特征提取與選擇的主要任務(wù)是根據(jù)既定的識別任務(wù)，按照預(yù)先給定的判別準(zhǔn)則，選擇合適的特征，以便更好地完成分類與識別任務(wù)，因而特征的提取與選擇主要是一個統(tǒng)計優(yōu)化問題。

對于視覺和聽覺信息的識別，即語音識別、圖像識別或者文字識別等是音視頻信息處理中的重要部分，也是模式識別的主要內(nèi)容。本課件是可編輯的正常PPT課件

信息交換也稱為存儲和轉(zhuǎn)發(fā)交換，包括通過網(wǎng)絡(luò)從節(jié)點到節(jié)點的信息傳送。信息存儲是指將獲得的或加工后的信息保存起來，以備未來應(yīng)用。信息存儲不是一個孤立的環(huán)節(jié)，它始終貫穿于信息處理的全過程。信息安全也是信息處理的重要內(nèi)容。信息安全主要是指信息系統(tǒng)的信息不被泄露給非授權(quán)用戶、實體或供其使用。本課件是可編輯的正常PPT課件

2)信息的數(shù)字化處理

計算機(jī)系統(tǒng)能夠處理通過鍵盤接收到的字符信息，也能夠處理通過掃描儀、視頻接收器等接收到的圖像信息以及通過話筒或其他語音設(shè)備接收到的音頻信息等。但計算機(jī)并不能直接處理這些不同形態(tài)的信息，而必須先將這些信息數(shù)字化。信息的數(shù)字化是指通過計算機(jī)中的編碼轉(zhuǎn)換器把各種不同形態(tài)的信息轉(zhuǎn)換成機(jī)器能識別與運算的二進(jìn)制數(shù)字形式。數(shù)字化是計算機(jī)處理信息的基礎(chǔ)，數(shù)字化的重要手段就是利用數(shù)字信號處理技術(shù)對各種信號進(jìn)行數(shù)字化處理。本課件是可編輯的正常PPT課件

2.數(shù)字音頻信息處理系統(tǒng)

數(shù)字音頻信息處理系統(tǒng)是對音頻信號進(jìn)行采集、獲取、編碼、解碼、存儲、變換、合成、識別、理解、傳輸和編輯等處理的系統(tǒng)。數(shù)字音頻是一個關(guān)鍵且重要的概念，它可以用來表示聲音強(qiáng)弱的數(shù)據(jù)序列，并由模擬聲音經(jīng)抽樣(即每隔一個時間間隔在模擬聲音波形上取一個幅度值)、量化、編碼(即把聲音數(shù)據(jù)寫成計算機(jī)的數(shù)據(jù)格式)后而得到。模擬—數(shù)字轉(zhuǎn)換器可以把模擬聲音變成數(shù)字聲音;數(shù)字—模擬轉(zhuǎn)換器可以恢復(fù)出模擬聲音。本課件是可編輯的正常PPT課件

3.數(shù)字圖像/視頻處理系統(tǒng)

一般數(shù)字圖像/視頻處理系統(tǒng)包括圖像/視頻輸入設(shè)備、存儲設(shè)備、控制設(shè)備，用戶存/取通信設(shè)備，圖像/視頻輸出設(shè)備以及專用圖像/視頻處理設(shè)備等。不同的應(yīng)用環(huán)境，所需要的硬件設(shè)備、軟件環(huán)境也不同。

(1)圖像/視頻輸入設(shè)備：主要用于將待處理的圖像/視頻信號輸入系統(tǒng)裝置或者計算機(jī)等，如攝像頭、數(shù)字照相機(jī)、掃描儀、數(shù)字?jǐn)z像機(jī)、磁盤和視頻采集卡等多種靜態(tài)或動態(tài)圖像生成、存儲設(shè)備或裝置。本課件是可編輯的正常PPT課件

(2)圖像/視頻存儲設(shè)備：主要用于在處理視頻/圖像過程中對視頻/圖像信息本身和其他相關(guān)信息進(jìn)行暫時或永久保存，如U盤、RAM、ROM、硬盤和磁帶等。

(3)圖像/視頻控制設(shè)備：處理圖像/視頻過程中用到的相關(guān)控制設(shè)備，如鼠標(biāo)、鍵盤、操縱桿和開關(guān)等。

(4)用戶存/取通信設(shè)備：主要用于將圖像/視頻信號提取或存入視頻處理模塊。

(5)圖像/視頻輸出設(shè)備：主要用于將經(jīng)過系統(tǒng)或計算機(jī)處理后的圖像/視頻信號以用戶能感知的形式顯示出來，常見的有顯示器、打印機(jī)、繪圖儀和影像輸出系統(tǒng)等。本課件是可編輯的正常PPT課件

(6)專用圖像/視頻處理設(shè)備：主要用于對待處理的圖像/視頻信號進(jìn)行給定任務(wù)的處理。視頻處理設(shè)備一般可分為兩類：一類是軟件型視頻處理系統(tǒng)，即將視頻處理卡插入計算機(jī)，視頻處理卡中有專用硬件，而相應(yīng)的處理工作則由計算機(jī)軟件來完成;另一類是專用型計算機(jī)圖像/視頻處理系統(tǒng)，由專用硬件對圖像/視頻進(jìn)行處理。本課件是可編輯的正常PPT課件

4.數(shù)字音視頻系統(tǒng)的應(yīng)用

數(shù)字音視頻技術(shù)在娛樂與媒體行業(yè)中扮演著核心角色。在影視制作中，數(shù)字?jǐn)z像和編輯軟件使得制作過程更加高效和創(chuàng)新。流媒體服務(wù)，例如網(wǎng)易云音樂、YouTube和QQ音樂，利用數(shù)字音視頻技術(shù)提供高質(zhì)量的視聽內(nèi)容，而實時流媒體技術(shù)則讓全球觀眾能夠觀看體育賽事和音樂會等直播活動。本課件是可編輯的正常PPT課件

數(shù)字音視頻系統(tǒng)在教育和培訓(xùn)領(lǐng)域同樣發(fā)揮著重要作用。在線教育平臺，如Coursera和edX，通過視頻講座和互動教學(xué)視頻為全球?qū)W員提供學(xué)習(xí)資源，使人們足不出戶就能獲取到新的知識。企業(yè)培訓(xùn)中，數(shù)字音視頻技術(shù)用于制作和分發(fā)培訓(xùn)材料，互動式視頻培訓(xùn)課程增強(qiáng)了員工的學(xué)習(xí)效果。

在醫(yī)療領(lǐng)域，遠(yuǎn)程醫(yī)療通過視頻通話實現(xiàn)醫(yī)生和患者之間的遠(yuǎn)程診療，高質(zhì)量的視頻流使得醫(yī)生能夠清晰地觀察患者的癥狀。手術(shù)過程的實時直播不僅可用于醫(yī)學(xué)教育和專業(yè)培訓(xùn)，其生成的數(shù)字音視頻記錄還可幫助醫(yī)生分析和回顧手術(shù)過程，從而提高醫(yī)療水平。本課件是可編輯的正常PPT課件

在安全與監(jiān)控領(lǐng)域，視頻監(jiān)控系統(tǒng)廣泛應(yīng)用于公共安全和財產(chǎn)保護(hù)。數(shù)字?jǐn)z像頭和監(jiān)控系統(tǒng)的高分辨率視頻記錄為犯罪預(yù)防和偵查提供了重要依據(jù)。此外，交通管理中數(shù)字視頻技術(shù)可用于監(jiān)控交通流量和管理交通信號，交通事故的錄像記錄則可幫助調(diào)查和分析事故原因。

數(shù)字廣告對于廣告與市場營銷有著重要作用，其在互聯(lián)網(wǎng)上的廣泛使用提升了品牌曝光率和消費者參與度，互動式廣告視頻吸引用戶參與，提高了廣告效果。虛擬現(xiàn)實(VR)和增強(qiáng)現(xiàn)實(AR)技術(shù)依賴高質(zhì)量的數(shù)字音視頻系統(tǒng)提供沉浸式體驗，這些技術(shù)在廣告和產(chǎn)品展示中具有創(chuàng)新性應(yīng)用，帶來了全新的市場營銷方式。本課件是可編輯的正常PPT課件

公共服務(wù)領(lǐng)域也廣泛應(yīng)用數(shù)字音視頻系統(tǒng)。在數(shù)字博物館和展覽中，博物館和畫廊利用這些技術(shù)創(chuàng)建虛擬展覽，導(dǎo)覽視頻和互動展示則提高了參觀者的體驗。智能城市管理中，數(shù)字音視頻系統(tǒng)用于城市管理和公共服務(wù)，如智能交通、環(huán)境監(jiān)控和公共安全，提升了城市管理的效率和服務(wù)質(zhì)量。

數(shù)字音視頻技術(shù)作為電子信息領(lǐng)域數(shù)字化的關(guān)鍵組成部分，其應(yīng)用已經(jīng)滲透到廣播電視、計算機(jī)、通信、網(wǎng)絡(luò)等多個行業(yè)，對推動經(jīng)濟(jì)發(fā)展和社會進(jìn)步發(fā)揮著至關(guān)重要的作用。本課件是可編輯的正常PPT課件

1.3數(shù)字音視頻技術(shù)的發(fā)展趨勢

數(shù)字音視頻技術(shù)的主要關(guān)鍵技術(shù)為音頻和視頻的獲取、信源編碼技術(shù)和信道編碼技術(shù)、音頻處理、視頻處理。信源編碼技術(shù)包括視頻編碼技術(shù)和音頻編碼技術(shù)。視頻編碼技術(shù)的主要目的是在保證一定重構(gòu)質(zhì)量的前提下，以盡可能少的比特數(shù)來表征視頻信息。本課件是可編輯的正常PPT課件

音頻處理技術(shù)涵蓋了音頻合成、檢測、分類等關(guān)鍵技術(shù)，這些技術(shù)在提高音頻質(zhì)量和智能化處理方面發(fā)揮著重要作用。視頻處理技術(shù)的研究則集中在提高視頻質(zhì)量、增強(qiáng)視頻分析能力等方面，以支持更復(fù)雜的視頻應(yīng)用。

1.我國研究現(xiàn)狀

我國的音視頻技術(shù)通過引進(jìn)、消化、吸收、創(chuàng)新、國產(chǎn)化，走出了一條發(fā)展快、技術(shù)新的成功道路，不僅縮小了與國外先進(jìn)國家的差距，提高了廣大人民群眾的生活質(zhì)量，滿足了人們?nèi)找嬖鲩L的物質(zhì)文明和精神文明的需要，而且?guī)恿藝窠?jīng)濟(jì)持續(xù)、穩(wěn)定和健康發(fā)展。本課件是可編輯的正常PPT課件

我國的音視頻行業(yè)基本掌握了產(chǎn)品的設(shè)計技術(shù)和生產(chǎn)制造技術(shù)，能自行設(shè)計、制造出價廉物美、具有先進(jìn)水平的音視頻產(chǎn)品，我國也成為名副其實的生產(chǎn)、制造和出口大國，但與先進(jìn)國家相比，我國的音視頻技術(shù)仍有一定的距離。

我國建立了多個音視頻研究中心和實驗室，為音視頻技術(shù)的發(fā)展提供有力的技術(shù)

保

障

和

支

持。依托武漢大學(xué)建設(shè)的國家多媒體軟件工程技術(shù)研究中心(National

EngineeringResearchCenterforMultimediaSoftware，NERCMS)是多媒體軟件技術(shù)領(lǐng)域第一個國家級研究機(jī)構(gòu)。本課件是可編輯的正常PPT課件

2.國外研究現(xiàn)狀

在國外，視頻編碼技術(shù)的研究和發(fā)展正由一系列活躍的國際標(biāo)準(zhǔn)組織和企業(yè)推動。MPEG和VCEG作為歷史悠久的組織，通過聯(lián)合推出MPEG-2和H.264/AVC等標(biāo)準(zhǔn)，對行業(yè)產(chǎn)生了深遠(yuǎn)的影響。

AV1標(biāo)準(zhǔn)的技術(shù)創(chuàng)新包括混合編碼框架、塊劃分技術(shù)、幀內(nèi)預(yù)測和幀間預(yù)測等，這些技術(shù)顯著提高

了

視

頻

壓

縮

效

率。

整體來看，國外在視頻編碼技術(shù)領(lǐng)域的發(fā)展呈現(xiàn)出多元化、活躍的創(chuàng)新態(tài)勢，國際合作在推動技術(shù)進(jìn)步和應(yīng)用擴(kuò)展方面發(fā)揮了關(guān)鍵作用。本課件是可編輯的正常PPT課件

3.國內(nèi)外研究發(fā)展趨勢

目前，國內(nèi)外音視頻技術(shù)領(lǐng)域的關(guān)鍵技術(shù)和研發(fā)趨勢如下：

(1)先進(jìn)的數(shù)字信號壓縮編解碼技術(shù)：開發(fā)具有更高壓縮效率和更先進(jìn)算法的音視頻編解碼技術(shù)，以實現(xiàn)數(shù)據(jù)傳輸?shù)膬?yōu)化和存儲成本的降低。

(2)高效的數(shù)字信號調(diào)制解調(diào)技術(shù)：致力于提升數(shù)字信號的傳輸效率和質(zhì)量，通過改進(jìn)調(diào)制解調(diào)方法來減少傳輸過程中的信號損失和干擾。本課件是可編輯的正常PPT課件

(3)數(shù)字音視頻技術(shù)的市場化和高清電視的普及：加速將成熟的數(shù)字音視頻技術(shù)產(chǎn)品推向市場，并通過多種途徑，如衛(wèi)星電視直播接收、電纜電視傳輸系統(tǒng)、地面廣播以及互聯(lián)網(wǎng)流媒體服務(wù)，促進(jìn)高清電視技術(shù)的廣泛應(yīng)用，實現(xiàn)從模擬電視到數(shù)字電視的轉(zhuǎn)型。

(4)大容量存儲媒體的發(fā)展：推動存儲技術(shù)的創(chuàng)新，開發(fā)具有更大存儲容量的新型存儲媒體，包括高集成度的CMOS半導(dǎo)體存儲器、固態(tài)存儲器(SSD)以及采用藍(lán)光技術(shù)的高密度光盤等，以滿足日益增長的數(shù)據(jù)存儲需求。本課件是可編輯的正常PPT課件

(5)新型顯示器件的發(fā)展：正在積極研發(fā)具有更高清晰度、對比度和亮度的顯示器件，同時致力于降低成本并擴(kuò)大色彩再現(xiàn)范圍。除了已經(jīng)成熟的平面型陰極射線管(CRT)顯示器，當(dāng)前市場上還有液晶顯示屏(LCD)、等離子顯示屏(PDP)、有機(jī)發(fā)光二極管(OLED)等。此外，新型顯示技術(shù)，如量子點(QLED)、微型LED(Micro-LED)和柔性顯示屏也在探索中，以尋求更優(yōu)的顯示效果和應(yīng)用場景。本課件是可編輯的正常PPT課件

(6)電聲顯示屏和數(shù)字音頻技術(shù)的創(chuàng)新：正在發(fā)展新型電聲顯示屏和先進(jìn)的數(shù)字音頻技術(shù)，包括高靈敏度微傳聲器、基于傳聲器陣列的語言增強(qiáng)技術(shù)、說話定位技術(shù)以及多聲道回聲抵消技術(shù)等，以提升音頻捕捉和再現(xiàn)的質(zhì)量。

(7)數(shù)字音視頻技術(shù)在科研和生活中的應(yīng)用：數(shù)字音視頻技術(shù)正不斷拓展其在科研和日常生活中的應(yīng)用。這包括新技術(shù)和新算法的開發(fā)，以及它們在教育、醫(yī)療、娛樂和安防等領(lǐng)域的實際應(yīng)用研究，可以提高信息的獲取、處理和共享效率，同時也為用戶帶來更加豐富的互動體驗。本課件是可編輯的正常PPT課件

1.4本

章

小

結(jié)

本章介紹了數(shù)字音視頻系統(tǒng)的組成和應(yīng)用、數(shù)字音視頻領(lǐng)域的主要技術(shù)以及國內(nèi)外的研究發(fā)展趨勢，為后續(xù)分析數(shù)字音視頻技術(shù)奠定了基礎(chǔ)。本課件是可編輯的正常PPT課件第2章

聽視覺處理的腦機(jī)制2.1聽覺的生理基礎(chǔ)2.2視覺的生理基礎(chǔ)2.3本章小結(jié)本課件是可編輯的正常PPT課件

2.1聽覺的生理基礎(chǔ)

隨著信息化社會的發(fā)展，生命科學(xué)正逐漸成為信息科學(xué)領(lǐng)域最值得期待的學(xué)科。腦和神經(jīng)系統(tǒng)的信息加工和信息處理方式已成為信息科學(xué)家們著力研究的對象。而信息科學(xué)的一個重要組成部分就是語音信息處理，研究人員的主要目標(biāo)是使計算機(jī)語音識別能夠逼近聽覺感知過程，而對聽覺感知模型的研究正是實現(xiàn)這一目標(biāo)的途徑。本課件是可編輯的正常PPT課件

聽覺是一個接收、理解聲音信息的過程，是聽者對說話人所傳來的聲音信息進(jìn)行編碼的過程。感知是指作用于我們的聽覺感受器官的聲音的各種屬性在我們大腦中的反應(yīng)。聽覺感知模型研究是指用數(shù)學(xué)表達(dá)式對聽覺系統(tǒng)的特征和信息處理方式作出抽象和描述，從而構(gòu)成具有人類聽覺系統(tǒng)特性的語音信號處理系統(tǒng)。聽覺感知模型研究是一項跨學(xué)科的研究，它涉及生理聲學(xué)(研究聽覺器官和生理特征的科學(xué))、心理聲學(xué)(研究聲音的主觀感知與客觀參數(shù)間關(guān)系的科學(xué))、數(shù)理科學(xué)和信息科學(xué)等。本課件是可編輯的正常PPT課件

醫(yī)用人工耳蝸的研制與聽覺感知模型有關(guān)，但聽覺感知模型研究的最重要的意義在于它將為信息科學(xué)和計算機(jī)科學(xué)提供新的線索和新的思路。

能否有效地將人的聽覺處理機(jī)制融合到語音信號處理系統(tǒng)中，取得人們所期望的效果，取決于很多條件。首先，需要對聽覺系統(tǒng)的處理機(jī)制有足夠的理解；其次，對于聽覺系統(tǒng)的處理機(jī)制要能夠進(jìn)行有效的建模，并與相應(yīng)的語音處理系統(tǒng)有機(jī)地結(jié)合。本課件是可編輯的正常PPT課件

聽覺心理學(xué)實驗從宏觀角度研究聽覺行為與現(xiàn)象，研究人對聲信號和語言的主觀感受能力，包括頻率選擇性、聲音響度、基音、聲信號在時間和空間域的處理、聽覺模式的感知與語音處理。其主要研究方法是將人看成黑箱系統(tǒng)，由輸入(聲音刺激)和輸出(人的反應(yīng))考察聽覺系統(tǒng)的感知特性。本課件是可編輯的正常PPT課件

2.1.1聽覺感知模型的國內(nèi)外研究現(xiàn)狀

計算機(jī)語音識別系統(tǒng)需要聽覺感知模型研究解決的問題有：

①

如何提高語音識別系統(tǒng)在嘈雜環(huán)境中的魯棒性和準(zhǔn)確性?(人類聽覺系統(tǒng)可以在復(fù)雜的背景噪聲中有效地分辨出目標(biāo)語音，而計算機(jī)語音識別系統(tǒng)則往往受到噪聲的干擾而降低性能。)

本課件是可編輯的正常PPT課件

②

如何提高語音識別系統(tǒng)對不同說話人、不同口音、不同情感和不同語言的適應(yīng)性?(人類聽覺系統(tǒng)可以根據(jù)不同的語音特征和語境進(jìn)行靈活的調(diào)整和學(xué)習(xí)，而計算機(jī)語音識別系統(tǒng)則往往需要大量的標(biāo)注數(shù)據(jù)和訓(xùn)練時間來適應(yīng)新的場景。)

③

如何提高語音識別系統(tǒng)對語義和語用信息的理解和利用?(人類聽覺系統(tǒng)可以根據(jù)語義和語用信息來推斷和糾正語音識別的錯誤，而計算機(jī)語音識別系統(tǒng)則往往只關(guān)注字面上的匹配程度。)本課件是可編輯的正常PPT課件

自從1961年貝克西(Bekesy)揭示了內(nèi)耳基底膜機(jī)制以來，隨著聽覺心理和聽覺生理科學(xué)的發(fā)展，對于聽覺模型的研究出現(xiàn)了幾個高潮：

①20世紀(jì)60年代的物理模型，即對外耳、中耳和內(nèi)耳基底膜的物理特性的模型化，如對耳蝸管這種一端封閉短管的聲學(xué)特性進(jìn)行模塊化；

②20世紀(jì)70年代的神經(jīng)生理模型，即對內(nèi)毛細(xì)胞將聲波振動轉(zhuǎn)化為電脈沖發(fā)放的機(jī)理和特性的模型化及對聽覺神經(jīng)纖維電脈沖發(fā)放模式的模型化；

本課件是可編輯的正常PPT課件

③20世紀(jì)80年代的表征模型，即對于聲信號在聽覺系統(tǒng)中表征(Representation)模式的研究和模型化；

④20世紀(jì)90年代著名的聽覺模型，即美國麻省理工學(xué)院的Seneff模型；

⑤

近年來主要以注意選擇為主的聽覺模型。本課件是可編輯的正常PPT課件

1.注意的選擇理論

注意的選擇理論有以下四個。

1)過濾器理論

1958年，英國心理學(xué)家布羅德本特(Broadbent)根據(jù)雙耳分聽的一系列實驗結(jié)果，提出了一種解釋注意選擇作用的理論，即過濾器理論(FilterTheory)。

本課件是可編輯的正常PPT課件

2)衰減理論

過濾器理論得到了某些實驗結(jié)果的支持，但進(jìn)一步研究發(fā)現(xiàn)，這種理論并不完善。

特瑞斯曼的理論與布羅德本特的理論對過濾裝置的具體作用有不同的看法，但兩種理論又有共同的地方：①

兩種理論有相同的出發(fā)點，即主張人的信息加工系統(tǒng)的容量有限，所以，對外來的信息需要經(jīng)過過濾或衰減裝置加以篩選；②

兩種理論都假定信息的選擇過程發(fā)生在對信息的充分加工之前，只有經(jīng)過選擇以后的信息，才能進(jìn)一步加工和處理。本課件是可編輯的正常PPT課件

3)后期選擇理論

1963年，多伊奇(Deutsch)等人提出了選擇性注意的一種觀點——后期選擇理論，后由諾爾曼(Norman)加以完善。后期選擇理論認(rèn)為，所有進(jìn)入過濾或衰減裝置的信息是經(jīng)過充分分析的，因此對信息的選擇發(fā)生在加工后期的反應(yīng)階段。后期選擇理論也稱為完善加工理論、反應(yīng)選擇理論或記憶選擇理論。本課件是可編輯的正常PPT課件

4)多階段選擇理論

過濾器理論、衰減理論及后期選擇理論都假設(shè)注意的選擇過程發(fā)生在信息加工的某個特定階段。1978年，約翰斯頓(Johnston)等人提出了一個較靈活的模型，認(rèn)為選擇過程在不同的加工階段都有可能發(fā)生，這就是多階段選擇理論。這一理論的兩個主要假設(shè)是：①

進(jìn)行選擇之前的加工階段越多，所需要的認(rèn)知加工資源就越多；②

選擇發(fā)生的階段依賴于當(dāng)前的任務(wù)要求。多階段選擇理論看起來更有彈性，由于強(qiáng)調(diào)任務(wù)要求對選擇階段的影響，因而避免了過于絕對化的假設(shè)所帶來的問題。本課件是可編輯的正常PPT課件

2.注意的認(rèn)知資源理論

上述理論試圖解釋注意對信息進(jìn)行選擇的機(jī)制，而認(rèn)知資源理論是關(guān)于注意分配的，它從另一個角度來解釋注意，即注意是如何協(xié)調(diào)不同的認(rèn)知任務(wù)或認(rèn)知活動的。

不同的認(rèn)知活動對注意提出的要求是不相同的。注意的認(rèn)知資源理論有以下兩個。

1)認(rèn)知資源分配理論

認(rèn)知資源分配理論是由心理學(xué)家卡里曼(Kahneman)提出的，他認(rèn)為注意資源和容量是有限的。本課件是可編輯的正常PPT課件

2)認(rèn)知資源雙加工理論

在注意的認(rèn)知資源分配理論的基礎(chǔ)上，謝夫林等人在1977年進(jìn)一步提出了雙加工理論。雙加工理論認(rèn)為，人類的認(rèn)知加工有兩種：自動化加工和受意識控制的加工。本課件是可編輯的正常PPT課件

從研究范圍來看，目前對于聽覺模型的研究在發(fā)達(dá)國家都在進(jìn)行，如美國、日本、俄羅斯、英國、加拿大、德國和法國等，印度也開展了這方面的研究。我國起步較晚，但在國內(nèi)學(xué)者的努力下也取得了不錯的成果，如趙鶴鳴教授和周旭東教授于1994年9月提出了聽覺感知模型。目前國內(nèi)重點高校的研究小組對聽覺模型也開展了研究工作，如北京大學(xué)視覺與聽覺信息處理國家重點實驗室等。表2-1給出了國內(nèi)外知名聽覺模型研究機(jī)構(gòu)及其研究方向。本課件是可編輯的正常PPT課件

本課件是可編輯的正常PPT課件

2.1.2-人類聽覺系統(tǒng)簡介

1.人耳的結(jié)構(gòu)

耳朵是人類的聽覺器官，其作用就是接收聲音并將聲音轉(zhuǎn)換成神經(jīng)刺激。聲音感知是指將所聽到的聲音經(jīng)過大腦的處理后變成確定的含義。

人耳由外耳、中耳和內(nèi)耳三部分組成。圖2-1為人耳的結(jié)構(gòu)示意圖。其中，外耳、中耳和內(nèi)耳的耳蝸是聽覺器官。內(nèi)耳的前庭窗和半規(guī)管分別是判定位置和進(jìn)行平衡的器官。本課件是可編輯的正常PPT課件

圖2-1人耳的結(jié)構(gòu)示意圖本課件是可編輯的正常PPT課件

2.聽覺的形成

聲波經(jīng)外耳道傳到鼓膜，引起鼓膜振動，再經(jīng)過聽小骨的傳遞作用于前庭窗，引起前庭階外淋巴的振動，繼而振動耳蝸管中的內(nèi)淋巴，進(jìn)一步引起基底膜和螺旋器的振動?；啄さ恼駝右孕胁ǚ绞綇幕啄さ撞垦仄漤敳總鞑ィ乖撎幝菪鞯拿?xì)胞與蓋膜之間的相對位置發(fā)生改變，從而使毛細(xì)胞由于受刺激而產(chǎn)生微音器電位。后者激發(fā)耳蝸神經(jīng)產(chǎn)生動作電位，并經(jīng)過聽神經(jīng)傳入大腦皮層顳葉聽覺中樞，從而產(chǎn)生聽覺。圖2-2為聽覺產(chǎn)生模型。本課件是可編輯的正常PPT課件

圖2-2聽覺產(chǎn)生模型本課件是可編輯的正常PPT課件

2.1.3聽覺特性

人耳對不同強(qiáng)

度、不同頻率聲音的聽覺范圍稱為聲域。人耳能聽到的聲音頻率在20~20000Hz范圍內(nèi)。外耳具有一定長度的耳道，會對某段頻率產(chǎn)生共鳴，致使靈敏度提高，這個頻率段大約在3~5kHz。在人耳的聲域范圍內(nèi)，聲音聽覺心理的主觀感受主要有響度、音高、音色以及掩蔽效應(yīng)、高頻定位等特性。其中，響度、音高、音色可以在主觀上用來描述具有振幅、頻率和相位三個物理量的任何復(fù)雜的聲音，故又稱為聲音“三要素”。下面簡要介紹一下響度、音高、音色對聽覺的影響。本課件是可編輯的正常PPT課件

1.響度

響度又稱為聲強(qiáng)、音量或者聲壓級，它主要反映聲音能量的強(qiáng)弱程度，是由聲波振幅的大小決定的。聲音的響度一般用聲壓(單位為Dyn/cm2)或聲強(qiáng)(單位為W/cm2)來計量。

聲音呈現(xiàn)持續(xù)的時間也是影響響度的一個重要因素。恒定刺激法既可以用于測量絕對閾值又可以用來測量差別閾限。通常一個恒定的聲音刺激持續(xù)200ms或300ms時聽覺器官感覺強(qiáng)度會增強(qiáng)，也就是說，在很短的時間內(nèi)聽一個聲音的強(qiáng)度與在相對持續(xù)較長時間內(nèi)聽一個聲音的閾值是有區(qū)別的。聲音持續(xù)時間越短，閾值越高；持續(xù)時間越長，閾值越低。本課件是可編輯的正常PPT課件

2.音高

音高也稱為音調(diào)，是人耳對音調(diào)高低的主觀感受。音高主要取決于聲波基頻的高低，頻率高則音調(diào)高，頻率低則音調(diào)低。人耳對音高和頻率的感覺同樣有一個最低到最高的范圍，音高與頻率之間是非線性關(guān)系。此外，音高還與聲音的響度及其波形振幅變化有關(guān)。本課件是可編輯的正常PPT課件

3.音色

美國國家標(biāo)準(zhǔn)協(xié)會將音色定義為一種感官屬性，聽者可以根據(jù)它判斷出兩個具有相同的響度和音高的音是不相似的。它是由聲音波形的諧波頻率決定的。聲音波形包含的諧波的比例以及聲音頻率隨時間的衰減決定了聲源的音色。本課件是可編輯的正常PPT課件

2.1.4聽覺掩蔽

聽覺掩蔽效應(yīng)是指對較弱聲音的聽覺感受受到另一個較強(qiáng)聲音(掩蔽音)影響的現(xiàn)象。聽不到的聲音稱為被掩蔽音，而起掩蔽作用的聲音稱為掩蔽音。掩蔽音的實質(zhì)是掩蔽音的出現(xiàn)使人耳聽覺的等響度曲線最小可聞閾值被提高了。本課件是可編輯的正常PPT課件

下面詳細(xì)介紹不同聽覺刺激條件下的聽覺掩蔽效應(yīng)。

1.純音的掩蔽效應(yīng)

對于純音的聽覺刺激，產(chǎn)生的聽覺掩蔽效應(yīng)有如下規(guī)律：

①

對處于中等強(qiáng)度的純音來說，最有效的掩蔽音是出現(xiàn)在該頻率附近的純音；

②

低頻的純音可以有效地掩蔽高頻的純音，而高頻的純音對低頻的純音的掩蔽效應(yīng)則要弱一些。本課件是可編輯的正常PPT課件

2.復(fù)合音對純音的掩蔽效應(yīng)

如果掩蔽音為多頻率純音合成的寬帶復(fù)合音，被隱蔽音為純音，則產(chǎn)生的掩蔽音在低頻段一般高于高頻段的復(fù)合音，當(dāng)隱蔽音超過500Hz時，頻率每增加10倍，隱蔽音的輕度就增加10dB。如果掩蔽音為窄帶復(fù)合音，被掩蔽音為純音，則位于被掩蔽音附近的由純音組成的窄帶復(fù)合音的臨界頻帶產(chǎn)生的隱蔽作用最明顯。本課件是可編輯的正常PPT課件

3.實時與異步的聽覺掩蔽效應(yīng)

1)頻域掩蔽效應(yīng)

一個強(qiáng)純音會隱蔽在其附近同時發(fā)生的弱純音，這種特性稱為頻域掩蔽，也稱為同時掩蔽。在現(xiàn)實生活中，可以發(fā)現(xiàn)人耳在安靜的環(huán)境中能夠分辨出輕弱的聲音，但在嘈雜的

環(huán)境中，即使人耳感覺靈敏的聲音也會被淹沒。這種當(dāng)聆聽一個聲音的同時，由于被另一個聲壓級較強(qiáng)的聲音所掩蓋致使聽不到原始聲音的現(xiàn)象稱為聲掩蔽。由于頻率低的聲音在內(nèi)耳耳蝸基底膜上行波傳遞的距離大于頻率較高的聲音，故而低頻聲音容易掩蔽高頻率的聲音。本課件是可編輯的正常PPT課件

2)時域掩蔽效應(yīng)

除了同時發(fā)出的聲音之間有掩蔽現(xiàn)象之外，在時間上相鄰的聲音之間也有掩蔽現(xiàn)象，稱為時域掩蔽，也稱非同時掩蔽。時域掩蔽又分為前向掩蔽和后向掩蔽，前向掩蔽指掩蔽音作用在被掩蔽音之前，后向掩蔽指掩蔽音作用在被掩蔽音之后。非同時掩蔽的特點是：掩蔽音在時間上越接近于被掩蔽音，掩蔽量就越大，也就是說掩蔽效應(yīng)就越強(qiáng)。本課件是可編輯的正常PPT課件

當(dāng)掩蔽音與被掩蔽音在時間上比較靠近時，后掩蔽作用就要大于前掩蔽作用。當(dāng)掩蔽音的聲壓級提高時，所引起的掩蔽量并不是成比例增加的。例如掩蔽音的聲壓增大10dB，而掩蔽量僅增加3dB。至于同時掩蔽情況，其比例將大大超過此值。表2-2給出了同時與非同時掩蔽效應(yīng)的分類及其效果。本課件是可編輯的正常PPT課件

本課件是可編輯的正常PPT課件

3)其他聽覺掩蔽效應(yīng)

其他一些聽覺或者時間因素也可能引起聽覺掩蔽效應(yīng)。例如，當(dāng)兩個不同頻率的聲音分別作用于兩耳時，就會產(chǎn)生中樞掩蔽效應(yīng)。

聲音的掩蔽效應(yīng)是聽覺實驗中必須要注意和加以控制的重要因素。如果有同時或先后呈現(xiàn)的聽覺刺激導(dǎo)致聽覺掩蔽效應(yīng)，那么實驗結(jié)果的正確率、可靠性以及反應(yīng)速度都會受到影響。本課件是可編輯的正常PPT課件

2.1.5聽覺加工理論

人耳對語音的感知主要是通過語音信號頻譜分量幅度獲取的，因此對各分量相位并不敏感，對頻率高低的感受近似與該頻率的對數(shù)值成正比。人耳除了能夠感受聲音的強(qiáng)度、音調(diào)、音色和空間方位外，還能夠在兩人或兩人以上的環(huán)境中分辨出自己所需的聲音，這種分辨能力是人體內(nèi)部語音理解機(jī)制具有的一種感知能力。人類的這種分離語音的能力與雙耳輸入效應(yīng)有關(guān)，稱為“雞尾酒會效應(yīng)”。本課件是可編輯的正常PPT課件

聽覺加工理論有以下幾種。

1.聲音的頻率理論

最早解釋聽覺現(xiàn)象的理論是1886年物理學(xué)家盧瑟福提出的聲音頻率理論。頻率理論認(rèn)為，內(nèi)耳的基底膜是和鐙骨按相同頻率振動的，振動的數(shù)量與聲音的原有頻率是相適應(yīng)和一致的。本課件是可編輯的正常PPT課件

2.共鳴理論

共鳴理論(ResonanceTheory)是由郝爾姆霍茨(H.L.F.vonHelmholtz)提出來的。郝爾姆霍茨認(rèn)為，基底膜的橫纖維長短不同，靠近蝸頂較寬，因而就像一部琴的琴弦一樣，能夠?qū)Σ煌l率的聲音產(chǎn)生共鳴。本課件是可編輯的正常PPT課件

3.行波理論

行波理論是20世紀(jì)40年代生理學(xué)家馮·貝凱西(G.VonBekesy)在郝爾姆霍茨的共鳴理論的基礎(chǔ)上提出的新的理論，用來解釋人類的聽覺現(xiàn)象。行波理論認(rèn)為，聲波傳到人耳后引起基底膜的振動，基底膜振動從耳蝸底部的某一部位開始，當(dāng)振幅達(dá)到最大值時，振動就會停止并消失。本課件是可編輯的正常PPT課件

4.神經(jīng)齊射理論

神經(jīng)齊射理論(NeuralVolleyingTheory)是20世紀(jì)40年代由韋弗爾(E.G.Wever)提出的。該理論認(rèn)為，當(dāng)聲音頻率低于400Hz時，個別聽覺神經(jīng)纖維產(chǎn)生的神經(jīng)電頻率與聲音頻率一致；當(dāng)聲音頻率提高時，聽覺神經(jīng)纖維無法單獨對聲音作出反應(yīng)，此時，聽覺神經(jīng)纖維則按照神經(jīng)齊射理論發(fā)生作用。個別聽覺神經(jīng)纖維產(chǎn)生較低的頻率，它們聯(lián)合“齊射”，就可以對頻率較高的聲音作出反應(yīng)。本課件是可編輯的正常PPT課件

2.2視覺的生理基礎(chǔ)

2.2.1研究現(xiàn)狀人類通過人類視覺系統(tǒng)(HumanVisualSystem，HVS)來獲取外界圖像信息，當(dāng)光輻射刺激人眼時，將會引起復(fù)雜的生理和心理變化，這種感覺就是視覺(Vision)。視覺是人類認(rèn)識自然、了解客觀世界的重要手段，同時也是理解人類認(rèn)知功能的突破口。HVS是由大量神經(jīng)細(xì)胞通過一定的連接組成的一個復(fù)雜的信息處理系統(tǒng)，研究它的目的是感知視覺世界的空間存在，了解視覺世界的空間結(jié)構(gòu)、特點、組成以及它們的空間運動變化規(guī)律。本課件是可編輯的正常PPT課件

HVS的研究包括色度學(xué)、光學(xué)、視覺生理學(xué)、視覺心理學(xué)、神經(jīng)科學(xué)、解剖學(xué)和認(rèn)知科學(xué)等許多科學(xué)領(lǐng)域。人眼類似于一個光學(xué)信息處理系統(tǒng)，但它不僅僅是一個簡單的光學(xué)信息處理系統(tǒng)。從物理結(jié)構(gòu)看，HVS由光學(xué)系統(tǒng)、視網(wǎng)膜和視覺通路組成，其視覺信息處理模型如圖2-3所示。本課件是可編輯的正常PPT課件

圖2-3HVS視覺信息處理模型本課件是可編輯的正常PPT課件

人類視覺系統(tǒng)的許多獨特機(jī)制，給我們研究數(shù)字圖像處理等方面提供了一個很好的啟迪，可以利用這些特殊的性質(zhì)設(shè)計更好的圖像處理算法。這些特性大致可歸納為以下幾點：

(1)視網(wǎng)膜上神經(jīng)節(jié)細(xì)胞輸出的是目標(biāo)的特征信息，但由于神經(jīng)節(jié)細(xì)胞所占比例很小，因此視網(wǎng)膜在提取特征時的效率很高。這為特征提取、目標(biāo)識別等提供了一個很好的參考。

(2)人眼可以接受1010數(shù)量級的光強(qiáng)變化范圍，人眼的這種強(qiáng)適應(yīng)能力可利用圖像處理學(xué)的直方圖適應(yīng)性調(diào)整。本課件是可編輯的正常PPT課件

(3)人眼處于高頻率無意識的振動之中。實驗顯示，如果這種振動停止，人眼成像就會變得模糊，可見人眼的振動可確保獲取的圖像質(zhì)量，因此如何模擬眼球振動對圖像質(zhì)量的影響是改善圖像清晰度的一條比較有效的途徑。

(4)人眼可分辨比視網(wǎng)膜傳感器單元小得多的信息差別，因此可以利用人眼的這種超分辨特性來設(shè)計出較高精度的信息獲取系統(tǒng)。

(5)人眼具有廣闊視野的同時又具有局部分辨能力，可以使人們在對感興趣的目標(biāo)保持高分辨的同時，又對視野的其他部分保持警戒。這就為多目標(biāo)跟蹤提供了一個重要的參考。本課件是可編輯的正常PPT課件

(6)人類視覺系統(tǒng)是一個并行的多通道系統(tǒng)，視網(wǎng)膜中的神經(jīng)節(jié)細(xì)胞構(gòu)成了視覺系統(tǒng)進(jìn)行前端處理的若干個并行通道，分別承擔(dān)著不同的信息傳輸和處理功能。人類視覺系統(tǒng)的這種復(fù)雜并行結(jié)構(gòu)，在并行計算方面為我們提供了一個新的思路。本課件是可編輯的正常PPT課件

人類視覺的研究可分為基于視覺生理學(xué)(VisualPhysiology)和基于視覺心理學(xué)(VisualPsychophysics)方面的研究。其中，視覺生理學(xué)剖析了生物系統(tǒng)是如何實現(xiàn)視覺感知的，視覺心理學(xué)研究視覺感知和人類心理的相互關(guān)系。我們希望通過一系列深入研究設(shè)計出相應(yīng)的計算模型來還原視覺系統(tǒng)，進(jìn)而為計算機(jī)視覺及現(xiàn)代圖像處理技術(shù)提供理論基礎(chǔ)。本課件是可編輯的正常PPT課件

2.2.2-視覺感知

視覺研究是一個很大的研究領(lǐng)域。

1.視覺感知的生理學(xué)基礎(chǔ)

人類主要是通過視覺、觸覺、聽覺和嗅覺等來感知外部世界的，其中最主要的是視覺。人類感知的外界信息中80%以上來自視覺，讓計算機(jī)或機(jī)器人具有視覺是人類多年以來的夢想，也是人類科學(xué)研究中所面臨的最大挑戰(zhàn)之一。雖然，目前還不能讓計算機(jī)像生物那樣也具有高效靈活的視覺，但這種希望正在逐步被實現(xiàn)。

本課件是可編輯的正常PPT課件

視覺皮層包括很多區(qū)域并按照一定的層次結(jié)構(gòu)進(jìn)行組織，圖2-4為視覺通路的層次結(jié)構(gòu)。圖2-4視覺通路的層次結(jié)構(gòu)本課件是可編輯的正常PPT課件

視覺系統(tǒng)是神經(jīng)系統(tǒng)的一個組成部分，它使物體具有了視知覺能力。人類視覺系統(tǒng)示意圖如圖2-5所示，主要包括以下幾個部分。本課件是可編輯的正常PPT課件

圖2-5人類視覺系統(tǒng)示意圖本課件是可編輯的正常PPT課件

1)眼睛

圖2-6所示是人眼球剖面圖。眼的前方被一層稱為角膜(Cornea)的透明表面所覆蓋，表面的其余部分稱為鞏膜(Sclera)，它由包圍著脈絡(luò)膜(Choroid)的纖維外殼組成。脈絡(luò)膜的內(nèi)側(cè)是視網(wǎng)膜(Retina)，它由桿狀和錐狀細(xì)胞兩種接收器組成，連到視網(wǎng)膜的神經(jīng)通過光神經(jīng)束而離開眼球。進(jìn)入角膜的光線通過水晶體(相當(dāng)于透鏡)十字聚焦到視網(wǎng)膜上。水晶體在肌肉控制下改變其形狀，以執(zhí)行聚焦功能。虹膜(Iris)的作用就如同照相機(jī)的光圈一樣，控制進(jìn)入眼睛的光通量，虹膜又稱為瞳孔。本課件是可編輯的正常PPT課件

視網(wǎng)膜中的桿狀細(xì)胞是長而薄的接收器，而錐狀細(xì)胞一般短而厚。桿狀細(xì)胞比錐狀細(xì)胞更具有光靈敏度。在低照度下，桿狀細(xì)胞提供被稱為“微光視覺”的視覺響應(yīng)，但它沒有色覺；錐狀細(xì)胞則提供被稱為“亮視覺”的視覺響應(yīng)，它有色覺。視網(wǎng)膜上分布著約650萬個錐狀細(xì)腦和1億個桿狀細(xì)胞。在靠近光神經(jīng)束的被稱為“黃斑區(qū)”的中心凹(Fovea)處錐狀細(xì)胞的密度最大，這是最尖銳的亮視覺區(qū)，色覺很強(qiáng)。在緊靠光神經(jīng)束的地方，有一個既無桿狀細(xì)胞也無錐狀細(xì)胞的區(qū)域，稱為“盲點”。本課件是可編輯的正常PPT課件

錐狀細(xì)胞和桿狀細(xì)胞的光覺和色覺不同，說明了在觀看明亮的物體時，依靠錐狀細(xì)胞工作，色覺很強(qiáng)；而在觀看夜晚微光情況下的物體時，依靠桿狀細(xì)胞工作，沒有色覺，只有灰度不同的感覺。本課件是可編輯的正常PPT課件

圖2-6人眼球剖面圖本課件是可編輯的正常PPT課件

2)視網(wǎng)膜

人眼中最重要的視網(wǎng)膜實際上是由許多種神經(jīng)細(xì)胞組成的復(fù)雜的神經(jīng)系統(tǒng)。在厚約250pm的無色透明的薄膜內(nèi)，無間隙地排列著視細(xì)胞層、雙極(Bipolar)細(xì)胞層、神經(jīng)節(jié)(Ganglion)細(xì)胞層(即下、中、上三層)以及水平(Horizontal)細(xì)胞層和無長突細(xì)胞層。前述視細(xì)胞即錐狀細(xì)胞和桿狀細(xì)胞作為光電變換器件，從光的入射方向看是處在最遠(yuǎn)的一層，它的輸出經(jīng)雙極細(xì)胞傳送到作為視網(wǎng)膜輸出細(xì)胞的神經(jīng)節(jié)細(xì)胞。水平細(xì)胞和無長突細(xì)胞則是在其間對信號進(jìn)行某種處理。本課件是可編輯的正常PPT課件

這些神經(jīng)細(xì)胞之間并不足以一對一相

耦合，而是在“突

觸(Synapse)”處的特定領(lǐng)域與特定的神經(jīng)細(xì)胞相耦合。神經(jīng)節(jié)細(xì)胞收到的是處理過的模擬信號；但是由神經(jīng)行細(xì)胞經(jīng)過神經(jīng)纖維(OpticNerveFibers)輸出到神經(jīng)中樞(腦)的則是脈沖密度調(diào)制的脈沖信號。在接收信號的中樞細(xì)胞上，由于積分作用，將脈沖密度調(diào)制信號解調(diào)成模擬信號。本課件是可編輯的正常PPT課件

人們早已清楚視網(wǎng)膜的基本結(jié)構(gòu)，但對它的各類神經(jīng)細(xì)胞的機(jī)能研究，只是利用微小電極的探針、放大器及示波器等電子設(shè)備，進(jìn)行動物實驗，進(jìn)一步外推到人的視覺機(jī)制上而得到相關(guān)結(jié)論的。視網(wǎng)膜結(jié)構(gòu)圖如圖2-7所示。本課件是可編輯的正常PPT課件

圖2-7視網(wǎng)膜結(jié)構(gòu)圖本課件是可編輯的正常PPT課件

它主要由以下幾個方面構(gòu)成：

(1)視細(xì)胞。人們發(fā)現(xiàn)，把微小電極插入鯉魚的錐狀細(xì)胞中，可成功地記錄視細(xì)胞對光的反應(yīng)，其內(nèi)部電位因光的作用而有負(fù)方向的變化。

(2)雙極細(xì)胞。與視細(xì)胞不同，雙極細(xì)胞的反應(yīng)有兩種形式：一種與視細(xì)胞的反應(yīng)一樣，是負(fù)極性的，稱為“OFF型”雙極細(xì)胞；另一種的反應(yīng)則相反，隨著光強(qiáng)度增大電位呈正方向變化，稱為“ON型”雙極細(xì)胞。

(3)神經(jīng)節(jié)細(xì)胞。作為視網(wǎng)膜輸出細(xì)胞的神經(jīng)節(jié)，從上述接收區(qū)域收到雙極細(xì)胞傳來的信號。本課件是可編輯的正常PPT課件

3)外膝體

視網(wǎng)膜神經(jīng)節(jié)細(xì)胞軸突形成視神經(jīng)，經(jīng)視交叉和視束到達(dá)外膝體(LateralGeniculateNucleus，LGN)。外膝體屬丘腦，是眼睛到視皮層視通路的中繼站。

外膝體是丘腦的一個感覺中繼核團(tuán)，人類的LGN有六層，規(guī)則地排列為彎曲的結(jié)構(gòu)，外膝體結(jié)構(gòu)圖如圖2-8所示。其3、4、5、6層內(nèi)細(xì)胞較小，稱為小細(xì)胞層(ParvocellularLayers，P層)；1、2層內(nèi)細(xì)胞較大，稱為大細(xì)胞層(MagnocellularLayers，M層)。本課件是可編輯的正常PPT課件

圖2-8外膝體結(jié)構(gòu)圖本課件是可編輯的正常PPT課件

(1)對單側(cè)外膝體核來說，其1、4、6層只接受對側(cè)眼(鼻側(cè))的視網(wǎng)膜來的投射輸入，而2、3、5層僅接受同側(cè)眼(顳側(cè))的視網(wǎng)膜來的投射輸入，單側(cè)外膝體只能得到雙眼輸入的對側(cè)視野內(nèi)的視覺信息。

(2)來自視網(wǎng)膜相應(yīng)點的神經(jīng)節(jié)細(xì)胞軸突，投射到外膝體核各層時是有規(guī)律的，如將外膝體各層接收投射的響應(yīng)細(xì)胞部位連接起來，就會得到大體上與各層邊界垂直的線，稱為投射線。

(3)視網(wǎng)膜中央?yún)^(qū)細(xì)胞在外膝體所占的投射區(qū)面積要比視網(wǎng)膜邊緣區(qū)細(xì)胞在外膝體所占的投射區(qū)大得多，因為在視網(wǎng)膜中央?yún)^(qū)，各類視網(wǎng)膜細(xì)胞密度最高。本課件是可編輯的正常PPT課件

4)視皮層

視皮層結(jié)構(gòu)圖如圖2-9所示。現(xiàn)在已知與視覺有關(guān)的大腦皮層多達(dá)35個，自皮層表圖2-9視皮層結(jié)構(gòu)圖面到白質(zhì)分為6層，外膝體核處理后的視覺信息首先傳到皮層17區(qū)(第Ⅰ視區(qū)或紋狀皮層)。外膝體細(xì)胞軸突末梢終止于第4層內(nèi)，然后再與第2、第3層細(xì)胞，第5、第6層細(xì)胞建立突觸聯(lián)系。V1為紋狀皮層(17區(qū))，V為第2視區(qū)，MST為內(nèi)側(cè)上顳區(qū)，MT為中央顳區(qū)。細(xì)胞類型有星形細(xì)胞(StellateCell)和錐體細(xì)胞(PyramidalCell)。本課件是可編輯的正常PPT課件

圖2-9視皮層結(jié)構(gòu)圖本課件是可編輯的正常PPT課件

具體地說，視皮層17區(qū)和18區(qū)的細(xì)胞可分為簡單細(xì)胞(SimpleCells)和復(fù)雜細(xì)胞(ComplexCells)兩大類。簡單細(xì)胞主要分布在視皮層17區(qū)的第4層內(nèi)，感受野較小，呈狹長形，用小光點可以測定，對大面積的彌散光不作反應(yīng)，而對處于拮抗區(qū)邊緣一定方位一定寬度的條形刺激有較強(qiáng)的反應(yīng)，因此比較適合于檢測具有明暗對比的直邊，對邊緣的位置和方位有嚴(yán)格的選擇性，對每一個簡單細(xì)胞，都有一個最優(yōu)方位，在此方位上細(xì)胞的反應(yīng)最強(qiáng)烈。簡單細(xì)胞的方位選擇性如圖2-10所示。本課件是可編輯的正常PPT課件

圖2-10簡單細(xì)胞的方位選擇性本課件是可編輯的正常PPT課件

2.視覺感知的心理物理學(xué)基礎(chǔ)

實際上，在計算機(jī)圖像生成和處理的過程中，都需要人去觀看，處理的中間過程需進(jìn)行交互，即使是中間過程不需要顯示。例如，紅外熱圖像處理，最終也要轉(zhuǎn)化成可見光圖像給用戶觀看。因此，除了需要了解人眼構(gòu)造外，還需要掌握人眼視覺特征，這樣才能為計算機(jī)圖像生成提供更加可靠的科學(xué)依據(jù)。本課件是可編輯的正常PPT課件

1)視覺敏銳度

視覺敏銳度(VisualAcuity)也稱為視敏度、視力，它表示視覺中用來分辨細(xì)小物體或是物體某個細(xì)小部分的能力。它表明我們能夠觀察或是感覺到的刺激有多么細(xì)微或是不同刺激之間的差別有多大。在一定條件下，人的眼睛能觀察到的物體越小，表示視覺敏銳度越大。本課件是可編輯的正常PPT課件

人眼的視敏度還與所處環(huán)境的亮度有關(guān)。一般在昏暗的環(huán)境中，人眼會變得特別敏感，所以能檢測到細(xì)微的亮度變化。但對物體的細(xì)節(jié)特征和顏色的識別就變?nèi)趿恕６?dāng)處于亮光充足的環(huán)境中時，人就擁有比較敏銳的色覺和很強(qiáng)的視敏度。但此時對于亮度的敏感度就會變低，需要較大的變化量才能被人所感覺到。這個現(xiàn)象首先是由沙勒(Shlaer)在1937年做實驗后提出的，根據(jù)他的實驗可以得到背景亮度同視敏度的關(guān)系。本課件是可編輯的正常PPT課件

2)對比度

對比度表示相鄰物體間亮度的差異，一般用兩者之間的亮度比來表示對比度，也可用最大亮度和最小亮度之間的比例關(guān)系表示，定義如下

其中，Lmax和Lmin分別代表最大亮度和最小亮度。當(dāng)Lmax大于Lmin時，C的值將總是小于1.0。本課件是可編輯的正常PPT課件

在相同亮度的情況下，對比度越高，給人的感覺就越強(qiáng)烈。也就是說，人對亮度的感覺還跟背景的亮度有關(guān)系。同樣絕對亮度的物體，放置在不同背景亮度的環(huán)境中，也會給人完全不同的感覺。目標(biāo)與背景不同對比度示意圖如圖2-11所示。盡管中間矩形框的亮度值實際上都是一樣的，但是由于它們所在的背景亮度不同，所以看起來這些矩形框的亮度是不同的，其中最左邊圖中的矩形框看起來要比最右邊圖中的矩形框亮度值低些。本課件是可編輯的正常PPT課件

圖2-11目標(biāo)與背景不同對比度示意圖本課件是可編輯的正常PPT課件

3)色彩學(xué)基礎(chǔ)

顏色是人的視覺系統(tǒng)因接收到不同波長的光信號而產(chǎn)生的感覺反應(yīng)。這里需要注意的是，顏色不屬于物理量而是屬于感知的范疇。在現(xiàn)實世界中，光在空間中的傳輸可以被看

成粒子或波在空間傳輸，可以用不同的頻率來表示。人的視覺能夠接受400~700nm之間的光譜。本課件是可編輯的正常PPT課件

通過實驗數(shù)據(jù)，可以在RGB顏色空間和CIEXYZ顏色空間之間通過矩陣變換而相互轉(zhuǎn)化，用公式表示為本課件是可編輯的正常PPT課件

2.2.3人類視覺系統(tǒng)概述

俗話說：“眼睛是心靈的窗戶，是人與外界溝通的橋梁”。人類視覺系統(tǒng)具有高度并行的特點，且擁有非常特殊精密的結(jié)構(gòu)。它對信息的處理非常快，外界的感官刺激到達(dá)人眼后，轉(zhuǎn)化為神經(jīng)信號傳輸?shù)酱竽X中進(jìn)行實時處理。在這個處理過程中，各種信息如位置、深度、顏色、紋理、運動和外觀都能被提取出來。本課件是可編輯的正常PPT課件

人類視覺系統(tǒng)主要由視覺器官、視覺通路和多級視覺中樞組成，實現(xiàn)視覺信息的產(chǎn)生、傳遞和處理。但由于視覺信息傳遞過程比較復(fù)雜，科學(xué)家們又將其劃分為視感覺處理和視知覺處理兩個階段。人眼視覺信息的傳遞過程如圖2-12所示。本課件是可編輯的正常PPT課件

圖2-12人眼視覺信息的傳遞過程本課件是可編輯的正常PPT課件

目前人類的視覺信息處理過程已經(jīng)發(fā)展到較完善的階段。神經(jīng)解剖學(xué)和神經(jīng)生理學(xué)的研究表明，視覺信息在大腦中按照一定的通路進(jìn)行傳遞。

圖2-13為視覺信息從視網(wǎng)膜到視皮層的處理過程。本課件是可編輯的正常PPT課件

圖2-13視覺信息從視網(wǎng)膜到視皮層的處理過程本課件是可編輯的正常PPT課件

對人類視覺系統(tǒng)的描述如下：

(1)人類視覺系統(tǒng)是分層的光學(xué)系統(tǒng)。

(2)人類視覺系統(tǒng)是能抓主要矛盾的光學(xué)系統(tǒng)。

(3)人類視知覺是能夠自我完善的知覺，是對事物的各種屬性、各個部分及其相互關(guān)系的綜合的、整體的反映。本課件是可編輯的正常PPT課件

2.2.4視覺注意機(jī)制

1.早期的理論模型

1)基于位置的理論

基于位置的理論認(rèn)為，視覺系統(tǒng)不能同時對視野范圍內(nèi)的所有的刺激都進(jìn)行有效的加工，因為注意在任何時刻都只能聚焦于視覺空間中的某一個區(qū)域，只有該區(qū)域內(nèi)的刺激才能被加工，其他區(qū)域的刺激則被忽視。注意的作用被形象地比喻為“聚光燈(SpotLight)”“透視(ZoomLen)”。本課件是可編輯的正常PPT課件

注意在視野范圍內(nèi)的分布具有連續(xù)變化的特點：一方面，注意資源被分布到整個視野中；另一方面，注意資源又被分布到一個較小的范圍內(nèi)，如透鏡一般有一個聚焦過程，也就是注意的透鏡模型。拉伯格等人對注意的這種透鏡式分布特點進(jìn)行了詳細(xì)的描述。本課件是可編輯的正常PPT課件

2)基于物體的理論

克萊默(Kramer)等人分別控制了“空間”或“物體”的因素，而操作另外的因素，深入探討了視覺注意的加工機(jī)制。實驗結(jié)果表明，“物體”和“空間”在注意加工過程中都會有影響，由此發(fā)展出基于物體的注意理論?；谖矬w的注意理論以早期的格式塔知覺心理學(xué)理論為基礎(chǔ)，認(rèn)為注意是在前注意計算已組織好的知覺單元或物體的基礎(chǔ)上發(fā)揮作用的。因此，當(dāng)注意集中于某一物體時，隸屬于該物體的各個構(gòu)成成分均可獲得時間上的平行加工，而對其他物體只能進(jìn)行時間上的系統(tǒng)加工。因此，視覺注意是分布到呈現(xiàn)在視野中的某個特定的物體上的。本課件是可編輯的正常PPT課件

2.新近的理論模型：基于特征的注意理論及各理論之間的融合趨勢

人類對視覺信息的注意加工是基于空間還是基于物體，與加工對象的特征有密切的關(guān)系。對視覺對象的注意并非絕對是基于空間或基于物體的加工。特瑞斯曼對特征整合理論(FeatureIntegrationTheory)進(jìn)行了修正，提出了一種特征控制抑制模型(FeatureControlledInhibitionModel)，該模型認(rèn)為注意的作用是通過三種方式在位置導(dǎo)向圖中選擇位置信息的表征。本課件是可編輯的正常PPT課件

這三種方式分別是：

①

某種非特異性的內(nèi)部的力量使注意指向某個特定的位置；

②

特征范圍內(nèi)的橫向聯(lián)系抑制了無關(guān)的非空間特征的位置；

③

物體的表征可以在位置地圖中選擇一個區(qū)域。

這些選擇是以位置導(dǎo)向圖中不同節(jié)點的不同的激活方式為中介。高激活水平位置上的特征被結(jié)合起來形成整合的物體表征，即物體檔案；低激活水平位置上的特征是不能被結(jié)合的，這些物體就不會被注意。本課件是可編輯的正常PPT課件

3.多目標(biāo)注意追蹤與FINST模型

視覺注意系統(tǒng)在特定時間段內(nèi)加工信息的容量是有限的，面對大量的視覺信息，注意系統(tǒng)只能對其中少部分進(jìn)行選擇性地加工。那么，視覺信息的選擇性注意加工過程是如何進(jìn)行的?這個過程受到哪些因素的影響?研究者圍繞著這兩個問題開展了大量的研究工作。在視覺選擇性注意加工的研究中，視覺信息可以分為兩類：一類是空間信息，如物體的位置、大小、形狀、角度和距離等；另一類是非空間信息，如顏色、亮度、對比度及飽和度等。根據(jù)以往的經(jīng)驗，視覺對空間信息和非空間信息的加工可能存在一定的差異。

本課件是可編輯的正常PPT課件

2.3本

章

小

結(jié)

本章主要介紹了人類視覺感知系統(tǒng)的相關(guān)概念和理論，首先簡要介紹了人眼的結(jié)構(gòu)及其各組成部分在人感光作用中所起的作用，然后介紹了心理物理學(xué)及色彩學(xué)的基本概念和屬性，最后描述了人眼在高動態(tài)亮度變化情況下的適應(yīng)過程及其內(nèi)在的生理學(xué)機(jī)制。本課件是可編輯的正常PPT課件第3章

音視頻信號獲取軟件

及應(yīng)用3.1音視頻信號采集軟件及應(yīng)用3.2圖像/視頻信號采集及應(yīng)用3.3音頻/視頻格式的轉(zhuǎn)換3.4本章小結(jié)本課件是可編輯的正常PPT課件

3.1音視頻信號采集軟件及應(yīng)用

3.1.1常見的音頻信號采集設(shè)備的特點常見的音頻信號采集設(shè)備是麥克風(fēng)，它可以搭載在不同的設(shè)備上以滿足人們?nèi)粘５男枨?。方便易用的手持設(shè)備如錄音筆、手機(jī)等，能夠達(dá)到即時錄音的目的。大型錄音設(shè)備和場所，如配有麥克風(fēng)的計算機(jī)、錄音棚等，則具有相對更好的錄音效果及強(qiáng)大的后期處理功能。有了這些音頻信號采集設(shè)備的支持，再配備一定的計算機(jī)軟件，就可以完成音頻信號的采集工作。本課件是可編輯的正常PPT課件

3.1.2音頻信號采集軟件——Windows11錄音機(jī)

1.Windows11系統(tǒng)中錄音機(jī)(版本號11.2103)介紹

用鼠標(biāo)單擊任務(wù)欄中的“開始”按鈕，然后選擇菜單中的“所有應(yīng)用”，在最上方搜索欄中輸入“錄音機(jī)”，單擊“錄音機(jī)”圖標(biāo)，即可打開錄音機(jī)的主界面，如圖3-1所示。本課件是可編輯的正常PPT課件

圖3-1“錄音機(jī)”的主界面本課件是可編輯的正常PPT課件

下面介紹錄音機(jī)中的各個操作部分。

(1)“導(dǎo)入文件”按鈕：將現(xiàn)有的音頻文件導(dǎo)入錄音機(jī)應(yīng)用中，以便進(jìn)一步編輯或管理。

(2)文件目錄：用戶可以瀏覽和選擇他們想要播放、編輯或刪除的音頻文件。

(3)錄音設(shè)備選擇按鈕：用戶可以用于瀏覽并選擇可用的麥克風(fēng)設(shè)備，一般包括內(nèi)置麥克風(fēng)、外接麥克風(fēng)或藍(lán)牙麥克風(fēng)等。

本課件是可編輯的正常PPT課件

(4)“開始錄制”按鈕：錄音應(yīng)用中的主要功能按鈕之一，通常以一個圓形的紅色按鈕表示，中間有一個白色的圓點。用戶點擊此按鈕開始錄制音頻，錄制界面如圖3-2所示，其功能同主界面。

(5)“開始/暫?！辈シ虐粹o：錄音機(jī)應(yīng)用中的核心，用于開始新錄音或暫停當(dāng)前錄音開始按鈕通常是一個三角形，暫停按鈕則由兩個垂直的條形組成。

(6)倍速選擇：用于調(diào)整錄音的播放速度。用戶可以選擇正常速度、慢速或快速播放，這在需要仔細(xì)聽錄音細(xì)節(jié)時非常有用。本課件是可編輯的正常PPT課件

圖3-2錄音機(jī)錄制界面本課件是可編輯的正常PPT課件

(7)標(biāo)記及標(biāo)記選擇按鈕：用戶可以對錄音文件中的特定點進(jìn)行標(biāo)記，這有助于用戶查找特定內(nèi)容，點擊該按鈕旁的下箭頭，可以選取與快速定位或刪除標(biāo)記點。

(8)共享錄音：用戶可以通過這個功能將錄音分享給其他人，無論是通過電子郵件、社交媒體還是其他共享服務(wù)。

(9)“更多錄制”：通常是一個菜單或按鈕，點擊后會展開更多的高級選項。重命名：允許用戶更改錄音文件的名稱。本課件是可編輯的正常PPT課件

(10)進(jìn)度尺：顯示了錄音的時長與進(jìn)度，是一個水平條，隨著錄音的進(jìn)行而逐漸增大。它允許用戶直觀地看到錄音已經(jīng)進(jìn)行了多長時間。

(11)進(jìn)度標(biāo)識：進(jìn)度尺上的一條豎線，顯示當(dāng)前播放或錄制的位置。用戶可以通過點擊進(jìn)度尺上的不同位置來跳轉(zhuǎn)到錄音的特定部分。本課件是可編輯的正常PPT課件

2.音頻制作

以下是使用錄音機(jī)錄制音頻的詳細(xì)步驟，包括用戶界面上按鈕的操作。

(1)打開錄音機(jī)應(yīng)用：用鼠標(biāo)單擊任務(wù)欄中的“開始”按鈕，然后選擇菜單中的“所有應(yīng)用”，在最上方搜索欄中輸入“錄音機(jī)”，單擊“錄音機(jī)”圖標(biāo)，打開錄音機(jī)。

(2)選擇麥克風(fēng)：如果有多個麥克風(fēng)選項，點擊錄音設(shè)備選擇按鈕，然后在彈出的選項中選擇擬使用的麥克風(fēng)。

(3)開始錄制：點擊“開始錄制”按鈕之后，進(jìn)入錄制界面，如圖3-2所示。

本課件是可編輯的正常PPT課件

(4)監(jiān)控錄音：在錄音過程中，觀察界面上的波形圖或其他指示器，以監(jiān)控錄音的音量和質(zhì)量。并且可以在特定位置點擊“標(biāo)記”按鈕進(jìn)行標(biāo)記。

(5)暫停與恢復(fù)錄制：如果需要暫停錄音，點擊“暫停”按鈕，點擊“繼續(xù)”或再次點擊“開始錄制”按鈕，可以從暫停的地方繼續(xù)錄音。

(6)完成錄制：完成錄音之后，點擊“停止錄制”按鈕，即可停止錄音。

(7)命名和保存錄音：錄音完成后，點擊“更多錄制”按鈕即可對錄音文件進(jìn)行重命名，可以在文件夾中進(jìn)行查看和刪除等操作。本課件是可編輯的正常PPT課件

(8)播放音頻：可以點擊左上角的“導(dǎo)入文件”按鈕從電腦中導(dǎo)入音頻，或者從左側(cè)的文件目錄中選擇想要播放的錄音，單擊播放按鈕，即可播放音頻。

(9)退出錄音機(jī)：完成所有操作后，點擊界面右上角的“關(guān)閉”按鈕，退出錄音機(jī)應(yīng)用。本課件是可編輯的正常PPT課件

3.1.3音頻處理工具——SonySoundForge

SonySoundForge是SonicFoundry公司(該公司被Sony公司收購)開發(fā)的一款功能強(qiáng)大的專業(yè)化數(shù)字音頻處理軟件，主要針對Flash用戶編寫，因為其可以滿足從最普通用戶到專業(yè)錄音師的所有用戶的各種要求，所以一直是多媒體開發(fā)人員的首選軟件之一。該軟件能夠非常方便、直觀地對音頻文件(如WAV文件)以及視頻文件(如AVI文件)中的聲音部分進(jìn)行各種處理，具有強(qiáng)大的音頻處理和特效制作功能，是一套符合工業(yè)標(biāo)準(zhǔn)的音頻編輯、錄制、效果處理和編碼的程序。本課件是可編輯的正常PPT課件

1.SonySoundForge15.0界面介紹

單擊“開始”按鈕，選擇“所有程序”→“SonySoundForge15.0”→“SoundForge15.0”

命令，運行SoundForge15.0軟件，進(jìn)入SonySoundForge15.0的工作界面，如圖3-3所示。本課件是可編輯的正常PPT課件

圖3-3SonySoundForge15.0工作界面本課件是可編輯的正常PPT課件

峰值表位于SoundForge窗口的右側(cè)，左右兩個聲道各有兩個彩條，較細(xì)的外條表示聲音文件播放過程中的節(jié)目峰值表，較粗的內(nèi)條表示節(jié)目音量表。兩種儀表顯示均基于具有精確定義的顯示特性的標(biāo)準(zhǔn)化峰值儀表，在播放聲音文件的時候，節(jié)目峰值表顯示音頻信號的峰值，而節(jié)目音量表顯示特定計量時間段內(nèi)的計量值。峰值表會顯示聲音的音量變化，彩條頂端的四個數(shù)值表示的是導(dǎo)入音頻文件進(jìn)行播放過程中節(jié)目峰值表和節(jié)目音量表的最大值，如圖3-4所示。如果這個數(shù)值標(biāo)記為空，則表示靜音;如果變成了紅色，則表示音量太大了，已經(jīng)超出了計算機(jī)所能識別的范圍。本課件是可編輯的正常PPT課件

圖3-4左右聲道音量變化條本課件是可編輯的正常PPT課件

VU表的指示動作特性(時間特性)是：當(dāng)以穩(wěn)態(tài)時達(dá)0VU(100%)的1kHz簡諧信號突然加入VU表時，指針達(dá)到刻度上99%處所需的時間應(yīng)為300±30ms，指針的過沖不得超過穩(wěn)態(tài)值的1.5%，過沖的擺動不應(yīng)超過一次;當(dāng)信號突然消失后，指針從100%降到1%所需的時間也應(yīng)是300±30ms。VU表對聲音信號的指示值讀作“音量單位值”，又叫“VU值”。雖然VU表也是用對數(shù)表示信號準(zhǔn)平均值(電平)，但是由于有300ms這樣一個不短的積分時間，表的指示值(VU值)有時還是跟不上信號的實際準(zhǔn)平均值電平(dB值)的變化，因此不能將VU值與dB值相混淆。本課件是可編輯的正常PPT課件

同時VU值也不能完全反映出聲音信號的聽感響度(因為后者需要更短的積分時間)，更不能反映聲音信號的幅擺峰尖情況(因為聲音信號峰平比隨其波形的不同而異)，這是VU表的缺點。

針對VU表的缺點，另一種音量表——“峰值節(jié)目表”逐漸得到推廣，又叫PPM(PeakProgrammeMeter)。PPM實際上是準(zhǔn)峰值電平表，因為它是采用峰值檢波器按簡諧信號的有效值確定刻度的(也用電平值標(biāo)示)。PPM的最大特點是指針上升快、恢復(fù)慢，能比較真實地反映出聲音信號的準(zhǔn)峰值變化，從而可避免設(shè)備過載，便于有效地控制和利用好傳輸入系統(tǒng)的最大動態(tài)。本課件是可編輯的正常PPT課件

工作窗口是聲音文件的處理窗口。SoundForge允許同時打開多個聲音文件，也可以同時對多個聲音文件進(jìn)行處理。在工作窗口中有以下幾個重要的部分：

(1)聲音波形顯示區(qū)：用于顯示當(dāng)前聲音文件的波形。在對聲音文件進(jìn)行操作時，窗口中有一條閃動的豎線，表示當(dāng)前播放點的時間位置，聲音波形相當(dāng)于CD唱機(jī)的激光頭或錄音機(jī)的磁頭讀取的音頻信息。具體數(shù)值可以從窗口下方的狀態(tài)欄中讀出。可以通過滑動鼠標(biāo)選定某一段波形區(qū)域，選定的波形范圍也可以從窗口下方的狀態(tài)欄中讀出。窗口中間的橫線表示波形的中心，也就是音量的最小位置，上方和下方的兩條線(標(biāo)有“Inf.”)表示計算機(jī)最大允許音量的一半。本課件是可編輯的正常PPT課件

(2)音量標(biāo)尺：用于顯示聲音波形振幅的大小。聲音波形的振幅大小決定了聲音音量的大小。在音量標(biāo)尺中，中間點的音量最小，而聲音的波形偏離中心越遠(yuǎn)，表明音量越大。在SoundForge軟件中，音量的度量可以分別用百分比和分貝值表示。在音量標(biāo)尺中單擊鼠標(biāo)右鍵，在彈出的菜單中有兩個選項：“LabelinPercent”(用百分比表示)和“LabelindB”(用分貝值表示)，在操作時可以根據(jù)需要選擇切換，如圖3-5所示。本課件是可編輯的正常PPT課件

圖3-5音量標(biāo)尺菜單本課件是可編輯的正常PPT課件

2.SoundForge15.0的簡單音頻處理

1)聲音的剪輯

(1)刪除：選擇相應(yīng)的波形區(qū)域，然后直接按“Delete”鍵進(jìn)行刪除，刪除后，刪除點以后的波形會自動填補(bǔ)。

(2)靜音：選擇相應(yīng)的波形區(qū)域，執(zhí)行“Process”→“Mute”(靜音)命令，波形會被刪除，刪除點以后的波形保持不動。本課件是可編輯的正常PPT課件

(3)復(fù)制：選擇相應(yīng)的波形區(qū)域，使用快捷鍵“Ctrl+C”，或執(zhí)行“Edit”→“Copy”命令進(jìn)行復(fù)制(也可使用鼠標(biāo)右鍵菜單中的“Copy”命令)。然后把指針移到需要粘貼的地方，按下快捷鍵“Ctrl+V”，或執(zhí)行“Edit”→“Paste”命令進(jìn)行粘貼(也可單擊鼠標(biāo)右鍵，選擇菜單中的“Paste”命令)。

(4)插入空白聲音：定位指針到相應(yīng)的波形點，執(zhí)行“Process”→“InsertSilence”(插入靜音)命令，在彈出的對話框中設(shè)置好插入的時間，單擊“OK”按鈕確認(rèn)。本課件是可編輯的正常PPT課件

2)調(diào)節(jié)音量

(1)音量調(diào)節(jié)：執(zhí)行“Process”→“Volume”(音量調(diào)節(jié))命令。

(2)淡入淡出：執(zhí)行“Process”→“Fade”命令對一段聲音的音量進(jìn)行漸進(jìn)式改變，其下有三個子項，分別是Graphic、In和Out。簡單的淡入和淡出分別使用In和Out，可實現(xiàn)聲音的漸強(qiáng)和漸弱。復(fù)雜的淡入和淡出可以執(zhí)行Graphic命令，在彈出的“FadeCurve”對話框中對聲音波形的包絡(luò)線進(jìn)行調(diào)整，以實現(xiàn)聲音強(qiáng)弱的改變，如圖3-6所示。本課件是可編輯的正常PPT課件

圖3-6淡入淡出設(shè)置窗口本課件是可編輯的正常PPT課件

(3)音量規(guī)則化：按照某種規(guī)格總體提高或降低音量。例如，在實現(xiàn)峰值最大化處理時，可以執(zhí)行“Process”→“Normalize”(規(guī)格化)命令，在彈出的“Normalize”對話框中選中“Normalizeusing：Peaklevel”選項，并將“ScanLevels”調(diào)到零分貝即可。本課件是可編輯的正常PPT課件

(4)混音：將兩段聲音混合成一段聲音。首先執(zhí)行“File”→“Open”命令打開兩段聲音文件，然后對兩段聲音進(jìn)行混音，操作如下：

①

在聲音文件1的波形窗口中選擇某一段進(jìn)行復(fù)制。

②

轉(zhuǎn)到聲音文件2的窗口中，定位指針到混音的位置，執(zhí)行“Edit”→“PasteSpecial”→“Mix”命令，彈出“Mix/Replace”對話框。本課件是可編輯的正常PPT課件

③在“Mix/Replace”對話框中通過調(diào)節(jié)兩部分的音量達(dá)到聲音混合的目的。左側(cè)的滑塊表示混音過程中剪貼板上的聲音音量程度，右側(cè)的滑塊表示混音過