多媒體技術(shù)教程

多媒體技術(shù)教程第一頁，共九十八頁，2022年，8月28日2.1媒體的種類和特點(diǎn)第二頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素文本文本是計(jì)算機(jī)文字處理程序的基礎(chǔ)文本數(shù)據(jù)可以在文本編輯軟件里制作文本文件分類非格式化文本格式化文本文件文件帶有各種文本排版信息等格式信息的文本文件段落格式、字體格式、文章的編號(hào)、分欄、邊框文字的變化：格式（sty1e）、字的定位（align）、字體（font）、字的大?。╯ize）第三頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素圖形圖形的概念一般指用計(jì)算機(jī)繪制的畫面，如直線、圓、圓弧、矩形、任意曲線和圖表等。圖形的格式是一組描述點(diǎn)、線、面等幾何圖形的大小、形狀及其位置、維數(shù)的指令集合，在圖形文件中只記錄生成圖的算法和圖上的某些特征點(diǎn)，也稱矢量圖。line（x1,y1,x2,y2,color）

circle（x,y,r,color）第四頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素圖形

圖形的特征圖形是對(duì)圖象進(jìn)行抽象的結(jié)果（人工或自動(dòng)）；圖形的矢量化使得有可能對(duì)圖中的各個(gè)部分分別進(jìn)行控制（放大、縮小、旋轉(zhuǎn)、變形、扭曲、移位等）圖形的產(chǎn)生需要計(jì)算時(shí)間第五頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素圖像圖像的概念圖像是指由輸入設(shè)備捕捉的實(shí)際場(chǎng)景畫面，或以數(shù)字化形式存儲(chǔ)的任意畫面。靜止的圖像是一個(gè)矩陣，由一些排成行列的點(diǎn)組成，這些點(diǎn)稱之為像素點(diǎn)（pixel），這種圖像稱為位圖（bitmap）。第六頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素圖像

圖像的主要技術(shù)參數(shù)分辨率屏幕分辨率計(jì)算機(jī)顯示器屏幕顯示圖像的最大顯示區(qū)

圖像分辨率數(shù)字化圖像的大小像素分辨率像素的寬高比，一般為1∶1

第七頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素圖像

圖像的主要技術(shù)參數(shù)圖像灰度每個(gè)圖像的最大顏色數(shù)2位：黑白2色；4位：16色；8位：256色；24位：真彩色圖像文件大?。ǜ摺翆挕粱叶任粩?shù)）/8字節(jié)

第八頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素圖像圖形與圖象的關(guān)系圖形是矢量概念，圖元；圖象是位圖概念，象素；圖形顯示圖元順序；圖象顯示象素順序；圖形變換無失真；圖象變換有失真；圖形以圖元為單位修改屬性、編輯；圖象只能對(duì)象素或圖塊處理；圖形是對(duì)圖象的抽象，但在屏幕上兩者無異第九頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素視頻

視頻的概念

視頻源于電視技術(shù)，它由連續(xù)的畫面組成。這些畫面以一定的速率連續(xù)地投射在屏幕上，使觀察者具有圖像連續(xù)運(yùn)動(dòng)的感覺。第十頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素視頻

視頻的制式PAL制（625/50）每秒25幀，水平掃描線為625條，水平分辨率240~400個(gè)像素，隔行掃描。62年誕生于德國，應(yīng)用于中國、新加坡、歐洲地區(qū)等（Pal-B、D、G、H、I、N、NC）。NTSC制（525/60）每秒30幀，水平掃描線為525條，水平分辨率240~400個(gè)像素，隔行掃描。53年誕生于美國，應(yīng)用于美國、日本、臺(tái)灣等（NTSC-M、NC、Japan等）。第十一頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素視頻視頻的制式SECAM制（625/50）每秒25幀，水平掃描線為525條、水平分辨率625。由法國人提出，應(yīng)用于俄羅斯、法國、非洲地區(qū)等。視頻的數(shù)字化指在一段時(shí)間內(nèi)以一定的速度對(duì)視頻信號(hào)進(jìn)行捕獲并加以采樣后形成數(shù)字化數(shù)據(jù)的處理過程。第十二頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素視頻視頻的技術(shù)參數(shù)顏色空間R、G、B（紅、綠、藍(lán)）Y、U、V（Ｙ為亮度，U、V為色差）H、S、I（色調(diào)、飽和度、強(qiáng)度）可以通過坐標(biāo)變換而相互轉(zhuǎn)換幀速每秒鐘顯示的幀數(shù)目，計(jì)量單位為幀率（fps）視頻根據(jù)制式的不同：30幀/秒（NTSC）、25幀/秒（PAL）第十三頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素視頻視頻的技術(shù)參數(shù)數(shù)據(jù)量幀速×每幅圖像的數(shù)據(jù)量（不計(jì)壓縮）圖像質(zhì)量與數(shù)據(jù)源質(zhì)量有關(guān)（>：表示“好于”）RGB視頻>YUV視頻>Y/C視頻(S視頻)>復(fù)合視頻與視頻數(shù)據(jù)壓縮的倍數(shù)有關(guān)注1：UV兩個(gè)色差信號(hào)可合成為一個(gè)色度信號(hào)C，進(jìn)而形成Y/C記錄方式，這種方式得到的視頻稱為S視頻。注2：把亮度Y與色度C進(jìn)一步混合在一起，便形成復(fù)合視頻。第十四頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素動(dòng)畫動(dòng)畫的概念

運(yùn)動(dòng)的圖畫，實(shí)質(zhì)是一幅幅靜態(tài)圖像的連續(xù)播放。動(dòng)畫的連續(xù)播放既指時(shí)間上的連續(xù)，也指圖像內(nèi)容上的連續(xù)，即播放的相鄰兩幅圖像之間內(nèi)容相差不大。計(jì)算機(jī)設(shè)計(jì)動(dòng)畫方法造型動(dòng)畫幀動(dòng)畫

第十五頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素動(dòng)畫幀動(dòng)畫

第十六頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素動(dòng)畫幀動(dòng)畫第十七頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素音頻

分類波形聲音包含了所有的聲音形式，它可以把任何聲音都進(jìn)行采樣量化，并恰當(dāng)?shù)鼗謴?fù)出來。第十八頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素音頻分類語音人的說話聲雖是一種特殊的媒體，但也是一種波形，所以和波形聲音的文件格式相同。音樂符號(hào)化了的聲音，樂譜可轉(zhuǎn)變?yōu)榉?hào)媒體形式。第十九頁，共九十八頁，2022年，8月28日2.1.1常見的媒體元素音頻數(shù)字聲音波形質(zhì)量的主要技術(shù)參數(shù)采樣頻率等于波形被等分的份數(shù)，份數(shù)越多，質(zhì)量越好11.025KHZ、22.05KHZ、44.1KHZ采樣精度每次采樣信息量8位、16位通道數(shù)聲音產(chǎn)生的波形數(shù)單聲道、立體聲道、5.1聲道數(shù)據(jù)量計(jì)算：(采樣頻率×采樣精度×通道數(shù)×?xí)r間)/8

字節(jié)第二十頁，共九十八頁，2022年，8月28日2.1.2媒體的種類視覺視覺（靜止）圖像圖形文字符號(hào)語言文字抽象化抽象化（動(dòng)態(tài)）圖像圖形動(dòng)態(tài)影像視頻真實(shí)感三維動(dòng)畫二維動(dòng)畫三維動(dòng)畫其它表示為視覺的媒體第二十一頁，共九十八頁，2022年，8月28日2.1.2媒體與多媒體聽覺觸覺其他感覺抽象化聽覺聲音聲響（自然界）語音（人類語言）音樂其它（嗅覺、味覺等）觸覺振動(dòng)運(yùn)動(dòng)傳感/發(fā)生器第二十二頁，共九十八頁，2022年，8月28日2.1.3媒體的性質(zhì)和特點(diǎn)各種媒體具有不同特點(diǎn)和性質(zhì)媒體是有格式的不同媒體表達(dá)信息的特點(diǎn)和程度各不相同媒體之間可以相互轉(zhuǎn)換媒體之間的關(guān)系也具有豐富的信息媒體具有空間性質(zhì)表現(xiàn)空間媒體按相互的空間關(guān)系進(jìn)行組織視覺空間、聽覺空間和觸覺空間這3者既相互獨(dú)立又需要相互結(jié)合第二十三頁，共九十八頁，2022年，8月28日2.1.3媒體的性質(zhì)和特點(diǎn)媒體的時(shí)間性質(zhì)表現(xiàn)需要時(shí)間媒體在時(shí)間坐標(biāo)軸上的相互關(guān)系媒體的語義媒體的語義是有層次的抽象的程度不同，語義的重點(diǎn)也就不同媒體結(jié)合的影響媒體結(jié)合是多層次的媒體結(jié)合有利于信息接受和理解隱喻交互的概念模型，也稱心智模型第二十四頁，共九十八頁，2022年，8月28日2.2聽覺媒體技術(shù)

第二十五頁，共九十八頁，2022年，8月28日2.2.1聲音心理學(xué)1.聲音的量綱聲音的振動(dòng)是一種正弦波，聲音的變化必須確定三件事：頻率（變化的速度）、幅度（產(chǎn)生的壓力）、相位（何時(shí)開始）。另外一方面，人們可以感覺到聲音的強(qiáng)弱，可以感覺到歌唱家音調(diào)的高低。因此，聲音的量綱分為聲音的物理量綱和心理量綱。第二十六頁，共九十八頁，2022年，8月28日2.2.1聲音心理學(xué)

物理量綱可以用精確的值來描述，但對(duì)某一具體聲音得來的心理印象卻不容易說明白，因?yàn)樾睦碛∠笠杀粶y(cè)者的經(jīng)驗(yàn)而定。聲音的心理屬性和物理屬性不可等同，首先，這些關(guān)系不是線性的；其次這些關(guān)系不是孤立的；第三這些關(guān)系不是不變的。第二十七頁，共九十八頁，2022年，8月28日2.2.1聲音心理學(xué)

兩者之間確有關(guān)系：例如聲音的響度取決于強(qiáng)度和頻率兩個(gè)因素，如果頻率不變，強(qiáng)聲顯得比弱聲要響些。但如果強(qiáng)度不變，過高頻率的聲音和過低頻率的聲音似乎比中頻的聲音聽起來都要弱一些。由此可見，響度依賴于頻率，原因是人耳能反應(yīng)的頻率范圍是有上限和下限的。第二十八頁，共九十八頁，2022年，8月28日2.2.1聲音的量綱

心理變量首要的物理變量次要的物理變量響度聲強(qiáng)聲波頻率音調(diào)聲波頻率聲強(qiáng)音色聲波復(fù)合－音量頻率和強(qiáng)度－密度頻率和強(qiáng)度－諧和（流暢或粗糙）諧波結(jié)構(gòu)音樂技巧噪聲強(qiáng)度頻率組合，各種時(shí)間參量騷擾聲強(qiáng)度頻率組合，無意義第二十九頁，共九十八頁，2022年，8月28日2.2.1聲音心理學(xué)2.聽覺特性等響曲線

由于響度與頻率和強(qiáng)度有關(guān)，所以在不同頻率上的強(qiáng)度是不同的。先設(shè)一個(gè)音為標(biāo)準(zhǔn)音，給予固定的頻率、強(qiáng)度和持續(xù)時(shí)間，例如1000Hz、40分貝、持續(xù)0.5秒；再給一個(gè)音也持續(xù)0.5秒，但頻率不同，通過調(diào)整使其響度聽起來一樣，得到的這樣一組曲線稱之為等響曲線。等響曲線描述的是響度與頻率和強(qiáng)度的關(guān)系。從聲音心理學(xué)考慮，對(duì)同一響度的聲音在頻率上和強(qiáng)度上可以有很大的差別，這對(duì)聲音表現(xiàn)有重要意義。

第三十頁，共九十八頁，2022年，8月28日2.2.1聲音心理學(xué)掩蔽（masking）

聲音的響度不僅取決于自身的強(qiáng)度和頻率，而且也依賴于同時(shí)出現(xiàn)的其它聲音。各種聲音可以互相掩蔽，也就是說一種聲音的出現(xiàn)可能使得另一種聲音難于聽清。由于聲音的掩蔽效果，可以欺騙人的聽覺。例如，本來是多種頻率的聲音的復(fù)合，但聽眾以為是另一種聲音。所以，聲音的掩蔽特性常常用于聲音的壓縮。第三十一頁，共九十八頁，2022年，8月28日2.2.1聲音心理學(xué)臨界頻帶

在頻率的某一臨界區(qū)里，各種聲音是相互作用的，合成聲音的響度由這些頻率共同決定。如果超出臨界區(qū)，聲音的響度不再相互作用，聲音的響度隨頻率的改變而改變。這個(gè)臨界區(qū)就是臨界頻帶，其寬度視其中心頻率而定。對(duì)于臨界頻帶的確定，使得對(duì)聲音響度的處理能夠有的放矢。第三十二頁，共九十八頁，2022年，8月28日2.2.1聲音心理學(xué)相位從聲音的波形來看，聲音的起點(diǎn)和方向也要反映聲音的特性，這就是聲音的相位。當(dāng)兩個(gè)聲音相同相位完全相反時(shí)，它們將相互抵消；當(dāng)兩個(gè)聲音相同而且相位也相同時(shí)，聲音就會(huì)得到加強(qiáng)。相位的確定對(duì)于多聲道聲音系統(tǒng)的設(shè)計(jì)非常重要，其可以應(yīng)用在回聲的消除、會(huì)議系統(tǒng)的聲音設(shè)計(jì)上。第三十三頁，共九十八頁，2022年，8月28日2.2.1聲音心理學(xué)自然聲音的時(shí)變現(xiàn)象聲音的音調(diào)分成三個(gè)區(qū)域：起始區(qū)、穩(wěn)定狀態(tài)區(qū)、延遲區(qū)。研究表明，音調(diào)的頻譜分量隨時(shí)間改變。在穩(wěn)定狀態(tài)區(qū)，頻譜保持固定。在起始區(qū)，振幅頻譜隨時(shí)間變化。因此自然聲音的起始部分是非常難識(shí)別的。例如剛聽了一小節(jié)音調(diào)后要識(shí)別樂器，專家也會(huì)覺得較難。時(shí)變現(xiàn)象用于數(shù)字系統(tǒng)中，說明聲音中的某些錯(cuò)誤是不太容易發(fā)現(xiàn)的，但如果出現(xiàn)停頓就很容易引起人的注意。第三十四頁，共九十八頁，2022年，8月28日2.2.1聲音心理學(xué)聽覺空間人耳可聽到來自各個(gè)方向的聲音，并用不同的因素來判定聲源的位置。聲源的位置不論對(duì)于增進(jìn)人們的感受還是增進(jìn)對(duì)聲音的理解，都是非常重要的。通過聲音的精確再現(xiàn)，就可以構(gòu)造出聽覺空間。方位的線索是各種聲音到達(dá)兩耳的精確時(shí)間和強(qiáng)度。第三十五頁，共九十八頁，2022年，8月28日2.2.1聲音心理學(xué)聽覺的頻譜特性

聲音是時(shí)間函數(shù)，通過傅里葉變換可做出其頻譜圖。人耳對(duì)頻譜成分的波峰和波谷是非常敏感的。在語言中，元音很少有頻譜變速變化的區(qū)域?；l改變，人耳是很敏感的。例如：快進(jìn)的錄像，音調(diào)會(huì)發(fā)生變化。音色非常復(fù)雜，目前尚在研究中。音色的處理將使我們能識(shí)別音源，音色也代表和聲音有關(guān)的主觀質(zhì)量。第三十六頁，共九十八頁，2022年，8月28日2.2.1聲音心理學(xué)聲音的心理模擬

通過人工真實(shí)的方法，可以對(duì)視覺空間的景物進(jìn)行再造或虛構(gòu)，同樣也可以對(duì)聽覺空間的聲音進(jìn)行心理的模擬，這就是所謂的可聽化（audiolization）。用聲音可以表達(dá)出一些聲音的效果。第三十七頁，共九十八頁，2022年，8月28日2.2.2音頻的數(shù)字化和符號(hào)化從人與計(jì)算機(jī)交互的角度看，音頻信號(hào)的處理包括下述3點(diǎn)：人與計(jì)算機(jī)通信，也就是計(jì)算機(jī)接收音頻信號(hào)。包括音頻獲取、語音的識(shí)別和理解。計(jì)算機(jī)與人通信，也就是計(jì)算機(jī)輸出音頻。包括音樂合成、語音合成、聲音的定位以及音頻視頻的同步。人-計(jì)算機(jī)-人通信。人通過網(wǎng)絡(luò)與異地的人進(jìn)行語音通信，相關(guān)的音頻處理有語音采集、音頻的編碼和解碼、音頻的存儲(chǔ)、音頻的傳輸、基于內(nèi)容的檢索等。第三十八頁，共九十八頁，2022年，8月28日2.2.2音頻的數(shù)字化和符號(hào)化1．音頻的數(shù)字化與再現(xiàn)

在計(jì)算機(jī)中，所有的信息都以數(shù)字來表示。聲音信號(hào)也是由一系列的數(shù)字來表示的，稱為數(shù)字音頻。數(shù)字音頻的特點(diǎn)就是保真度好，動(dòng)態(tài)范圍大。數(shù)字聲音是一個(gè)數(shù)據(jù)序列。它是由外界聲音經(jīng)過采樣、量化和編碼后得到的。第三十九頁，共九十八頁，2022年，8月28日2.2.2音頻的數(shù)字化和符號(hào)化

對(duì)聲音進(jìn)行采樣用奈奎斯特采樣定理來決定采樣的頻率。根據(jù)該定理，只要采樣頻率高于信號(hào)中最高頻率的兩倍，就可以從采樣中完全恢復(fù)原始信號(hào)的波形。因?yàn)槿硕苈牭降念l率范圍為20Hz到20KHz，所以實(shí)際的采樣過程中，為了達(dá)到好的效果，就采用44.1KHz作為高質(zhì)量聲音的采樣頻率。如果達(dá)不到這么高的頻率，聲音恢復(fù)的效果就會(huì)差一些，例如電話聲音的質(zhì)量等。一般來說，聲音恢復(fù)和采樣頻率、信道帶寬都有關(guān)。第四十頁，共九十八頁，2022年，8月28日

聲音的采樣以及量化圖2.2.2音頻的數(shù)字化和符號(hào)化第四十一頁，共九十八頁，2022年，8月28日2.2.2音頻的數(shù)字化和符號(hào)化與數(shù)字音頻相關(guān)的重要特性：采樣頻率采樣頻率與聲音的質(zhì)量關(guān)系最為緊密。采樣頻率越高，聲音質(zhì)量越接近原始聲音，所需的存儲(chǔ)量便越多。標(biāo)準(zhǔn)的采樣頻率有三個(gè)：44.1KHz，22.05kHz，和11.025kHz。采樣位數(shù)存放一個(gè)采樣點(diǎn)所需的比特?cái)?shù)。一般的采樣位數(shù)為8位或16位，即把聲音采集為256等份或65536等分。第四十二頁，共九十八頁，2022年，8月28日2.2.2音頻的數(shù)字化和符號(hào)化聲道數(shù)有單聲道、雙聲道和多聲道。如多種語言音頻混存時(shí)，需要多聲道數(shù)據(jù)量

(采樣頻率×每點(diǎn)采樣位數(shù)×聲道數(shù))數(shù)據(jù)量＝

8(字節(jié)/秒)第四十三頁，共九十八頁，2022年，8月28日2.2.2音頻的數(shù)字化和符號(hào)化2．聲音的符號(hào)化

波形聲音可以把音樂、語音都進(jìn)行數(shù)據(jù)化并且表示出來，但是并沒有把它看成音樂和語音。對(duì)于聲音的符號(hào)化（也可以稱為抽象化）表示包括兩種類型：一種是音樂，一種是語音。第四十四頁，共九十八頁，2022年，8月28日2.2.2音頻的數(shù)字化和符號(hào)化（1）音樂的符號(hào)化－MIDIMIDI(MusicInstrumentDigitalInterface)是指樂器數(shù)字接口的國際標(biāo)準(zhǔn)。MIDI消息，是指樂譜的數(shù)字描述。任何電子樂器，只要有處理MIDI消息的微處理器和合適的硬件接口，就構(gòu)成了一個(gè)MIDI設(shè)備。當(dāng)一組MIDI消息通過音樂合成芯片處理時(shí)，合成器能解釋這些符號(hào)并且產(chǎn)生音樂。MIDI的關(guān)鍵是作為媒體能夠記錄這些音樂的符號(hào)，相應(yīng)的設(shè)備能夠產(chǎn)生和解釋這些符號(hào)。它給出了一種得到音樂聲音的方法。第四十五頁，共九十八頁，2022年，8月28日2.2.2音頻的數(shù)字化和符號(hào)化

MIDI的特點(diǎn)：與波形聲音相比，MIDI不是聲音數(shù)據(jù)而是指令，所以數(shù)據(jù)量要少得多。30分鐘的音樂，用MIDI文件記錄只需200KB，用16位CD品質(zhì)的未壓縮WAV文件記錄需317MBMIDI可以與其他波形聲音配合使用，形成伴樂的效果。而兩個(gè)波形聲音一般是不能同時(shí)使用的對(duì)MIDI的編輯也很靈活，用戶可以自由地改變音調(diào)、音色等屬性，直到自己想要的效果MIDI在音質(zhì)上還不能與真正的樂器完全相似。無法模擬自然界中其它非樂曲類聲音第四十六頁，共九十八頁，2022年，8月28日2.2.2音頻的數(shù)字化和符號(hào)化（2）語音的符號(hào)化語音與文字是對(duì)應(yīng)的。波形聲音可以記錄表示語音，它是不是語音取決于聽者對(duì)聲音的理解。對(duì)語音的符號(hào)化實(shí)際上就是對(duì)語音的識(shí)別，將語音轉(zhuǎn)變?yōu)樽址粗部梢詫⑽淖趾铣烧Z音。語音指構(gòu)成人類語音信號(hào)的各種聲音。在采集和存儲(chǔ)上可以與波形聲音一樣，但由于語音是由一連串的音素組成。“一句話”中包含許多音節(jié)以及上下文過渡過程的連接體等特殊的信息，并且語音本身與語言有關(guān)，所以要把它作為一個(gè)獨(dú)立的媒體來看待。第四十七頁，共九十八頁，2022年，8月28日2.2.3音頻媒體的三維化處理

1．三維虛擬聲空間所謂三維虛擬聲空間（ThreeDimensionalVirtualAcoustic，3DVA），是指用一定的聲音設(shè)備人為地產(chǎn)生出來的具有空間位置信息的聲音空間。三維聽覺的使用明顯地依賴于用戶對(duì)聽覺空間中各種信息源的定位能力。一般說來，三維虛擬聲空間要達(dá)到以下的一些目標(biāo)：①在可聽的范圍內(nèi)重現(xiàn)頻率分辨度和動(dòng)態(tài)范圍；②在三維空間中精確地呈現(xiàn)聲音的位置信息；③能表達(dá)多個(gè)靜止和移動(dòng)的聲源；④能和頭部的動(dòng)作具有一定的關(guān)聯(lián)；⑤能夠支持一定程度的交互。第四十八頁，共九十八頁，2022年，8月28日2.2.3音頻媒體的三維化處理

2．3DVA的基本理論人類感知聲源位置的最基本的理論是雙工理論，該理論基于兩種因素：兩耳間聲音的到達(dá)時(shí)間差I(lǐng)TD（InterauralTimeDifferences）和兩耳間聲音的強(qiáng)度差I(lǐng)ID（InterauralIntensityDifferences）。時(shí)間差是由于距離的原因造成的，當(dāng)聲音從正面?zhèn)鱽頃r(shí)，距離相等，所以沒有時(shí)間差；但若偏右3o，則到達(dá)右耳的時(shí)間就要比左耳約早30ms，而正是這30ms，使得我們辨別出了聲源的位置。強(qiáng)度差是由于信號(hào)衰減造成的，信號(hào)的衰減是因?yàn)榫嚯x產(chǎn)生的，在很多情況下是因?yàn)槿说念^部遮擋，使聲音衰減，產(chǎn)生了強(qiáng)度的差別，使得靠近聲源一側(cè)的耳朵聽到的聲音強(qiáng)度要大于另一耳。第四十九頁，共九十八頁，2022年，8月28日2.2.3音頻媒體的三維化處理3DVA理論較形象地說明：人耳對(duì)聲音定位的特性，通過大腦的綜合作用后，對(duì)有差別的聲音信號(hào)進(jìn)行了相對(duì)于空間位置的定位。人耳對(duì)聲源方位的判定起決定作用的是耳廓。當(dāng)聲波從聲源傳到聽者的耳部時(shí)，聲波會(huì)在耳廓發(fā)生不斷的反射和折射，然后由內(nèi)耳道傳到耳鼓，使人產(chǎn)生音感。這種反射、折射是依賴于頻率的，通過不同頻率的變化，使得人耳能夠辨別聲源的方位。另外，當(dāng)聲音從聲源傳到人的內(nèi)耳并形成聽覺時(shí)，聲音信號(hào)已經(jīng)攜帶了兩個(gè)很重要的信息，從而形成了空間真實(shí)感和環(huán)境真實(shí)感。聲源的本身信號(hào)特征、聲源的空間三維位置、聲源所處的環(huán)境這三個(gè)因素描述了聲源的全部信息。第五十頁，共九十八頁，2022年，8月28日2.2.3音頻媒體的三維化處理

3．HRTF方法實(shí)現(xiàn)空間真實(shí)感的關(guān)鍵是建立起耳廓模型，這種方法被稱為“雙耳相關(guān)函數(shù)法”，也即HRTF（Head-RelatedTransferFunction，與頭部有關(guān)的轉(zhuǎn)移函數(shù)）。從理論上利用HRTF產(chǎn)生真實(shí)空間聲音的算法如下圖所示。第五十一頁，共九十八頁，2022年，8月28日2.2.3音頻媒體的三維化處理

第五十二頁，共九十八頁，2022年，8月28日2.3視覺媒體技術(shù)

第五十三頁，共九十八頁，2022年，8月28日2.3.1視覺心理學(xué)

1．視覺的心理特征視覺是人類最重要的感知能力，通過視覺可以感知到外部世界的形狀、大小、色彩、明暗、機(jī)理和運(yùn)動(dòng)等多方面的信息。同聲音心理學(xué)相似，與視覺相對(duì)應(yīng)的光學(xué)物理性質(zhì)和心理知覺也是截然不同的。雖然光的物理特性與心理知覺有關(guān)，但它們的關(guān)系并不是線性的。對(duì)光的色調(diào)和亮度的感覺不僅和它的頻率和強(qiáng)度有關(guān)，而且還和它出現(xiàn)的背景有關(guān)，和同時(shí)出現(xiàn)的周圍光有關(guān)。第五十四頁，共九十八頁，2022年，8月28日2.3.1視覺心理學(xué)視覺心理變量主要的物理變量亮度光強(qiáng)色調(diào)（彩色）波長(zhǎng)濃度（彩色的濃度）光譜成分對(duì)比光強(qiáng)、波長(zhǎng)、周圍光第五十五頁，共九十八頁，2022年，8月28日2.3.1視覺心理學(xué)

2.視覺特性

亮度亮度是人眼對(duì)光強(qiáng)度的感受。一個(gè)物體的亮度不僅跟目標(biāo)的物理強(qiáng)度有關(guān)，而且與周圍的背景有關(guān)。假定整個(gè)照明增大了，目標(biāo)和環(huán)境的光強(qiáng)就按照比例增大了，兩者之間的物理對(duì)比就維持不變。但當(dāng)照明增強(qiáng)時(shí)，目標(biāo)的亮度可能會(huì)亮一些，也可能保持不變，甚至看起來亮度減少一些。這些都取決于中心和周圍之間的相對(duì)強(qiáng)度，也就是對(duì)比度。對(duì)圖像的處理最重要的是亮度的差別。第五十六頁，共九十八頁，2022年，8月28日2.3.1視覺心理學(xué)與聲音相似，視覺上也有等亮曲線，反映了視覺在亮度上與波長(zhǎng)的關(guān)系。在同一亮度感覺下，不同波長(zhǎng)的光具有不同的光強(qiáng)。視覺也有掩蔽現(xiàn)象，在很亮的高光周圍時(shí)難以看清的，道理和聲音是類似的。第五十七頁，共九十八頁，2022年，8月28日2.3.1視覺心理學(xué)視覺的時(shí)間特性建立視覺圖像需要時(shí)間，而一旦建立起來之后，即使把圖像對(duì)象拿走，這種反應(yīng)也要維持一段時(shí)間。這是因?yàn)榘压廪D(zhuǎn)變?yōu)樯窠?jīng)電需要時(shí)間。正因?yàn)橐暰W(wǎng)膜圖像時(shí)逐漸消退的，所以視覺暫留可以存在十分之幾秒。第五十八頁，共九十八頁，2022年，8月28日2.3.1視覺心理學(xué)彩色表示顏色需要考慮三種心理屬性：色調(diào)、亮度和飽和度。色調(diào)就是通常意義下的彩色，它隨波長(zhǎng)的變化而變化，反映顏色的基本特性。亮度是光作用于人眼所引起的明亮程度的感覺，與光強(qiáng)有關(guān)。飽和度是代表為了產(chǎn)生所感知到的彩色在白光中必須混入的純單色光的相對(duì)數(shù)量，或者說是顏色的深淺程度。對(duì)同一色調(diào)的彩色光，飽和度越深顏色越鮮艷。色調(diào)和飽和度統(tǒng)稱為色度。第五十九頁，共九十八頁，2022年，8月28日2.3.1視覺心理學(xué)顏色是由三種原色光混合而成的?？梢姽獾牟ㄩL(zhǎng)從380納米到780納米。不同波長(zhǎng)呈現(xiàn)出不同顏色，可見光波長(zhǎng)從長(zhǎng)到短依次為紅橙黃綠青藍(lán)紫。只有單一波長(zhǎng)成分的光稱為單色光，含有兩種以上波長(zhǎng)成分的光稱為復(fù)合光，所有可見光按照一定比例混合就是白色光。在輻射功率相同的條件下，不同波長(zhǎng)的光不僅給人不同的顏色感覺，而且也給人不同的亮度感覺。人眼一般感到紅光最暗，藍(lán)光次之，而黃綠光最亮。研究表明，人眼對(duì)亮度信息敏感，而對(duì)顏色的敏感程度相對(duì)較弱。第六十頁，共九十八頁，2022年，8月28日2.3.1視覺心理學(xué)在白色背景下，一般使用紅黃藍(lán)作為原色來混合其它顏色，這就是減基色合成彩色系統(tǒng)。在黑色背景下，一般使用紅綠藍(lán)作為基色來混合其它顏色，這就是加基色合成彩色系統(tǒng)。一般繪畫時(shí)采用前者，電視中采用后者。第六十一頁，共九十八頁，2022年，8月28日2.3.1視覺心理學(xué)注視點(diǎn)和視野范圍

人在觀察視覺類媒體時(shí)，注視點(diǎn)喜歡集中在什么地方？研究表明，視覺注視點(diǎn)主要集中在圖像中黑白交界的部分，尤其是拐角處。如果是閉合圖形，注視點(diǎn)往往向內(nèi)側(cè)移動(dòng)。注視點(diǎn)容易集中在時(shí)隱時(shí)現(xiàn)運(yùn)動(dòng)變化的部分或者圖像中特別不規(guī)則的地方。人眼的視野開闊，左右視角約為180度，上下約為60度。但視力好的部位僅限于2到3度，用于觀察視覺媒體的細(xì)節(jié)。而在周邊，則主要識(shí)別特征。但是需要注意，只有大的視野才有可能制造出臨場(chǎng)感。第六十二頁，共九十八頁，2022年，8月28日2.3.2模擬視頻原理光柵掃描原理視頻攝像機(jī)將圖像轉(zhuǎn)換為電信號(hào)，電信號(hào)是一維的，但圖像是二維的，將二維圖像轉(zhuǎn)成為一維電信號(hào)是由光柵掃描的方法實(shí)現(xiàn)的。快速的掃描線從頂部開始，一行一行地向下掃描，直至顯示器的最底部，然后再返回頂部的起點(diǎn)，重新開始掃描。這個(gè)過程產(chǎn)生的一個(gè)有序的圖像信號(hào)集合，就組成了電視顯示中的一幅圖像，在此稱為幀。連續(xù)不斷的圖像序列就形成了動(dòng)態(tài)視頻圖像。第六十三頁，共九十八頁，2022年，8月28日2.3.2模擬視頻原理分辨率表現(xiàn)的是電視系統(tǒng)中重現(xiàn)場(chǎng)景細(xì)節(jié)的能力。水平掃描線所能分辨出的點(diǎn)數(shù)稱為水平分辨率。一般來說，點(diǎn)數(shù)越小，線越細(xì)，分辨率就越高。一個(gè)系統(tǒng)的水平分辨率為400線，指在對(duì)應(yīng)于圖像高度的水平距離內(nèi)能交替顯示200條白線和200條黑線。相應(yīng)地，一幀中垂直掃描的行數(shù)稱為垂直分辨率。垂直分辨率和每幀中的掃描線有關(guān)，掃描線越多，分辨率就越高。廣播電視系統(tǒng)垂直的行數(shù)一般是525線（北美和日本）和625線（歐洲和中國）。第六十四頁，共九十八頁，2022年，8月28日2.3.2模擬視頻原理每一秒鐘所掃描的幀數(shù)稱為幀頻，一般為25幀（PAL）或者30幀（NTSC）。由于是隔行掃描，所以垂直頻率分別是每秒50幀和60幀。因此，人眼就不容易看到閃爍。寬高比是掃描的一個(gè)重要的參數(shù)。掃描行的長(zhǎng)度與在圖像垂直方向上的所有掃描行所跨過的距離之比，就成為寬高比。目前電視中的寬高比為4：3，新型電視的寬高比為16：9，有些電影系統(tǒng)的寬高比為2：1。第六十五頁，共九十八頁，2022年，8月28日2.3.2模擬視頻原理彩色視頻加基系統(tǒng)是彩色視頻系統(tǒng)的基礎(chǔ)。彩色電視采用紅綠藍(lán)（RGB）作為三基色進(jìn)行配色，產(chǎn)生出R、G、B三個(gè)輸出信號(hào)，RGB信號(hào)可以分別傳輸，但是要配上相應(yīng)的同步信號(hào)。在RGB系統(tǒng)中需要三根視頻電纜互連，但是三個(gè)信號(hào)在同步關(guān)系方面相當(dāng)復(fù)雜，所以大部分彩色電視不處理RGB，而是將RGB信號(hào)組合起來在一條電纜中傳輸，這就是復(fù)合信號(hào)。第六十六頁，共九十八頁，2022年，8月28日2.3.2模擬視頻原理

現(xiàn)有的幾種不同的復(fù)合信號(hào)有NTSC、PAL和SECAM。根據(jù)亮度/色度原理，任何彩色信號(hào)都可以分為亮度和色度。色度只要使用色差就可以表示顏色信號(hào)，而不必使用RGB三個(gè)完整的信號(hào)。將亮度和色度交錯(cuò)排列分別放到電纜上，就組成了復(fù)合信號(hào)。電視系統(tǒng)的三種制式采用的信號(hào)形式也不完全一樣。NTSC的亮度信號(hào)稱為Y，色度信號(hào)為I和Q，即YIQ方式。PAL制式和SECAM制式的亮度和色度與之相對(duì)應(yīng)為YUV，它們的差別在于編碼方式的不同。YUV、YIQ可以與RGB互換。RGB、YUV和YIQ等都被稱為彩色空間。第六十七頁，共九十八頁，2022年，8月28日2.3.2模擬視頻原理視頻設(shè)備按照用途不同，視頻設(shè)備可以分為廣播、專業(yè)和消費(fèi)三個(gè)級(jí)別。廣播級(jí)一般是大型的電視臺(tái)和網(wǎng)絡(luò)站使用，它的性能最好，用于大系統(tǒng)應(yīng)用，價(jià)格昂貴；專業(yè)級(jí)一般用于教育界和工業(yè)界的小廣播站，有較好的性能。而消費(fèi)級(jí)是家用設(shè)備，一般操作簡(jiǎn)單、性能可靠，一般價(jià)格是第一位的。具體的視頻設(shè)備有如彩色攝影機(jī)、視頻記錄設(shè)備和視頻監(jiān)視設(shè)備。第六十八頁，共九十八頁，2022年，8月28日2.3.3視覺媒體數(shù)字化

1．位圖圖像與數(shù)字視頻

對(duì)計(jì)算機(jī)來說，無論是文字或圖形，還是圖像或視頻，在計(jì)算機(jī)上進(jìn)行處理首先要數(shù)字化。與音頻信號(hào)相似，對(duì)所要處理的一幅畫面，通過對(duì)每一個(gè)象素進(jìn)行采樣，并且按照顏色或者灰度進(jìn)行量化，就可以得到圖像的數(shù)字化結(jié)果。數(shù)字化的結(jié)果放在顯示緩存區(qū)中，與顯示器上的點(diǎn)一一對(duì)應(yīng)，這就是位圖圖像。對(duì)視頻按照時(shí)間進(jìn)行數(shù)字化所得到的圖像序列，就構(gòu)成了數(shù)字視頻序列。它同樣與頻率和量化的比特?cái)?shù)有關(guān)。頻率必須足夠高，以跟上模擬信號(hào)流；量化的比特?cái)?shù)越多，量化的值就越多，所能表示的顏色或灰度級(jí)數(shù)就越多。第六十九頁，共九十八頁，2022年，8月28日2.3.3視覺媒體數(shù)字化

在一幅圖像的X軸上是一行的點(diǎn)數(shù)，在Y軸上是行數(shù)。X、Y的交叉點(diǎn)就是一個(gè)象素，每一個(gè)象素可以有若干比特來表示。按照標(biāo)準(zhǔn)間隔在時(shí)間軸上采樣的圖像組組成視頻序列。所以可以說，圖像是離散的視頻，而視頻是連續(xù)的圖像。當(dāng)進(jìn)行再現(xiàn)時(shí)，被表示稱數(shù)字形式的數(shù)據(jù)按格式和時(shí)間送上顯示器，就又恢復(fù)了原先的形態(tài)。其它的視覺媒體如文字、圖形等，在顯示原理上都是以此為基礎(chǔ)的，它們都是通過預(yù)先的編碼表示出顯示的形式，在再現(xiàn)時(shí)，在顯示器上畫出所要的圖形或者文字。第七十頁，共九十八頁，2022年，8月28日2.3.3視頻媒體數(shù)字化第七十一頁，共九十八頁，2022年，8月28日2.3.3視頻媒體數(shù)字化文件格式說明GIFGraphicsInterchangeFormat的縮寫，是由Compu-Serve公司于1987年為制定彩色圖像傳輸協(xié)議而開發(fā)的一種圖像文件格式TIFFTagImageFileFormat縮寫，是由Alaus和Microsoft公司為掃描儀和桌上出版系統(tǒng)研發(fā)的一種圖像文件格式，它的文件格式全部基于標(biāo)志域TGATargeImageFormat的縮寫，是Truevision公司為Targe和Vista圖像獲取板設(shè)計(jì)的軟件TIPS所使用的文件格式BMP（Bitmap）是一種與設(shè)備無關(guān)的圖像文件格式，是Windows軟件推薦使用的一種格式PCX是由Zsoft公司研制開發(fā)的，一般與PC-PaintBrush圖像軟件一起使用MPG根據(jù)國際標(biāo)準(zhǔn)MPEG編碼的一種動(dòng)態(tài)圖像文件格式AVSIntel和IBM公司共同研制的DVI系統(tǒng)的一種動(dòng)態(tài)圖像文件格式，AVS文件只能在DVI系統(tǒng)硬件下才能夠讀寫AVIIntel和IBM公司共同研制的DVI系統(tǒng)的一種動(dòng)態(tài)圖像文件格式第七十二頁，共九十八頁，2022年，8月28日2.3.3視覺媒體數(shù)字化

2．圖形圖形(Graphics)：一種抽象化的圖像，是對(duì)圖像依據(jù)某個(gè)標(biāo)準(zhǔn)進(jìn)行分析而產(chǎn)生的結(jié)果。它不直接描述數(shù)據(jù)的每一點(diǎn)，而是描述產(chǎn)生這些點(diǎn)的過程及方法。因此被稱之為矢量圖形，一般直接稱為圖形。第七十三頁，共九十八頁，2022年，8月28日2.3.3視覺媒體數(shù)字化

矢量圖形是以一組指令的形式存在的，這些指令描述一幅圖中所包含的直線、圓、弧線、矩形的大小和形狀，也可以用更為復(fù)雜的形式表示圖像中曲面、光照、材質(zhì)等效果。在計(jì)算機(jī)上顯示一幅圖像時(shí)，首先要解釋這些指令，然后將它們轉(zhuǎn)變成屏幕上顯示的形狀和顏色。圖形的矢量化使得有可能對(duì)圖中的各個(gè)部分分別進(jìn)行控制。計(jì)算機(jī)可以對(duì)其中任何對(duì)象分別進(jìn)行任意的變換：放大、縮小、旋轉(zhuǎn)、變形、扭曲、移位、疊加等，并仍保持圖形特性。圖形變換的靈活性，使其在處理上獲得了更大的自由度。第七十四頁，共九十八頁，2022年，8月28日2.3.3視覺媒體數(shù)字化

3．符號(hào)與文字

符號(hào)媒體：是某種抽象的結(jié)果。各種描述量、語言、數(shù)據(jù)、標(biāo)識(shí)符、數(shù)值、字符等都是符號(hào)媒體。由于符號(hào)具有明顯的結(jié)構(gòu)性，大腦可以識(shí)別這種結(jié)構(gòu)，進(jìn)而可識(shí)別出由這一組符號(hào)所代表的信息。這種結(jié)構(gòu)可以組成文本，即字符串；也可以組成數(shù)據(jù)組，如數(shù)據(jù)庫中的一個(gè)元組，均可表達(dá)特定的信息。第七十五頁，共九十八頁，2022年，8月28日2.3.3視覺媒體數(shù)字化

符號(hào)媒體特點(diǎn)：符號(hào)媒體要知識(shí)的輔助才能使用，知識(shí)的輔助隨著層次的升高而不斷增強(qiáng)作用“ICANSPEAKENGLISH”如學(xué)英文時(shí)，開始只認(rèn)識(shí)字母；學(xué)過英文單詞后，認(rèn)識(shí)到一個(gè)個(gè)單詞；學(xué)習(xí)文法后，發(fā)現(xiàn)是一個(gè)句子符號(hào)媒體表達(dá)精度高符號(hào)媒體存儲(chǔ)量小第七十六頁，共九十八頁，2022年，8月28日2.3.3視覺媒體數(shù)字化

文本媒體是用得最多的符號(hào)媒體形式。主要特點(diǎn)如下：文本是流結(jié)構(gòu)形式：由具有上下文關(guān)系的字符串組成,它與字符的結(jié)構(gòu)樣式有關(guān)，與形式無關(guān)對(duì)文本的控制不影響媒體信息本來的表達(dá)文本顯示的改變只是屬性的改變，并不影響文本本身的含義對(duì)文本的處理應(yīng)遵從文本內(nèi)部的結(jié)構(gòu)，如斷詞，接尾，分段，章節(jié)安排第七十七頁，共九十八頁，2022年，8月28日2.3.4視覺媒體的三維立體顯示

1．立體顯示原理三維顯示實(shí)際上具有兩個(gè)含義，一個(gè)是指物體的三維圖像在平面上的顯示，特別是三維圖形的顯示，這是圖形學(xué)的重點(diǎn)。另一個(gè)含義是指所顯示的圖像確確實(shí)實(shí)是立體的，是“浮”在空間中的，和我們所看的立體電影一樣。這是我們討論的重點(diǎn)。視差（parallax）是投影到人眼視網(wǎng)膜上圖像上兩點(diǎn)間的水平距離，正是這個(gè)距離產(chǎn)生了視覺上的立體感。注視遠(yuǎn)處的物體時(shí)的視差與注視近處物體時(shí)的視差是不同的，因此所謂的立體感正是這個(gè)不同距離作用的結(jié)果。第七十八頁，共九十八頁，2022年，8月28日2.3.4視覺媒體的三維立體顯示

2．視差

決定立體視覺的是視差。視差的種類大致分為四種：零視差、正視差、負(fù)視差和發(fā)散視差。它們產(chǎn)生的立體感覺是不同的。零視差：當(dāng)顯示的左右眼圖像之間沒有縫隙時(shí)，視差為零，就稱為零視差。正視差：一旦計(jì)算機(jī)顯示的立體圖像對(duì)的視差大于0，我們就可以看到深度。正視差差值大于0且小于等于人眼之間的距離。負(fù)視差：當(dāng)兩眼的目光交叉時(shí)，就會(huì)產(chǎn)生負(fù)視差。這時(shí)，所觀察的對(duì)象將會(huì)浮現(xiàn)在兩眼與顯示器之間的空間中。發(fā)散視差：視差的值比兩眼之間的距離還要大。第七十九頁，共九十八頁，2022年，8月28日2.3.4視覺媒體的三維立體顯示

視差第八十頁，共九十八頁，2022年，8月28日2.3.4視覺媒體的三維立體顯示

3．立體圖像的產(chǎn)生（1）旋轉(zhuǎn)法

一個(gè)很簡(jiǎn)單的方法是將一幅圖像進(jìn)行旋轉(zhuǎn)以制造出視差效果。旋轉(zhuǎn)的順序是：將整個(gè)圖像從左至右旋轉(zhuǎn)4°，以產(chǎn)生左眼圖像將整個(gè)圖像從右至左旋轉(zhuǎn)4°，以產(chǎn)生右眼圖像執(zhí)行透視投影顯示圖像使用旋轉(zhuǎn)的方法產(chǎn)生出的立體圖像對(duì)一些人來說并不適合，會(huì)引起不舒適感，顯示立體圖像時(shí)一般不采用這種方法。第八十一頁，共九十八頁，2022年，8月28日2.3.4視覺媒體的三維立體顯示

（2）投影變換法投影變換法是模仿人眼觀察物體時(shí)產(chǎn)生的視差，通過運(yùn)算后投影到顯示器上。在這種方法中，場(chǎng)景中的物體對(duì)象在建模之后，通過投影變換生成線框圖，然后對(duì)該物體進(jìn)行成像處理，生成左右眼的圖像。標(biāo)準(zhǔn)的投影變換基于單視點(diǎn)的投影。在坐標(biāo)系中，以視點(diǎn)為投影中心，將三維物體的點(diǎn)投影于顯示器的投影平面上，便在該平面上產(chǎn)生三維物體的像。把投影中心的單點(diǎn)變換為雙點(diǎn)，很容易構(gòu)造出雙眼的投影視圖出來。第八十二頁，共九十八頁，2022年，8月28日2.3.4視覺媒體的三維立體顯示

4．立體圖像的顯示

立體圖像的顯示方法有兩種。一種方法是讓一只眼睛看一個(gè)顯示器，每個(gè)顯示器只顯示對(duì)應(yīng)眼睛的圖像，這樣頭腦中就產(chǎn)生了立體圖像。這種方法的實(shí)現(xiàn)是把顯示器縮小，放入到頭盔中，這就是所謂的頭盔顯示器。另一種方法是在顯示器上快速地顯示兩眼不同的圖像，而觀察者帶上立體眼鏡進(jìn)行觀察。由于眼鏡中的液晶片與顯示的圖像同步地進(jìn)行開關(guān)切換，使得在每一時(shí)刻只有一只眼睛能夠看到對(duì)應(yīng)的圖像，只要速度足夠快，由眼睛的暫留現(xiàn)象和大腦的作用，感覺到的就是立體的圖像。

第八十三頁，共九十八頁，2022年，8月28日2.4觸覺媒體技術(shù)

第八十四頁，共九十八頁，2022年，8月28日2.4.1觸覺媒體概述皮膚可以感覺環(huán)境的溫度、濕度，也可感覺壓力，身體可以感覺振動(dòng)、運(yùn)動(dòng)、旋轉(zhuǎn)等，這些都是觸覺在起作用，都可以作為傳遞信息的媒體。事實(shí)上，觸覺媒體就是環(huán)境媒體，它描述了該環(huán)境中的一切特征和參數(shù)。第八十五頁，共九十八頁，2022年，8月28日2.4.1觸覺媒體概述人體在信息交流過程中起的作用最大的是人的頭部、手部和整體軀干。與外界環(huán)境的觸覺交互主要包括位置跟蹤、力量反饋等方面。對(duì)手部信息的處理包括手部的位置、手指的動(dòng)作類型、手部的感覺、手部的力量反饋等。這些都要有特殊的設(shè)備和技術(shù)完成系統(tǒng)對(duì)手部信息的數(shù)字化和跟蹤，并將它們與系統(tǒng)的控制和應(yīng)用結(jié)合起來。這些設(shè)備和技術(shù)包括數(shù)據(jù)手套、壓力傳感手套、手部位置超聲波跟蹤器、力量反饋接口等。對(duì)軀干的位置跟蹤和反饋與手部和頭部很類似，但它要反映人體的體勢(shì)語言和外界對(duì)人體的力量反饋，如振動(dòng)、傾覆、旋轉(zhuǎn)等。這些設(shè)備包括數(shù)據(jù)服裝、三維數(shù)據(jù)座艙、模擬器等。第八十六頁，共九十八頁，2022年，8月28日2.4.2簡(jiǎn)單指點(diǎn)設(shè)備與技術(shù)1．指點(diǎn)的任務(wù)指點(diǎn)的任務(wù)包括：選擇定位定向路徑數(shù)量操作第八十七頁，共九十八頁，2022年，8月28日2.4.2簡(jiǎn)單指點(diǎn)設(shè)備與技術(shù)2．指點(diǎn)設(shè)備指點(diǎn)設(shè)備分成直接指點(diǎn)設(shè)備和間接指點(diǎn)設(shè)備兩類。前者直接使用特殊的指點(diǎn)設(shè)備或用手指點(diǎn)屏幕，后者則通過指點(diǎn)設(shè)備的間接動(dòng)作對(duì)屏幕上的對(duì)象進(jìn)行指點(diǎn)。直接指點(diǎn)設(shè)備包括：光筆、觸摸屏及輸入筆等。間接指點(diǎn)設(shè)備包括：鼠標(biāo)、跟蹤球、控制桿和圖形板。這些設(shè)備不接觸顯示屏幕，所以使用時(shí)不會(huì)遮擋視線，也不易疲勞。第八十八頁，共九十八頁，2022年，8月28日2.4.2簡(jiǎn)單指點(diǎn)設(shè)備與技術(shù)這些指點(diǎn)設(shè)備的輸入都是在顯示平面上的二維坐標(biāo)空間中進(jìn)行的，包括坐標(biāo)改變的速度。除非經(jīng)過特殊的變換，很難把它們向三維空間轉(zhuǎn)換?，F(xiàn)在又出現(xiàn)了一些新型的指點(diǎn)設(shè)備，例如腳用鼠標(biāo)器、視線跟蹤器、凝視檢測(cè)控制器等。第八十九頁，共九十八頁，2022年，8月28日2.4.3位置跟蹤