多媒體技術MultimediaTechnology

1、多媒體技術多媒體技術Multimedia Technology全校公選課： 3*12=36學時，2學分研究生選修課：3*18=54學時，3學分電子課件：電子課件：http:/ 多媒體技術基礎. 清華大學出版社/北京交通大學出版社，2009.9.成績成績：考勤答問5% + 平時作業(yè)15% + 大作業(yè)20%+ 期末考試（開卷筆試）60%課程要求課程要求 內容內容：多媒體技術的內容豐富且應用廣泛。通過本課程的學習，掌握各種媒體(文、聲、圖、像、動畫、視頻)的性質；掌握多媒體數據的壓縮算法、編碼標準與存儲格式；了解光存儲和多媒體網絡通信等技術；了解超文本的概念與模型；了解多媒體技術的主要應用。 重點重

2、點：數據壓縮、編碼標準、標記語言（網頁設計） 、開發(fā)編程。參考書參考書 林福宗. 多媒體技術基礎(第3版). 清華大學出版社，2009.1. 李澤年、Mark S. Drew. 多媒體技術教程. 機械工業(yè)出版社，2007.1. Tay Vaughan. 多媒體技術及其應用（第6版）. 清華大學出版社，2004.11 鄂大偉. 多媒體技術基礎與應用（第二版）. 高等教育出版社，2003.9. 鐘玉琢等. 多媒體技術基礎及應用. 清華大學出版社，2000.8. Ralf Steinmetz & Klara Nahrstedt. 多媒體原理（第一冊）媒體編碼及內容分析. 電子工業(yè)出版社，20

3、03.8. 作業(yè)要求 編程工具：Visual C+ 或 Java、VB、C#等 提交的作業(yè)內容：（說明文檔占作業(yè)成績的30%以上） 說明性文檔：姓名、學號、章節(jié)，題目的名稱、內容和要求，使用的算法、方法和技術，程序的模塊、功能和使用方法、界面/結果畫面、參考文獻、心得體會。（電子文檔，老Word格式.doc文件） 源程序：工作區(qū)與項目文件(*.sln與*.vcproj)、頭文件(*.h)、代碼文件(*.cpp)、資源文件(*.rc)等文件及資源目錄res、數據文件、可執(zhí)行文件的發(fā)行版。（不要其他中間文件及整個Debug子目錄和Release子目錄中的非可執(zhí)行文件） 注意：作業(yè)包名應該包含自己的

4、學號、姓名，及與作業(yè)內容相關的文字串（如“12380123張三-文字.rar”、“13380124李四-壓縮.rar”、“14380125王五-網頁.zip”） 提交作業(yè)的方式：將作業(yè)打包后作為電子郵件附件，發(fā)到我的郵箱 。 交平時作業(yè)的時間：布置作業(yè)后一周之內第第1章章 引論引論 1.1 媒體與多媒體 媒體、多媒體 1.2 多媒體技術 概念、主要特點、定義 1.3 意義、簡史與內容 1.1 媒體與多媒體媒體與多媒體 多媒體技術 = 多種 + 媒體 + 技術 媒體 媒體(medium) = 信息的載體(復數media) 1993年國際電信聯盟(ITU = International Telec

5、ommunication Union) 定義了五種媒體 本課程所說的媒體是指感覺媒體 計算機(多媒體技術)所處理的媒體主要是表示媒體國際電信聯盟ITU定義的五類媒體 感覺(Perception)媒體：人的感官能感覺到的東西，如聲音、文字、圖像、質地、氣味、溫度、壓力等； 表示(Representation)媒體：為了加工感覺媒體而構造出來的一種媒體，如各種編碼。即感覺媒體的數字化編碼（人造媒體），如各種媒體文件； 展現(Presentation)媒體：感覺媒體與通信電信號進行轉換的一類媒體，它又可分為：輸入展現媒體，輸出展現媒體。即I/O工具與設備； 存儲(Storage)媒體：用于存放表示媒

6、體的物理實體，如：紙、唱片、錄音帶、錄像帶、膠片，內存、硬盤、光盤、磁帶等； 傳輸(Transmission)媒體： 用來將表示媒體從一處傳送到另一處的物理傳輸介質，如通信電纜、光纖、電磁空間等。多媒體 多媒體：多種媒體（文本、圖形、圖像、聲音、動畫、視頻等）的綜合。 計算機技術的發(fā)展（處理對象）：操作系統(tǒng)：無OS DOS/Unix MacOS/Windows/X-Window Linux/iOS/Android編程語言：Fortran COBOL Basic/C C+/Java/C#/Object-C處理數據：數字 字符 圖形 多媒體適用對象：專家 商用 通用 人性化人類接受外部信息的途徑與

7、所占的百分比 感覺（感官）百分比視覺（眼）80%聽覺（耳）10%嗅覺（鼻）味覺（舌）觸覺（皮膚）10%Ted Nelson：“我們居身在媒體世界里就像魚生活在水中”媒體的種類 目前的計算機主要處理6種視覺和聽覺媒體：文本、圖形、圖像、聲音、動畫、視頻等。 氣味（嗅覺）和壓力（觸覺）媒體（平版電腦和智能手機的觸摸屏主要用作輸入設備）也有少量應用（如仿真影院、游戲操縱桿、虛擬現實等），但不太普及；味覺媒體至今仍未見應用；所以，這些媒體種類本課程將不予討論。 可以依據是否與時間相關，將媒體分成如下兩類： 靜態(tài)媒體（離散媒體/非時基媒體）：與時間無關的媒體，如文本、圖形、圖像； 流式媒體（連續(xù)媒體/時

8、基媒體）：與時間有關的媒體，如聲音、動畫、視頻。該類媒體有實時和同步等要求。 1.2 多媒體技術多媒體技術1.2.1 概念的抽象層次： 哲學/信念(社科) | 科學/研究(理科) | 工程/應用（工科） 主義主義思想思想 理論理論方法方法技術技術工藝工藝 產品產品 信仰 觀念 體系 算法 應用 操作 生產 技術：方法的應用，理論性不強、實用性強 多媒體技術：沒有自己的成套理論，是各種相關方法的綜合應用。為計算機應用學科的一個分支。 定義：計算機綜合處理多種媒體信息，使多種信息建立邏輯連接，集成為一個系統(tǒng)并且具有交互性的一種技術。（至今無嚴格統(tǒng)一的定義） 1.2.2 多媒體技術的主要特點(1)

9、多樣性：多種媒體、豐富感覺(2) 集成性：多種媒體信息與技術設備的綜合集成與同步(3) 交互性：人機交互、主動參與(4) 實時性：流媒體（音頻/動畫/視頻）傳統(tǒng)電視符合(1)(2)(4)，但不符合(3) 數字電視全符合多媒體的其他特點：數字化、數據量巨大（所以數據壓縮是多媒體的核心技術核心技術） 1.3 意義、簡史與內容意義、簡史與內容1.3.1 多媒體技術的意義多媒體技術的意義 人類最重要的三大資源：材料（物質）、能源（動力）、信息（數據） 信息技術的五飛躍：印刷術、廣播電視、計算機、多媒體、因特網（萬維網） 信息環(huán)境E = 多媒體m * 計算機c * 通信c （質能公式E = mc2） 信

10、息時代計算機的發(fā)展方向：智能（聰明）+ 多媒體（人性化）+ 網絡（便捷）= 智能手機/普適計算？1.3.2 多媒體技術的簡史下面從圖形用戶界面、光存儲、多媒體系統(tǒng)、壓縮編碼標準、網絡與標記語言等幾個方面來介紹多媒體技術的發(fā)展簡史。 圖形用戶界面： 1950年MIT的林肯實驗室推出CRT顯示器 1963年Douglas Engelbart發(fā)明鼠標，1968年他公開演示視窗與人機界面、超媒體和群件 1972年Alan Kay設計出面向對象的Smalltalk語言，首創(chuàng)下拉式菜單，提出GUI概念 1973年施樂Xerox公司的PARC研究中心推出具有圖形用戶界面（鍵盤+顯示器 / 鼠標+位圖）的原型

11、機Alto 1982年多倫多大學發(fā)明感應食指指壓的多點觸控（multi-touch）屏幕。1984年貝爾實驗室研制出一種能夠以多于一只手控制改變畫面的觸屏 1984年Apple公司推出Macintosh計算機(Motorola 6800)，在微機中引入圖形界面；1987年8月Apple公司在Mac機中引入超級卡HyperCard系統(tǒng)，使其成為多媒體計算機 1985年MIT推出X-Window（Unix的圖形界面） 1985年11月Microsoft推出Windows 1.0（PC機的圖形界面），1990年5月Windows 3.0獲得成功，1992年4月推出多媒體操作系統(tǒng)(MOS) Windo

12、ws 3.1，1999年推出具有流媒體功能的MOS Windows 2000，2006年11月推出具有3D用戶界面的Windows Vista（遠景），2012年10月推出支持Metro卡片界面與多點觸控的Windows 8 2005年9月17日日本的任天堂公司發(fā)布了Wii游戲機的Wii遙控器，支持指向定位與動作感應；Wii遙控器 2007年1月Apple推出支持多點觸控的智能手機iPhone，大獲成功，開創(chuàng)了智能手機的新時代； 2008年4月17日Microsoft推出支持多點觸控和聲音指令的Surface技術；PlayStation Move 2009年6月2日索尼公司推出了針對其Play

13、Station 3 (PS3) 游戲機的PlayStation Move控制器，配合PlayStation Eye可提供了六軸感應、振動及體感功能； 2010年11月4日微軟推出針對其Xbox 360游戲機的體感設備Kinect for Xbox 360，不需要手持或踩踏控制器，可使用語音指令或手勢來操作游戲機界面，并能捕捉玩家全身上下的動作，用身體來玩游戲。2012年2月1日又推出面向Windows的Kinect版本“Kinect for Windows”； 2011年10月14日Apple推出同時支持多點觸控和智能語音指令的iPhone 4S。 2013年3月14日三星推出的Galaxy

14、S4智能手機，支持懸浮操作和眼球控制。體感輸入設備 任天堂的Wii遙控器 索尼的PS運動控制器 微軟的Kinect 光存儲： 1981年Philips & Sony 推出CD-DA； 1985年Philips & Sony 推出CD-ROM； 1993年JVC、Philips、Matsushita、Sony聯合推出VCD； 1995年9月Sony & Philips / Toshiba & Time Warner推出DVD； 2002年2月索尼等9個公司提出藍光盤BD(Blu-ray Disc)，單層25GB/雙層50GB/四層100GB/八層200GB； 20

15、05年2月23日EVD成為中國電子行業(yè)推薦性標準（采用DVD-9介質和新壓縮算法，可實現全高清19201080i的視頻編碼與重放）； 2009年12月17日 藍光光盤協(xié)會(BDA)正式宣布完成Blu-ray 3D標準的制定； 2014年9月5日BDA宣布4K Blu-ray Disc標準將支持4K分辨率（4096*2160）的視頻、采用H.265/HEVC編碼、數據率50100Mbps，計劃于2014年底推出標準、2015年春夏發(fā)放許可、2015年秋冬推出4K-BD機。 壓縮編碼標準： 1986年CCITT與ISO成立JPEG(Joint Photographic Experts Group，

16、聯合圖象專家組) 1991年公布靜態(tài)圖像壓縮標準JPEG(ISO/IEC 10918) 2000年12月公布JPEG 2000(ISO/IEC 15444) 1988年成立MPEG(Moving Picture Expert Group，運動圖像專家組) ：(MPEG1/2的視頻壓縮率為30倍左右) 1992年11月推出MPEG-1(ISO/IEC 11172) 1994年11月推出MPEG-2(ISO/IEC 13818) 1998年10月推出MPEG-4(ISO/IEC 14496) 2001年9月推出MPEG-7(ISO/IEC 15938) 2001年12月開始推出MPEG-21 (I

17、SO/IEC 21000) 1996年10月W3C推出靜態(tài)圖像編碼標準PNG； 2001年12月MPEG與ITU-T的VCEG共同成立的JVT (Joint Video Team，聯合視頻組)： 2003年5月推出了視頻編碼標準H.264/AVC（Advanced Video Coding，先進視頻編碼），對應于MPEG-4的第10部分AVC（ITU-T H.264、ISO/IEC 14496-10），其壓縮率是MPEG1/2的3倍左右 2013年4月13日又推出了壓縮比是H.264/AVC的2倍左右的視頻編碼標準H.265，對應于MPEG-H的第2部分HEVC（High Efficiency

18、 Video Coding，高效視頻編碼）（ITU-T H.265、ISO/IEC 23008-2） 2006年2月22日中國公布先進音視頻編碼國家標準AVS（Audio Video coding Standard，音視頻編碼標準）的視頻部分（GB/T 20090.2-2006） 2009年7月AVS與H.264/AVC和VC1被ITU并列為IPTV的三大視頻編碼標準 2011年6月AVS成為我國數字電視接收機唯一必須支持的視頻編碼標準 2012年7月支持3D高清視頻編碼的AVS+的第一部分成為廣電行業(yè)標準GY/T 257-2012 2012年12月31日公布AVS的系統(tǒng)部分（GB/T 200

19、90.1-2012）、符合性測試部分（GB/T 20090.4-2012）和參考軟件部分（GB/T 20090.5-2012） 2014年8月支持超高清視頻編碼的第二代AVS標準AVS2的制訂工作已經完成，現在正在公開征求意見 網絡與標記語言： 1983年因特網的前身ARPANet啟用TCP/IP協(xié)議集； 1989年Tim Berners-Lee提出HTML/HTTP，創(chuàng)立萬維網；1994年他又牽頭成立萬維網協(xié)會W3C； 1990年Tim Berners-Lee發(fā)明了首個（只支持文本的）網頁瀏覽器WorldWideWeb；1993年初，Marc Anderressen與Eric Bina合作開

20、發(fā)出支持內嵌圖像的網頁瀏覽器馬賽克（Mosaic），1994年10月Anderressen等人創(chuàng)辦的網景公司Netscape推出了Navigator瀏覽器；1995年網景公司的Brendan Eich發(fā)明了JavaScript，為網頁瀏覽器提供了腳本功能和動態(tài)能力；1995年微軟公司購得馬賽克技術，并在此基礎上開發(fā)出IE（Internet Explorer，因特網探索者）瀏覽器，隨Windows 95免費推出；1998年2月23日Netscape推出了開源項目Mozilla，2002年9月23日推出Mozilla Fixfox（火狐）瀏覽器，2008年9月2日谷歌在Mozilla的基礎上開發(fā)出Google Chrome（鉻）瀏覽器； 1998年2月W3C推出XML；接著W3C又推出基于XML的系列應用標準，如SMIL(多媒體集成，1998年6月)、XHTML（網頁描述，2000年1月）、SVG(二維矢量圖與動畫，2000年9月)等。1.3.3 多媒體技術的內容 多媒體技術的內容廣泛，涉及多個學科和領域。多媒體技術的教材的內容選取和編排也各不相同，主要分為兩類： 應用型簡單介紹媒體的基本屬性，重點講解各種用戶級的多媒體素材和著作工具軟件的使用，如Photoshop、Corel Dr