第4章-非結構化數(shù)據的處理.ppt課件

1、 做中國領先的科研資源提供商第四章 非結構化數(shù)據的處理大數(shù)據處理配套課件總課時：4小時（實驗：3小時）提綱非結構化數(shù)據處理概述自然語言處理技術概述自然語言處理的基本技術什么是非結構化數(shù)據相對于結構化數(shù)據（即行數(shù)據，存儲在數(shù)據庫里，可以用二維表結構來邏輯表達實現(xiàn)的數(shù)據）而言，不方便用數(shù)據庫二維邏輯表來表現(xiàn)的數(shù)據即稱為非結構化數(shù)據，包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等。絕大部分數(shù)據是非結構化數(shù)據世界上85%的數(shù)據都是非結構化數(shù)據，這些數(shù)據每年都按指數(shù)增長60%。非結構化數(shù)據處理的技術非結構化數(shù)據處理的主要技術是自然語言處理技術。用來對非結構化數(shù)據

2、進行各種層次的理解。自然語言處理技術我要去清華大學，從西直門怎么走？學院路堵不堵？為什么我上個月已退了GPRS,這個月還扣我錢？服務：路線查詢起點：西直門終點：清華大學服務：路況查詢地點：學院路服務：客服投訴業(yè)務：GPRS訴求：錯誤扣費提綱非結構化數(shù)據處理概述自然語言處理技術概述自然語言處理的基本技術自然語言的概念什么是自然語言語言是人類交際的工具，是人類思維的載體人造語言：編程語言，包括C+, BASIC等 世界語自然語言：形式：口語、書面語、手語語種：漢語、英語、日語、法語語言學是研究語言規(guī)律的科學網絡語言“昨晚，我的JJ帶著他的青蛙BF到我家來吃飯。在飯桌上，JJ的BF一個勁兒地對我媽媽

3、PMP，說她年輕的時候一定是個漂亮MM，那醬紫真是好BT，7456” JJ : 姐姐 醬紫：這樣子 BF : boy friend青蛙：長相不好的男朋友 PMP:拍馬屁MM：妹妹BT：變態(tài)7456：氣死我了語言的構成語言詞匯語法詞熟語詞法句法詞素構形法構詞法詞組構造法造句法語言詞匯語法詞熟語詞法詞素句法構形法構詞法詞組構造法語言詞匯語法詞熟語詞法詞素自然語言處理的層次語音分析：從語音流中區(qū)分出一個一個聲音單元-音素詞法分析：從句子中切分出單詞、找出詞匯的各個詞素，確定單詞的詞性、詞義等。句法分析：對句子和短語的結構進行分析，找出詞、短語等的相互關系及在句子中的作用等。語義分析：識別一句話所表達

4、的實際意義。語用分析：研究語言所在的外界環(huán)境對語言使用所產生的影響。語義與語用同一詞語在不同的“語境”中具有不同“語義”例如：中國奧運史上十大女杰的精彩“轉身” 病毒 計算機領域：計算機病毒醫(yī)學領域：生物學病毒自然語言處理的概念自然語言處理（ Natural Language Processing,NLP ）也稱自然語言理解或計算語言學；主要研究如何讓機器進行自然語言信息處理，即人類語言活動中，信息成分的發(fā)現(xiàn)、提取、存儲、加工與傳輸。NLP是計算機科學、語言學、人工智能與數(shù)學等學科的交叉學科和邊緣學科。計算語言學是從計算角度處理語言將人們對語言的結構規(guī)律的認識用精確的、形式化的、可計算的方式（

5、計算模型）加以表示。自然語言理解的困難自然語言具有多樣性（不同語種、不同地域、不同人群）自然語言具有進化性自然語言的模糊性自然語言的歧義性 處理歧義問題是NLP的核心問題。自然語言處理過程就是各種歧義現(xiàn)象的消解過程。自然語言理解的困難機器能夠理解人的語言嗎？很難！什么是理解？結構主義：機器的理解機制與人相同（白盒）問題：人類語言理解機理尚未清楚功能主義：機器的表現(xiàn)與人相同即可（黑盒）圖靈測試如果通過自然語言的問答，一個人無法識別和他對話的是人還是機器，那么就應該承認機器具有智能理解自然語言的準則給計算機輸入一段自然語言文本，如果計算機能問答(question-answering)機器能正確地回

6、答輸入 文本中的有關問題；文摘生成(summarizing)機器有能力產生輸入文本 的摘要；復述(paraphrase)機器用不同的詞語和語句復述輸入文本；翻譯(translation)機器把一種語言(源語言)翻譯為 另一種語言(目標語言)自然語言處理的研究目標弱人工智能目標：建立一個足夠精確的語言數(shù)學模型使計算機通過編程來完成自然語言的相關任務。如：聽、讀、寫、說，釋義，翻譯，回答問題等；強人工智能目標：讓用戶能通過自然語言與計算機自由對話；自然語言處理的研究內容應用系統(tǒng)數(shù)字圖書館、電子商務、電子政務、遠程教育、語言學習基礎研究分詞、詞性標注、短語切分、句法分析、語義分析、篇章理解等應用技術

7、研究自動問答、機器翻譯、信息檢索、文本挖掘、自動校對、信息抽取資源建設語料庫資源建設語言學知識庫建設語言學家NLP研究者軟件企業(yè)自然語言處理的應用NLP應用前景據統(tǒng)計，日常工作中80%的信息來源于語言，處理文本的需求在不斷增長文本是人類知識最大的存儲源，并且文本的數(shù)量在不停地增長電子郵件、新聞、網頁、科技論文、 用戶抱怨信NLP典型應用智能搜索引擎、自動問答、信息獲取、語義網語音識別，文字識別、輸入法機器翻譯，自動文摘，跨語言檢索文本分類、文本聚類、文本分析（結構、內容、情感）、文本挖掘（主題跟蹤：人物跟蹤，企業(yè)跟蹤)、文本過濾自然語言處理的應用趨勢智能接口功能：把現(xiàn)實世界中的信息送入電子世界

8、主要成果拼音輸入、手寫輸入、語音合成、語音輸入，手機輸入知識處理功能：對于已進入電子世界中的信息進行加工處理獲得知識知識經濟的時代已經到來！知識就是力量知識就是財富百度愛問、百度文庫、新浪愛問、VC知識庫提綱非結構化數(shù)據處理概述自然語言處理技術概述自然語言處理的基本技術自然語言處理的基本技術詞法分析句法分析語義分析詞法分析概述詞法分析目的是從句子中切分出單詞，找出詞匯的各個詞素，從中獲得單詞的語言學信息并確定單詞的詞性詞性 : 名詞、動詞、形容詞、介詞等詞的構成 : 動賓, 動補, 偏正, 主謂如: 開學, 生病, 加深, 認清, 原油, 火熱, 頭痛, 人造自動分詞: 漢語處理的難題之一用程

9、序從句子中切分出單詞詞法分析的分詞歧義例：南京市長江大橋 南京|市長|江大橋 南京市|長江|大橋 例：我們研究所有東西我們-研究所-有-東西（交叉歧義）我們-研究-所有-東西把手放在桌上把-手-放在-桌上（組合歧義）把手-放在-桌上句法分析概述目的：分析句子結構, 找出詞,短語在句中的相互關系以及各自的作用, 并用層次結構來加以表示S NP VP V NPPPMiss Smith put two books on this dining table.句法分析過程 一個句子是由各種不同的句子成分組成的。這些成分可以是單詞、詞組或從句。句子成分還可以按其作用分為主語、謂語、賓語、賓語補語、定語、狀

10、語、表語等。這種關系可用一棵樹來表示，如對句子： He wrote a book. 可用圖示的樹形結構來表示。 句子主語謂語動詞賓語Hewroteabook句法分析過程 一個句子又是由若干個詞類構成的，如名詞、動詞、代詞、形容詞等。若從句子的詞類來考慮，一個句子也可用一棵樹來表示，這種樹稱為句子的分析樹，如圖所示：句子代 詞動詞短語動 詞名詞短語Hewroteabook語義分析概述語義分析就是要識別一句話所表達的實際意義。即弄清楚“干什么了”，“誰干的”，“這個行為的原因和結果是什么”以及“這個行為發(fā)生的時間、地點及其所用的工具或方法”等。語義分析僅是在句法范圍內根據詞性信息來分析自然語言中句

11、子的文法結構的，由于它沒有考慮句子本身的含義，也就不能排除像 The paper received the professor. 這種在語法結構上正確，但實際意義上錯誤的句子。語義分析過程John gave the book to SallyGAVE Agent: John Object: the book Source: John Goal: SallyAgent（施事）：指行為的施動者；Object（受事）：指行為作用的對象；Co-Agent（共施事）：指行為施動者的合作者；Instrument（工具）：指施事者或共施事者實現(xiàn)行為中所使用的對象；Time（時間）：指行為發(fā)生的時間；Sour

12、ce（來源）：指行為作用對象移出的位置；Goal（目標）：指行為作用對象到達的位置；Trajectory（軌跡）：指從來源到目標所經過的路徑。習題非結構化數(shù)據和結構化數(shù)據有什么區(qū)別？什么是自然語言處理？詞法分析、句法分析和語義分析的功能及區(qū)別？配套實驗非結構化數(shù)據的處理分詞工具使用分詞程序編寫句法分析實驗高效的文本處理工具9、春去春又回，新桃換舊符。在那桃花盛開的地方，在這醉人芬芳的季節(jié)，愿你生活像春天一樣陽光，心情像桃花一樣美麗，日子像桃子一樣甜蜜。2022/7/252022/7/25Monday, July 25, 202210、人的志向通常和他們的能力成正比例。2022/7/252022

13、/7/252022/7/257/25/2022 1:17:14 AM11、夫學須志也，才須學也，非學無以廣才，非志無以成學。2022/7/252022/7/252022/7/25Jul-2225-Jul-2212、越是無能的人，越喜歡挑剔別人的錯兒。2022/7/252022/7/252022/7/25Monday, July 25, 202213、志不立，天下無可成之事。2022/7/252022/7/252022/7/252022/7/257/25/202214、Thank you very much for taking me with you on that splendid outing to London. It was the first time that I had seen the Tower or any of the other famous sights. If Id gone alone, I couldnt have seen nearly as much, because I wouldnt have known my way about.。25 七月 20222022/7/252022