《第2課 自然語言描述算法》參考課件6

第2課 自然語言描述算法 浙教版五年級上冊01.描述算法的常用方法。02.用自然語言描述算法。目錄第一節(jié)1.描述算法的常用方法。

算法的描述方法把求解問題的方法及其步驟用一種規(guī)范、可讀性強的方式描述出來稱為算法的描述，常用的描述方法有自然語言描述、流程圖描述、偽代碼描述等第一種：流程圖流程圖是描述代碼的一種很好的工具，利用流程圖，可以很好的表現(xiàn)出秩序執(zhí)行過程中的三種基本結(jié)構組成一順序結(jié)構、選擇結(jié)構、循環(huán)結(jié)構等。需要注意的是，在使用流程圖時，規(guī)定需要使用一些基本圖形。流程圖（N-S圖）還有一種流程圖，叫做N-S圖，是在以前的流程圖的基礎上重新進行了改變，去掉了流程線，并且算法的每一步都用一個框進行描述，最終的執(zhí)行是將所有的矩形框按照順序連接起來。第二種：偽代碼偽代碼是一種介于我們編寫的由機器執(zhí)行的語言，但是又不受語法約束的代碼。這種語言時無法被機器執(zhí)行的，但是和流程圖一樣，也是一種常用的描述算法的方法。偽代碼主要是用來表示代碼之間的邏輯關系，并不能交由計算機執(zhí)行。因此，主要使用對象是設計師和程序員，是用來表達在編碼前對算法執(zhí)行過程中的一些想法的工具。第三種：自然語言算法的第三種表述，就是使用自然語言進行描述。自然語言比較符合我們的閱讀習慣，是一種我們都能夠理解的方式。不過，這種方式的缺點是無法很準確的描述循環(huán)、選擇等結(jié)構。1、理解問題。2、分析問題。 3、確定適當數(shù)據(jù)結(jié)構和流程控制結(jié)構。4、用偽代碼表述算法。5、思考算法正確性與效率。如何寫好算法第二節(jié)2.用自然語言描述算法。

用自然語言描述算法

1.收集數(shù)據(jù)：文本信息的常見來源包括-商品評價、用戶產(chǎn)出的內(nèi)容(推文、帖子、提問等)、問題解決方案等2.清洗數(shù)據(jù)：去除一切不相關的字符-比如任何非數(shù)字字母的字符(針對英文)；標記文本，并拆分為獨立的單詞；去除不相關的詞語；所有字母轉(zhuǎn)換為小寫；將拼錯的單詞或者多種拼法的單詞與某個特定的表達綁定；考慮詞形還原

3.找到好的數(shù)據(jù)表達方式(one-hotrepresentation)：例如可以為數(shù)據(jù)集中的所有單詞制作一張詞表，將每個單詞和一個唯一的索引關聯(lián)。每個句子都是由一串數(shù)字組成(詞表中獨立單詞對應的個數(shù))。通過列表的索引，可以統(tǒng)計出句子中某個單詞出現(xiàn)的次數(shù)(即詞袋模型)，完全忽略句子中單詞的順序4.分類

5.檢驗

6.解釋詞語結(jié)構：在詞袋模型的基礎上進行TF-IDF評分.

7.利用語義：

模型部署之后很有可能遇到在訓練集中沒有出現(xiàn)過的單詞，那么模型可能就無法準確的為這些推文分類。需要獲取到詞語的語義來解決這個問題(比如：Word2Vec詞向量-用來為單詞尋找連續(xù)嵌入的技術)，也就是說我們需要理解“good”和“positive”比“apricot”和“continent”更接近。8.Word2Vec通過讀取大量文本并記憶出現(xiàn)在相似上下文中的單詞進行學習，在經(jīng)過足夠的訓練后，它會為詞表中的每個單詞生成生成一個100-300維的向量，具有相似含義的單詞會靠的更近

NLP關鍵的實際應用

1.識別不同使用者/用戶的客戶群(預測用戶流失、生命周期價值、產(chǎn)品偏好)

2.精準檢測和提取反饋分類(正負面的評論觀點、對衣服尺寸或舒適度等一些特別屬性的提及)

3.根據(jù)意圖進行文本分類(請求普通幫助、緊急問題處理)

NLP關鍵的實際應用

4.對微博信息進行分析，通過社交輿情看關注點

5.對郵件分析，結(jié)合貝葉斯算法判斷哪些是垃圾郵