《數(shù)據(jù)采集技術(shù)》課件-正則表達(dá)式

正則表達(dá)式Contents知識(shí)目標(biāo)掌握正則表達(dá)式常用語(yǔ)法技能目標(biāo)提高數(shù)據(jù)分析和處理能力素養(yǎng)目標(biāo)培養(yǎng)良好的信息素養(yǎng)和道德意識(shí)正則表達(dá)式RegularExpression，簡(jiǎn)稱RE常用于：檢索、替換符合某個(gè)模式的文本正則表達(dá)式是一段字符串，可以表示一段有規(guī)律的信息。正則表達(dá)式RegularExpression，簡(jiǎn)稱REPython自帶一個(gè)正則表達(dá)式模塊，通過(guò)這個(gè)模塊可以：查找、提取、替換一段有規(guī)律的信息Python正則表達(dá)式模塊Python標(biāo)準(zhǔn)庫(kù)中的re模塊提供正則表達(dá)式的全部功能，可以直接引入。importre正則表達(dá)式的模式正則表達(dá)式的模式內(nèi)容字面值字符例如字母、數(shù)字、空格等，可以直接匹配它們自身。特殊字符例如點(diǎn)號(hào).、星號(hào)*、加號(hào)+、問(wèn)號(hào)?等，它們具有特殊的含義和功能。字符類用方括號(hào)[]包圍的字符集合，用于匹配方括號(hào)內(nèi)的任意一個(gè)字符。元字符例如\d、\w、\s等，用于匹配特定類型的字符，如數(shù)字、字母、空白字符等。量詞例如{n}、{n,}、{n,m}等，用于指定匹配的次數(shù)或范圍。邊界符號(hào)例如^、$、\b、\B等，用于匹配字符串的開頭、結(jié)尾或單詞邊界位置。正則表達(dá)式的模式方法說(shuō)明compile將正則表達(dá)式的字符串轉(zhuǎn)化為Pattern匹配對(duì)象。match將輸入的字符串從頭開始對(duì)輸入的正則表達(dá)式進(jìn)行匹配，一直向后直至遇到無(wú)法匹配的字符或到達(dá)字符串末尾，將立即返回None，否則獲取匹配結(jié)果。search將輸入的字符串整個(gè)掃描，對(duì)輸入的正則表達(dá)式進(jìn)行匹配，獲取匹配結(jié)果，否則輸出None。split按照能夠匹配的字符串作為分隔符，將字符串分割后返回一個(gè)列表。findall搜索整個(gè)字符串，返回一個(gè)列表包含全部能匹配的子串。finditer與findall方法作用類似，以迭代器的形式返回結(jié)果。sub使用指定內(nèi)容替換字符串中匹配的每一個(gè)子串內(nèi)容。re模塊中常用的方法如下表所示re模塊中常用的方法將正則表達(dá)式的字符串轉(zhuǎn)化為Pattern匹配對(duì)象，compile方法的語(yǔ)法格式：pile(pattern[,flags])pattern一個(gè)字符串形式的正則表達(dá)式flag一個(gè)可選參數(shù)，表示匹配模式比如忽略大小寫，多行模式等compile方法re模塊中常用的方法flag參數(shù)的可選值如表所示：可選值說(shuō)明re.I忽略大小寫re.M多行模式，改變“^”和“$”的行為re.S“.”任意匹配模式，改變“.”的行為re.L使預(yù)定字符類\w\W\b\B\s\S取決與當(dāng)前區(qū)域設(shè)定re.U使預(yù)定字符類\w\W\b\B\s\S\d\D取決于unicode定義的字符屬性re.X詳細(xì)模式，該模式下正則表達(dá)式可為多行，忽略空白字符并可加入注釋compile方法re模塊中常用的方法搜索整個(gè)string，返回一個(gè)列表包含全部能匹配的子串，其語(yǔ)法格式如下：re.findall(pattern,string[,flags])參數(shù)說(shuō)明pattern接收Pattern實(shí)例。表示轉(zhuǎn)換后的正則表達(dá)式。無(wú)默認(rèn)值。string接收string。表示輸入的需要匹配的字符串。無(wú)默認(rèn)值。flag接收string。表示匹配模式，取值為運(yùn)算符“|”時(shí)表示同時(shí)生效，如re.I|re.M。默認(rèn)為None。findall方法re模塊中常用的方法常用的參數(shù)如表所示：參數(shù)說(shuō)明pattern接收Pattern實(shí)例。表示轉(zhuǎn)換后的正則表達(dá)式。無(wú)默認(rèn)值。string接收string。表示輸入的需要匹配的字符串。無(wú)默認(rèn)值。flag接收string。表示匹配模式，取值為運(yùn)算符“|”時(shí)表示同時(shí)生效，如re.I|re.M。默認(rèn)為None。findall方法正則表達(dá)式的基本符號(hào)可以代替除了換行符以外的任何一個(gè)字符，包括但不限于英文字母、數(shù)字、漢字、英文標(biāo)點(diǎn)符號(hào)和中文標(biāo)點(diǎn)符號(hào)。可以表示它前面的一個(gè)子表達(dá)式（普通字符、另一個(gè)或幾個(gè)正則表達(dá)式符號(hào)）0次到無(wú)限次。表示它前面的子表達(dá)式0次或者1次。注意是英文問(wèn)號(hào)。1.點(diǎn)號(hào)“.”2.星號(hào)“*”3.問(wèn)號(hào)“?”正則表達(dá)式的基本符號(hào)4.反斜杠“\”在正則表達(dá)式里面不能單獨(dú)使用，在整個(gè)Python里都不能單獨(dú)使用。需要和其他的字符配合使用：特殊符號(hào)普通符號(hào)變成“\n”一個(gè)普通的字母“\n”換行符例如：正則表達(dá)式的基本符號(hào)4.反斜杠“\”在正則表達(dá)式里面不能單獨(dú)使用，甚至在整個(gè)Python里都不能單獨(dú)使用。反斜杠需要和其他的字符配合使用來(lái)把特殊符號(hào)變成普通符號(hào)，把普通符號(hào)變成特殊符號(hào)。特殊符號(hào)普通符號(hào)功能：變成“\n”一個(gè)普通的字母“\n”換行符例如：正則表達(dá)式的基本符號(hào)Python開發(fā)中經(jīng)常遇到的轉(zhuǎn)義字符轉(zhuǎn)義字符在字符串中插入特殊字符或控制結(jié)構(gòu)。一個(gè)或多個(gè)字符開頭后面反斜杠（\）正則表達(dá)式的基本符號(hào)Python開發(fā)中經(jīng)常遇到的轉(zhuǎn)義字符轉(zhuǎn)義字符在字符串中插入特殊字符或控制結(jié)構(gòu)。反斜杠（\）開頭后面跟著一個(gè)或多個(gè)字符正則表達(dá)式的基本符號(hào)Python開發(fā)中經(jīng)常遇到的轉(zhuǎn)義字符轉(zhuǎn)義字符意義\n換行符，將文本分成多行\(zhòng)t制表符，將文本分成多個(gè)列\(zhòng)\普通的反斜杠\’表示單引號(hào)\”表示雙引號(hào)\d表示一位數(shù)字示例1正則表達(dá)式解析中文importre#待匹配的字符串title="我愛，hello，我的祖國(guó)"#創(chuàng)建正則表達(dá)式，用于只匹配中文pattern=pile(r"[\u4e00-\u9fa5]+")result=pattern.findall(title)print(result)運(yùn)行后結(jié)果：['我愛','我的祖國(guó)']示例2解析某度首頁(yè)的網(wǎng)頁(yè)標(biāo)題（之間的文本內(nèi)容）運(yùn)行后結(jié)果：['某度一下，你就知道']importreimportrequestsresponse=requests.get("/")r=response.text.encode(response.encoding).decode('utf-8')title_re=r'<title>(.*?)</title>'result=re.findall(title_re,r)print(result)示例3解析某浪潮首頁(yè)（/）的所有鏈接importreimportrequestsresponse=requests.get("/")r=response.text.encode(response.encoding).decode('utf-8')#print(r)url_re=r'<ahref="(.*?)">.*?</a>'urls=re.findall(url_re,r)forurlinurls:print(url)示例3運(yùn)行后結(jié)果：//lcjtww/gylc32/2346042/index.html"target="_blank/"target="_blank"class="mc_nav_a/"target="_blank"class="mc_nav_a//.....解析某浪潮首頁(yè)（/