基于大數(shù)據(jù)及網(wǎng)絡(luò)信息提取對(duì)空氣質(zhì)量進(jìn)行分析及預(yù)測(cè)

摘要□□在當(dāng)前我國(guó)城市化進(jìn)程的快速推進(jìn)下，我國(guó)的交通規(guī)模、能源消耗也在不斷擴(kuò)大，一氧化碳等有毒氣體及固體污染物大量增加，嚴(yán)重影響了人們的正常生活，如何減少空氣污染、打好污染防治攻堅(jiān)戰(zhàn)，對(duì)推動(dòng)生態(tài)文明建設(shè)有很強(qiáng)的指導(dǎo)性。所以我從國(guó)內(nèi)某的空氣質(zhì)量記錄網(wǎng)站上記錄的384個(gè)城市通過(guò)網(wǎng)絡(luò)信息爬取獲得了從2014年至今的空氣質(zhì)量記錄數(shù)據(jù)，包括一氧化碳濃度、二氧化硫濃度等參數(shù)，然后對(duì)數(shù)據(jù)中的缺失值、異常值進(jìn)行處理，數(shù)據(jù)可視化、分析數(shù)據(jù)特征、接著對(duì)每個(gè)城市先按照省份進(jìn)行分組，并將數(shù)據(jù)保存到數(shù)據(jù)庫(kù)中，同時(shí)對(duì)每個(gè)城市采用時(shí)間序列分析，在使時(shí)序數(shù)據(jù)變得穩(wěn)定后，對(duì)時(shí)序數(shù)據(jù)進(jìn)行預(yù)測(cè)，用戶可以通過(guò)輸入城市和起止日期來(lái)預(yù)測(cè)這段時(shí)間的空氣質(zhì)量指數(shù)?！蹶P(guān)鍵詞：□空氣質(zhì)量預(yù)測(cè)□ARIMA模型□網(wǎng)絡(luò)信息爬取□時(shí)序分析Abstract□Withtherapidpromotionofourcountriesurbanizationrate、theurbantrafficscaleandenergyconsumptionarealsoenlargingrapidly、whichraiseaplentyoftoxicgasandsolidgraincontamination、suchassulfurdioxideandfineparticulatematter、respirablesolidpollutantsandcarbonmonoxide.Thesepollutantmakeaseriousinfluencetohumans’normallife.So、reducetheairpollutionandwinningthePollutepreventionandmanagementbattlewouldhaveagreatinstructiveforpromotingtheEcologicalCivilizationConstruction.Therefore、Igotthreehundredandeightyfourcitiesairqualityindexdata、includingcarbonmonoxideconcentration、sulfurdioxideconcentrationandsoonsince2014tonowthroughtheNetworkinformationcrawlingtechnologyrecordedontheairqualityrecordsmonitoron-linewebsite.Thenprocessingtheairqualityindexdatabydealingthemissingandabnormalvalues.Afterthat、dealingthedatabymakingdatavisualizationandanalysesdatacharacterization.Thenextstepistoclassifythecitybyitsprovince、andsavethedatainthedatabase.Atthesametime、maketimeseriesanalysistotheeachcity、aftermakethetimeseriesstationary、forecasttothetimeseries.Andtheusercanforecasttheairqualityindexbyinputthecity’snameandthestartandenddate.Keywords：AirqualityforecastARIMAmodelNetworkinformationcrawlingTimeseriesanalyze廣東東軟學(xué)院本科生畢業(yè)設(shè)計(jì)(論文)目錄摘要IAbstractII1.緒論11.1研究背景11.2研究現(xiàn)狀41.3研究?jī)?nèi)容61.4研究意義62.網(wǎng)絡(luò)信息爬取82.1獲取城市訪問(wèn)鏈接82.2爬取各個(gè)城市的空氣質(zhì)量數(shù)據(jù)102.3將數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)中123.數(shù)據(jù)處理143.1缺失值和異常值的處理143.2數(shù)據(jù)轉(zhuǎn)換153.3數(shù)據(jù)可視化163.4分析數(shù)據(jù)特征164.時(shí)序分析與預(yù)測(cè)204.1建立ARIMA時(shí)間序列模型214.2ARIMA時(shí)間序列模型的參數(shù)選擇224.3安裝ARIMA時(shí)間序列模型234.4驗(yàn)證預(yù)測(cè)254.5生成可視化預(yù)測(cè)26參考文獻(xiàn)27.緒論1.1研究背景自改革開(kāi)放四十年以來(lái)，我國(guó)的工業(yè)化和城市化進(jìn)程的快速發(fā)展，經(jīng)濟(jì)得到了飛速的發(fā)展，并給我國(guó)人民帶來(lái)了巨大的物質(zhì)財(cái)富和更舒適的生活，然而這一切卻對(duì)我國(guó)的生態(tài)環(huán)境造成了嚴(yán)重的破壞，從早期的亂砍亂伐造成黃河流域和西部地區(qū)的荒漠化，到現(xiàn)在沿海地區(qū)的霧霾的嚴(yán)重超標(biāo)，無(wú)一不對(duì)我們的正常生活造成了嚴(yán)重的影響，甚至對(duì)我們的身體健康造成危害，如一系列的呼吸道、消化道疾病等。尤其是在2000年到2010年期間，當(dāng)時(shí)我國(guó)由于在大氣污染防治方面的經(jīng)驗(yàn)不足，當(dāng)時(shí)許多的霧霾天氣都被誤報(bào)成大霧天氣。就在2004年，新華網(wǎng)發(fā)出來(lái)一篇報(bào)道，標(biāo)題是《背景首都機(jī)場(chǎng)因霧出現(xiàn)近年最嚴(yán)重的航班延誤》，當(dāng)時(shí)所謂的“大霧”天發(fā)生后不久，北京居民的短時(shí)間內(nèi)的呼吸道發(fā)病率大幅增加，并引起政府和民眾的廣泛關(guān)注。區(qū)域性大氣污染問(wèn)題已經(jīng)對(duì)經(jīng)濟(jì)和社會(huì)的可持續(xù)發(fā)展以及人類的正常工作和生活造成了嚴(yán)重的影響，一下子成為了尤為突出的社會(huì)問(wèn)題擺在了政府和監(jiān)管者面前。目前，我國(guó)的大氣監(jiān)測(cè)的污染物包括臭氧（O3）、二氧化硫(SO2)、二氧化氮(NO2)、一氧化碳(CO)等有害氣體及PM10、PM2.5兩種可吸入顆粒，且這些污染物污染分布廣泛，主要分布在一些工業(yè)化水平和城市化水平較高的區(qū)域。城市空氣污染主要表現(xiàn)為以下幾個(gè)方面：（1）懸浮的顆粒物總濃度在城市的范圍內(nèi)普遍超標(biāo)，這一現(xiàn)象在以工業(yè)為主要產(chǎn)業(yè)的城市尤為明顯，特別是PM2.5和PM10的濃度過(guò)高。PM2.5和PM10是指大氣中直徑分別小于2.5微米和10微米并可以在空氣中懸浮較長(zhǎng)的時(shí)間的細(xì)小顆粒物，這些細(xì)顆粒物在空氣中的單位體積內(nèi)的平均濃度越高，就代表此時(shí)的空氣污染越嚴(yán)重，并且這些細(xì)顆粒物對(duì)能見(jiàn)度有嚴(yán)重的影響。這些細(xì)顆粒物的成分主要包括有機(jī)碳(OC)、元素碳(EC)、硝酸鹽（NO3-）、硫酸鹽(SO42-)、銨鹽(NH4+)、鈉鹽(Na?)等無(wú)機(jī)鹽以及一些有機(jī)物的細(xì)小顆粒。這些懸浮的細(xì)顆粒物會(huì)首先通過(guò)呼吸作用由呼吸道進(jìn)入肺部，然后通過(guò)支氣管和肺泡進(jìn)入到血液中，導(dǎo)致混合在其中的如無(wú)機(jī)物、重金屬等有害物質(zhì)溶解在血液中，這些物質(zhì)對(duì)人體的傷害巨大，甚至可能誘發(fā)如哮喘等慢性疾病。（2）二氧化硫濃度普遍較高二氧化硫(SO2)是一種主要存在于火山爆發(fā)、化石燃料燃燒、含硫礦石的冶煉時(shí)產(chǎn)生的無(wú)色有刺激性氣體，是大氣中的主要污染物之一。由于煤炭和石油等化石燃料都含有硫元素，其中的硫元素化合物在化石燃料燃燒時(shí)與氧氣反應(yīng)生成二氧化硫，且由于二氧化硫易溶于水，其溶于水時(shí)會(huì)形成亞硫酸（H2SO3），當(dāng)亞硫酸在PM2.5存在的條件下，其會(huì)被進(jìn)一步氧化成硫酸，當(dāng)硫酸與云層中的水混合，并在達(dá)到一定的溫度和濕度的條件下形成降水，這就是酸雨的來(lái)源。而在我國(guó)陜西省盛產(chǎn)煤炭，且在我國(guó)的能源消費(fèi)中，煤炭的消費(fèi)占據(jù)了相當(dāng)大的一部分(見(jiàn)圖1)，因此我國(guó)華北平原地區(qū)的二氧化硫濃度比我國(guó)其他地區(qū)都要高(見(jiàn)圖2)。且從圖1中可以看到，從2014年起，每年我國(guó)的能源消費(fèi)總量也在不斷上升，盡管煤炭和石油的消費(fèi)總量變化不大，但由化石燃料燃燒所造成的污染仍十分嚴(yán)重。且我國(guó)的主要產(chǎn)煤地區(qū)主要在山西、陜西、河南，這些地區(qū)發(fā)電主要也是以煤炭作為燃料，因此這些地區(qū)的二氧化硫排放量普遍要比其他地區(qū)高。圖1我國(guó)的能源消費(fèi)總量柱狀統(tǒng)計(jì)圖（來(lái)源：國(guó)家統(tǒng)計(jì)局）圖2我國(guó)的二氧化硫濃度分布（來(lái)源：）（3）一氧化碳濃度較高一氧化碳（CO）是一種主要出現(xiàn)在汽車尾氣、火力發(fā)電、金屬提煉所的無(wú)色無(wú)味的氣體。一氧化碳在化學(xué)性質(zhì)上既有氧化性也有還原性，同時(shí)還具有毒性，一氧化碳與氧氣相比，前者與血紅蛋白的親和力遠(yuǎn)大于后者，且一氧化碳會(huì)主動(dòng)和血液的血紅蛋白結(jié)合，從而阻止血紅蛋白結(jié)合并運(yùn)算氧氣。它不僅會(huì)使血液的載氧能力降低，還使血液對(duì)人體組織的供氧量明顯減少，從而使人產(chǎn)生缺氧的現(xiàn)象。吸入少量一氧化碳會(huì)導(dǎo)致人出現(xiàn)頭痛、頭昏、惡心等癥狀的出現(xiàn)；吸入大量的一氧化碳會(huì)使人昏迷，嚴(yán)重的會(huì)使人缺氧死亡，甚至產(chǎn)生如神經(jīng)衰弱、智力障礙等后遺癥。（4）二氧化氮濃度呈增加趨勢(shì)，有些城市出現(xiàn)光化學(xué)煙霧現(xiàn)象。二氧化氮（NO2）是一種主要出現(xiàn)在汽車尾氣、鍋爐廢氣等高溫燃燒過(guò)程所釋放的在室溫下呈紅棕色且有強(qiáng)烈刺激性的氣體。二氧化氮在被人體吸入后，會(huì)對(duì)人的呼吸道、眼睛及肺部造成巨大的刺激作用，使人出現(xiàn)胸悶、咳嗽、咯泡沫痰等癥狀，吸入后幾小時(shí)或間隔更長(zhǎng)時(shí)間可能會(huì)出現(xiàn)遲發(fā)性肺水腫、呼吸窘迫綜合征等呼吸道癥狀，在遲發(fā)性肺水腫消退后兩周左右甚至可出現(xiàn)遲發(fā)性阻塞性細(xì)支氣管炎；二氧化氮在慢性影響上主要表現(xiàn)為神經(jīng)衰弱綜合征及慢性呼吸道炎癥。同時(shí)，它也是形成光化學(xué)煙霧的罪魁禍?zhǔn)?，?huì)嚴(yán)重降低大氣能見(jiàn)度，從而引發(fā)交通事故；還能使地表水酸化，水體富營(yíng)養(yǎng)化（由于氮、磷元素的營(yíng)養(yǎng)物使藻類大量繁殖），并增加水體中的有害物質(zhì)，使水中的魚類因缺氧或有毒物質(zhì)而大量死亡。（5）臭氧污染嚴(yán)重臭氧（O3）是一種有魚腥味的具有強(qiáng)氧化性淡藍(lán)色氣體，但在大氣底層的臭氧并不是天然的，它是受環(huán)境污染的產(chǎn)物，這些近地臭氧主要在汽車尾氣、鍋爐排放的氮氧化物以及揮發(fā)性的有機(jī)物通過(guò)太陽(yáng)光照輻射催化生成的，甚至連復(fù)印件的墨盒在打印時(shí)也會(huì)排放臭氧。它會(huì)使植物葉子變黃甚至枯萎，對(duì)植物造成損害；對(duì)人體的免疫機(jī)能也具有破壞性，使長(zhǎng)時(shí)間直接接觸高濃度臭氧的人出現(xiàn)疲乏、咳嗽、胸悶胸痛等癥狀。目前我國(guó)正處于全面建成小康社會(huì)的決勝階段，打好污染防治攻堅(jiān)戰(zhàn)，提升國(guó)家的生態(tài)文明水平，不僅可以滿足人民群眾美好生活的內(nèi)在需要，也是落實(shí)中華民族永續(xù)發(fā)展前年打擊的關(guān)鍵一步。而且我國(guó)地域遼闊，各地區(qū)的氣候差異明顯，因此形成了我國(guó)氣候的多樣化，同時(shí)各地區(qū)的經(jīng)濟(jì)發(fā)展也存在明顯的不同，各地區(qū)的側(cè)重產(chǎn)業(yè)也不一樣。因此，綜合以上因素，可以得出：我國(guó)各個(gè)地區(qū)的空氣質(zhì)量存在明顯差異。對(duì)于空氣質(zhì)量的預(yù)報(bào)，是需要非常先進(jìn)的技術(shù)以及各種先進(jìn)設(shè)備的，而隨著計(jì)算機(jī)技術(shù)的發(fā)展和各種新設(shè)備的出現(xiàn)，使得這種工作得以實(shí)現(xiàn)。隨著人們對(duì)空氣質(zhì)量的重視和要求不斷提升，人們的需求也從最開(kāi)始的空氣質(zhì)量報(bào)告到現(xiàn)在的空氣質(zhì)量預(yù)測(cè)，而這種預(yù)測(cè)工作，也在成為環(huán)境科學(xué)以及計(jì)算機(jī)科學(xué)的一個(gè)重要的研究。[12]1.2研究現(xiàn)狀自從空氣污染問(wèn)題產(chǎn)生以來(lái)，對(duì)污染進(jìn)行預(yù)測(cè)一直是空氣污染防治的重要話題?？蒲腥藛T對(duì)空氣污染預(yù)測(cè)方法進(jìn)行了許多的探索和研究，在發(fā)展過(guò)程中出現(xiàn)了許多可以預(yù)測(cè)空氣污染的方法，主要分為三大類，分別為：數(shù)值預(yù)測(cè)法、統(tǒng)計(jì)預(yù)測(cè)法以及潛勢(shì)預(yù)測(cè)法。其中，潛勢(shì)預(yù)報(bào)方法依據(jù)氣象條件對(duì)空氣污染物擴(kuò)散稀釋作用，預(yù)報(bào)未來(lái)一段時(shí)間的空氣污染情況，由于過(guò)于依賴對(duì)氣象條件的判斷，因此預(yù)報(bào)結(jié)果往往比較粗糙。而數(shù)值預(yù)報(bào)方法深入探索了污染數(shù)據(jù)和其他在大氣環(huán)境中的一系列復(fù)制變化，預(yù)測(cè)結(jié)果準(zhǔn)確率最高。但是涉及數(shù)學(xué)、物理、化學(xué)、氣象等多領(lǐng)域交叉，同時(shí)需要豐富的氣象數(shù)據(jù)資料和高性能的計(jì)算設(shè)備，在普通實(shí)驗(yàn)中很難實(shí)現(xiàn)。統(tǒng)計(jì)預(yù)測(cè)方法是基于大量現(xiàn)有的監(jiān)測(cè)數(shù)據(jù)，采用先關(guān)的統(tǒng)計(jì)方法建立預(yù)測(cè)模型，模型構(gòu)造簡(jiǎn)單易行，通過(guò)對(duì)相關(guān)數(shù)據(jù)的分析計(jì)算可以得出準(zhǔn)確的較高的預(yù)測(cè)結(jié)果因此統(tǒng)計(jì)預(yù)測(cè)方法在大多數(shù)情況下更具有實(shí)用性。在剛開(kāi)始研究問(wèn)題時(shí)，時(shí)序分析的主要方法是單一的預(yù)測(cè)模型，但由于各個(gè)模型的精度和應(yīng)用范圍都存在差異，所以目前預(yù)測(cè)領(lǐng)域研究的焦點(diǎn)主要是在如何通過(guò)結(jié)合各模型的優(yōu)點(diǎn)對(duì)單一模型的局限性進(jìn)行處理。而組合模型卻能揚(yáng)長(zhǎng)避短，從多個(gè)角度挖掘信息，并系統(tǒng)全面地進(jìn)行結(jié)論分析，因此組合模型更受青睞[13]。組合預(yù)測(cè)模型是將不同的模型組合后按照一定的比例來(lái)平均權(quán)重，以此吸收各模型的優(yōu)點(diǎn)，使單一預(yù)測(cè)模型的不足得到了有效的規(guī)避，減少由于精度和應(yīng)用范圍所造成的差異，使預(yù)測(cè)結(jié)果更理想。最初，離差或誤差是作為組合預(yù)測(cè)模型的主要的衡量指標(biāo)，但是由于量綱和各個(gè)特征之間存在一定的差異，因此不同序列的離差及誤差直接可比性較弱；即使以某種方式消除了量綱和各特征之間的差異所造成的影響，但由于序列本身之間以及數(shù)據(jù)的波動(dòng)幅度也會(huì)導(dǎo)致出現(xiàn)一定的誤差，因此預(yù)測(cè)方法的有效性也難以統(tǒng)一衡量。而在我國(guó)生態(tài)環(huán)境部的官網(wǎng)上，可以看到各城市的AQI實(shí)時(shí)發(fā)布、AQI指數(shù)日?qǐng)?bào)，以及最長(zhǎng)120小時(shí)的空氣質(zhì)量預(yù)報(bào)，無(wú)法對(duì)更長(zhǎng)的時(shí)間跨度進(jìn)行預(yù)測(cè)。因此，較長(zhǎng)的時(shí)間跨度預(yù)測(cè)空氣質(zhì)量在國(guó)內(nèi)尚存在一定的空白。國(guó)外的空氣質(zhì)量預(yù)測(cè)普遍選擇人工神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)報(bào)空氣質(zhì)量，并根據(jù)結(jié)果表明MLP模型（Multi-layerPerceptron）要比回歸模型更準(zhǔn)確，但對(duì)于峰值卻無(wú)法準(zhǔn)確的預(yù)測(cè)。由于我國(guó)的經(jīng)濟(jì)發(fā)展程度相對(duì)較為落后，導(dǎo)致我國(guó)在研究空氣污染的分析和評(píng)價(jià)方面與世界發(fā)達(dá)國(guó)家相比都落后了不少，但在近幾年，我國(guó)的經(jīng)濟(jì)發(fā)展速度迅速提高，并推動(dòng)了一系列的科研發(fā)展，使得我國(guó)在該研究領(lǐng)域范圍內(nèi)取得了很高的成就，隨著大數(shù)據(jù)、機(jī)器學(xué)習(xí)等技術(shù)的廣泛推廣及應(yīng)用，國(guó)內(nèi)的環(huán)境信息系統(tǒng)也已經(jīng)逐漸完善成熟，并開(kāi)始向國(guó)際領(lǐng)先水平看齊。目前，國(guó)內(nèi)的一些城市開(kāi)始將環(huán)境信息系統(tǒng)加入到城市的管理作業(yè)中，并將其作為城市管理中不虧或缺的一部分。國(guó)內(nèi)的研究主要是在BP模型的基礎(chǔ)上，對(duì)NNs（神經(jīng)網(wǎng)絡(luò)）加入主成分分析，或者是將BP模型與灰色理論相結(jié)合，還有就是在BP模型中加入遺傳算法。這些算法在一定程度上都使得BP模型的不足之處得到了一定程度的解決，但也存在著一定的缺陷。其中有一種是通過(guò)將算法相互混合，形成彌補(bǔ)的狀態(tài)來(lái)解決遺傳算法原本的缺陷。對(duì)于這一設(shè)想，許多人嘗試去設(shè)計(jì)混合算法，其中主要將遺傳算法和貝葉斯正規(guī)化算法混合從而使算法更為合理，盡管在改進(jìn)的過(guò)程中成功使遺傳算法的一些缺陷得到了較好的解決，但是仍然還需要對(duì)其進(jìn)行不斷的改進(jìn)。1.3研究?jī)?nèi)容當(dāng)今社會(huì)已經(jīng)屬于信息化時(shí)代，許多的信息都可以通過(guò)訪問(wèn)互聯(lián)網(wǎng)來(lái)獲取，當(dāng)然也包括各地的空氣質(zhì)量記錄，這是時(shí)代發(fā)展的必然結(jié)果，也是社會(huì)進(jìn)步的重要指標(biāo)。本設(shè)計(jì)通過(guò)研究分析，主要是通過(guò)計(jì)算機(jī)運(yùn)算為了空氣質(zhì)量預(yù)測(cè)提供另一種科學(xué)可行的辦法。畢竟單憑人工無(wú)法處理大量的數(shù)據(jù)，所以必須依靠計(jì)算機(jī)來(lái)對(duì)數(shù)據(jù)進(jìn)行處理。然而，空氣質(zhì)量的預(yù)測(cè)需要大量準(zhǔn)確的數(shù)據(jù)來(lái)進(jìn)行支撐，如果數(shù)據(jù)不完整或者錯(cuò)誤較多，會(huì)導(dǎo)致對(duì)空氣質(zhì)量的預(yù)測(cè)不完整和不準(zhǔn)確，某種程度對(duì)空氣質(zhì)量預(yù)測(cè)的發(fā)展造成了影響。因此，為了對(duì)大氣污染的動(dòng)態(tài)變化作出及時(shí)的反應(yīng)，并掌握變化規(guī)律，使訓(xùn)練模型時(shí)使模型更有效，從而提高空氣質(zhì)量預(yù)測(cè)大師準(zhǔn)確性，為空氣質(zhì)量的預(yù)測(cè)提供另一種更科學(xué)合理的可行方法，本設(shè)計(jì)研究的內(nèi)容為：（1）首先通過(guò)網(wǎng)絡(luò)信息爬取技術(shù)獲取將網(wǎng)站上各城市的空氣質(zhì)量記錄的鏈接爬取下來(lái)，并將重復(fù)的鏈接刪除。（2）將鏈接以文本的形式保存在本地硬盤文本文件中。（3）讀取文件中記錄的城市所對(duì)應(yīng)的鏈接，并逐一進(jìn)行訪問(wèn)。（4）將網(wǎng)站上每個(gè)城市所記錄的空氣質(zhì)量爬取下來(lái)，并以表格文件的格式保存在本地硬盤中，以便日后使用。（5）讀取表格文件，對(duì)文件中的缺失值和異常值進(jìn)行處理，并對(duì)文字類型的數(shù)據(jù)進(jìn)行數(shù)據(jù)轉(zhuǎn)換。（6）對(duì)處理后的空氣質(zhì)量數(shù)據(jù)分析特征，并進(jìn)行時(shí)序分析與預(yù)測(cè)，最后對(duì)預(yù)測(cè)進(jìn)行驗(yàn)證，并生成可視化結(jié)果。1.4研究意義大氣環(huán)境質(zhì)量與人們的健康和生活息息相關(guān)。在社會(huì)以及經(jīng)濟(jì)快速發(fā)展的同時(shí)，人們生活所造成的排放污染對(duì)環(huán)境產(chǎn)生了很大的影響和破壞，使生態(tài)環(huán)境持續(xù)惡化，空氣污染甚至威脅到了人類自身的安全和健康，這將直接導(dǎo)致可持續(xù)發(fā)展受到破壞。我國(guó)作為一個(gè)發(fā)展中的大國(guó)、世界上第二大經(jīng)濟(jì)體，一直面臨著來(lái)自環(huán)境問(wèn)題的種種考驗(yàn)，如何能準(zhǔn)確預(yù)測(cè)大氣質(zhì)量，為各地區(qū)的大氣防治提供更多可參考的資料，以便提前做好部署和準(zhǔn)備，為重大污染事件的發(fā)生做好充足的準(zhǔn)備，并作出更長(zhǎng)遠(yuǎn)的監(jiān)測(cè)和預(yù)防，盡可能將污染事件的所造成的影響降到最低，并將萌芽扼殺在源頭，已成為社會(huì)和政府所廣泛關(guān)注的重要問(wèn)題。我國(guó)政府在對(duì)控制大氣污染以及污染物的變化方面，正在提升污染物監(jiān)測(cè)的整體強(qiáng)度，并從中探索出各地的大氣污染物的變化規(guī)律，從而可以通過(guò)更好的方法來(lái)預(yù)測(cè)空氣質(zhì)量和污染物的擴(kuò)散，對(duì)大氣污染加強(qiáng)監(jiān)督監(jiān)管，將各生產(chǎn)企業(yè)的空氣排放控制在指標(biāo)允許的范圍內(nèi)，確保排放出的氣體經(jīng)過(guò)無(wú)害化處理，務(wù)必減少對(duì)周邊的生態(tài)環(huán)境及居民的正常生活和身體健康造成影響對(duì)空氣質(zhì)量進(jìn)行預(yù)測(cè)的研究，有兩方面的意義：對(duì)于市民來(lái)說(shuō)，可以通過(guò)各種渠道得知的空氣質(zhì)量預(yù)測(cè)提前做好個(gè)人防護(hù)，減少由于不知情的原因暴露在空氣質(zhì)量較差的環(huán)境下而誘發(fā)或感染疾病的可能；二是可以為環(huán)保部門提供有關(guān)空氣質(zhì)量的各種有關(guān)數(shù)據(jù)，從而對(duì)污染物和空氣污染之間的關(guān)系和影響得出更為準(zhǔn)確的判斷和分析。同時(shí)，城市的空氣質(zhì)量在經(jīng)過(guò)空氣質(zhì)量預(yù)測(cè)后可以更好地作出評(píng)價(jià)，使各城市環(huán)保部門的治理方案更加具有針對(duì)性和獨(dú)特性，為城市的可持續(xù)發(fā)展提高評(píng)價(jià)水平，成為城市發(fā)展的重要監(jiān)督指標(biāo)。在空氣質(zhì)量的預(yù)測(cè)方面，使用更加科學(xué)的技術(shù)，就是利用針對(duì)時(shí)間序列產(chǎn)生可靠的預(yù)測(cè)方法之一，稱為ARIMA，這種技術(shù)對(duì)空氣質(zhì)量數(shù)據(jù)所產(chǎn)生的時(shí)間序列進(jìn)行非線性的檢測(cè)和處理，使預(yù)測(cè)的效率得到了提高，并且在一定程度上提高了預(yù)測(cè)的可靠性和準(zhǔn)確性。所以利用ARIMA模型對(duì)空氣質(zhì)量進(jìn)行預(yù)測(cè)，具有較高且科學(xué)可行的價(jià)值及較好的應(yīng)用前景。與傳統(tǒng)的預(yù)測(cè)方法相比，作為一種對(duì)實(shí)踐更具有針對(duì)性的分析預(yù)測(cè)模型，ARIMA模型對(duì)空氣質(zhì)量的預(yù)測(cè)效果更為準(zhǔn)確，并有望成為未來(lái)空氣質(zhì)量預(yù)測(cè)的主要方法。2.網(wǎng)絡(luò)信息爬取網(wǎng)絡(luò)信息爬取技術(shù)（網(wǎng)絡(luò)爬蟲）主要是將需要的網(wǎng)頁(yè)通過(guò)網(wǎng)頁(yè)下載器下載下來(lái)然后轉(zhuǎn)換成字符串?dāng)?shù)據(jù)，字符串?dāng)?shù)據(jù)通過(guò)網(wǎng)頁(yè)解析器解析成樹(shù)形對(duì)象，將需要的數(shù)據(jù)通過(guò)網(wǎng)頁(yè)解析器進(jìn)行提取，如：文字、鏈接、圖片等。網(wǎng)頁(yè)下載器可以將制定的URL網(wǎng)頁(yè)下載到本地存儲(chǔ)成本地文件或字符串格式，以便進(jìn)行后續(xù)的數(shù)據(jù)分析，所以網(wǎng)頁(yè)下載器是整個(gè)爬取程序的核心模塊。[14]在本章中主要用到requests，它是一個(gè)python的第三方庫(kù)，支持網(wǎng)頁(yè)下載、登錄、文件上傳等功能。網(wǎng)頁(yè)解析器是一個(gè)能從網(wǎng)頁(yè)字符串文件中解析出價(jià)值數(shù)據(jù)的處理器，python中使用最廣泛的是BeautifulSoup這個(gè)第三方庫(kù)，BeautifulSoup最主要的功能是將網(wǎng)頁(yè)下載器所下載的網(wǎng)頁(yè)進(jìn)行解析，BeautifulSoup自動(dòng)將輸入文檔轉(zhuǎn)換為Unicode編碼，輸出文檔轉(zhuǎn)換為utf-8編碼。BeautifulSoup支持Python標(biāo)準(zhǔn)庫(kù)中的HTML解析器，它首先進(jìn)行網(wǎng)頁(yè)字符的結(jié)構(gòu)化解析，利用DOM和HTML之間的映射關(guān)系，將HTML文檔轉(zhuǎn)換成DOM樹(shù)，通過(guò)基于語(yǔ)義及基于結(jié)果的過(guò)濾來(lái)進(jìn)行剪枝操作，通過(guò)樹(shù)形結(jié)構(gòu)能精確地定位到某個(gè)節(jié)點(diǎn)、屬性、文本內(nèi)容，然后使用find或find_all方法查詢相應(yīng)的節(jié)點(diǎn)，訪問(wèn)節(jié)點(diǎn)的屬性、名稱、文字等信息，從而提取出信息進(jìn)行分析。在經(jīng)過(guò)BeautifulSoup解析后，整個(gè)HTML文檔會(huì)被轉(zhuǎn)換成一個(gè)復(fù)雜的樹(shù)形結(jié)構(gòu)，且每個(gè)節(jié)點(diǎn)都是一個(gè)對(duì)象，所有對(duì)象可以歸納為4種:NavigableString、BeautifulSoup、Tag、Comment。BeautifulSoup()主要用來(lái)遍歷文檔樹(shù)及其屬性，并為此提供了多種方法，比如獲取父子節(jié)點(diǎn)、兄弟節(jié)點(diǎn)等。在本章節(jié)中主要是從BeautifulSoup樹(shù)對(duì)象中搜索出所需的目標(biāo)，通過(guò)使用find_all()方法在BeautifulSoup樹(shù)對(duì)象中按照標(biāo)簽名稱（name）、文本（text）、屬性（attrs）等參數(shù)對(duì)所有tag的子節(jié)點(diǎn)進(jìn)行搜索，并判斷是否符合過(guò)濾條件，將所有符合條件的節(jié)點(diǎn)保存并輸出。2.1獲取城市訪問(wèn)鏈接首先，打開(kāi)瀏覽器，訪問(wèn)所需對(duì)其進(jìn)行爬取的網(wǎng)站，本次是對(duì)中國(guó)空氣質(zhì)量在線監(jiān)測(cè)分析平臺(tái)進(jìn)行爬取，這是一個(gè)公益性的軟件平臺(tái)，收錄了367個(gè)格式的空氣質(zhì)量信息(如圖3)，且在經(jīng)過(guò)對(duì)比后可得，他與國(guó)家生態(tài)環(huán)境部上公布的數(shù)據(jù)是一致的，而且，相較于生態(tài)環(huán)境部的訪問(wèn)限制，以及限定時(shí)間范圍的下載及查詢，該網(wǎng)站爬取信息的難度更低，僅是對(duì)訪問(wèn)的user-agent作出限制，并沒(méi)有其他限制措施。圖3中國(guó)空氣質(zhì)量在線監(jiān)測(cè)分析平臺(tái)主頁(yè)使用檢查功能查看網(wǎng)頁(yè)源代碼觀察各城市的標(biāo)簽中所包含的地址，網(wǎng)站中所有的鏈接地址都被保存在<a>標(biāo)簽中(如圖4)，在導(dǎo)入所需要的requests庫(kù)和BeautifulSoup庫(kù)后，就可以開(kāi)始編寫程序來(lái)爬取城市的空氣質(zhì)量記錄訪問(wèn)鏈接了。圖4中國(guó)空氣質(zhì)量在線監(jiān)測(cè)分析平臺(tái)主頁(yè)網(wǎng)頁(yè)源代碼(1)首先創(chuàng)建字典UA，用于在訪問(wèn)頁(yè)面時(shí)偽裝成正常的瀏覽器訪問(wèn)，繞開(kāi)檢測(cè)。(2)編寫函數(shù)get_cityurl()用于爬取各個(gè)城市空氣質(zhì)量記錄的訪問(wèn)鏈接。過(guò)程：函數(shù)get_cityurl():1.填入空氣質(zhì)量記錄主頁(yè)地址url2.創(chuàng)建用于保存各城市及其訪問(wèn)鏈接的列表city_url_list3.訪問(wèn)網(wǎng)站主頁(yè)并使用字典UA進(jìn)行偽裝4.獲取網(wǎng)頁(yè)的源代碼5.使用網(wǎng)頁(yè)解析器對(duì)網(wǎng)頁(yè)源代碼進(jìn)行解析6.使用bs4庫(kù)中的find_all()函數(shù)搜索網(wǎng)頁(yè)源代碼中所有包含<a>標(biāo)簽的子節(jié)點(diǎn)，7.并返回列表類型的url_list8.Forurl_list的每一個(gè)值i：9.獲取i中所包含的鏈接10.Ifi中包含只有各城市的訪問(wèn)鏈接特有的字段11.將訪問(wèn)鏈接的前綴補(bǔ)充到i中并轉(zhuǎn)換成字符串得到city_url12.將city_url添加到列表city_url_list中13.Endif14.Endfor15.將city_url_list轉(zhuǎn)換成集合city_url_set16.創(chuàng)建文本文件city_url.txt并以寫入方式打開(kāi)17.Forcity_url_set的每一個(gè)值url18.將url寫入到文件中，并且每輸入一個(gè)換行一次，以便后續(xù)使用19.Endfor輸出：一個(gè)命名為city_url.txt的文本文件在運(yùn)行完這段代碼后，將會(huì)得到一個(gè)命名為city_url.txt的文本文件，里面是網(wǎng)站主頁(yè)上記錄的各城市的空氣質(zhì)量記錄的鏈接，在接下來(lái)的步驟會(huì)用到這個(gè)文件。2.2爬取城市的空氣質(zhì)量數(shù)據(jù)接下來(lái)，開(kāi)始對(duì)city_url.txt文本文件里面記錄的各城市的空氣質(zhì)量記錄的鏈接下的空氣質(zhì)量記錄進(jìn)行爬取，由于每個(gè)城市的空氣質(zhì)量記錄是按每個(gè)月份一個(gè)頁(yè)面進(jìn)行展示，并且都是在網(wǎng)頁(yè)中的<td>標(biāo)簽中，而且網(wǎng)站的空氣質(zhì)量數(shù)據(jù)需要經(jīng)過(guò)動(dòng)態(tài)加載才會(huì)顯示在頁(yè)面中，所以我選擇使用selenium庫(kù)并結(jié)合webdriver調(diào)用瀏覽器進(jìn)行網(wǎng)絡(luò)信息爬取，并且由于是使用真正的瀏覽器進(jìn)行操作，所以并不需要添加特殊字段對(duì)爬取操作進(jìn)行偽裝。這次主要用到BeautifulSoup庫(kù)和selenium庫(kù)，在從網(wǎng)上下載webdriver.exe并安裝到正確的目錄后就可以開(kāi)始編寫程序來(lái)爬取編寫函數(shù)get_city_aqi()用于爬取各個(gè)城市的空氣質(zhì)量數(shù)據(jù)。輸入：path=文本文件city_url.txt的絕對(duì)路徑過(guò)程：函數(shù)get_city_aqi(path)：創(chuàng)建參數(shù)設(shè)置對(duì)象chrome_opt將無(wú)界面化參數(shù)添加到chrome_opt中，使瀏覽器無(wú)界面化運(yùn)行創(chuàng)建driver對(duì)象來(lái)啟動(dòng)瀏覽器并使參數(shù)對(duì)象Chrome_option=chrome_opt以只讀的形式打開(kāi)city_url.txt對(duì)應(yīng)的path從而獲得file對(duì)象使用file對(duì)象下的readlines方法獲得文件所有行的內(nèi)容并返回列表url_list關(guān)閉文件fileForurl_list的每一個(gè)值url：輸出url以便記錄已經(jīng)進(jìn)行過(guò)爬取操作的城市并用driver.get訪問(wèn)url程序休眠2秒等待頁(yè)面完成動(dòng)態(tài)加載使用網(wǎng)頁(yè)解析器對(duì)瀏覽器獲得的網(wǎng)頁(yè)源代碼進(jìn)行解析使用bs4庫(kù)中的find_all()函數(shù)搜索網(wǎng)頁(yè)源代碼中所有包含<td>標(biāo)簽的子節(jié)點(diǎn)，并返回列表類型的tds創(chuàng)建列表month_url_list和city_aqi_list分別用于儲(chǔ)存當(dāng)前城市每個(gè)月的訪問(wèn)鏈接和城市的空氣質(zhì)量數(shù)據(jù)。Fortds中的每一個(gè)值td：Iftd中包含只有月份的訪問(wèn)鏈接特有的字段將td轉(zhuǎn)換成str類型，去除td中的<td>標(biāo)簽的內(nèi)容，得到month_url將month_url添加到列表month_url_list中EndifEndforFormonth_url_list中的每一個(gè)值month_url：用driver.get訪問(wèn)month_url程序休眠2秒等待頁(yè)面完成動(dòng)態(tài)加載使用網(wǎng)頁(yè)解析器對(duì)瀏覽器獲得的網(wǎng)頁(yè)源代碼進(jìn)行解析Forfind函數(shù)搜索<tbody>標(biāo)簽后該標(biāo)簽下的所有子節(jié)點(diǎn)tr:Iftr與所需的數(shù)據(jù)類型相同：生成列表tds=<tr>標(biāo)簽中的<td>標(biāo)簽If列表tds不為空：將列表中的元素用.text轉(zhuǎn)換成str類型并以列表的形式添加到列表city_aqi_list中EndifEndifEndforIfcity_aqi_list為空orcity_aqi_list長(zhǎng)度小于365：輸出文本信息提示爬取的城市無(wú)法爬取到數(shù)據(jù)或數(shù)據(jù)長(zhǎng)度過(guò)短Else：輸出文本信息提示當(dāng)前爬取的城市已完成爬取操作創(chuàng)建以當(dāng)前爬取的城市命名的csv格式的文件并以寫入的方式打開(kāi)向文件寫入列標(biāo)題并換行Forcity_aqi_list里的每一行l(wèi)ine：Forline里的每一個(gè)元素element：向文件寫入element和寫入逗號(hào)隔開(kāi)Endfor向文件寫入換行符Endfor關(guān)閉文件輸出文本提示完成文件寫入Endfor輸出:全國(guó)27省及4個(gè)直轄市共計(jì)353個(gè)城市自2014年1月1日至今的空氣質(zhì)量記錄的csv表格文件。2.3將數(shù)據(jù)導(dǎo)入到數(shù)據(jù)庫(kù)中在獲得上述的空氣質(zhì)量數(shù)據(jù)文件后，因?yàn)閿?shù)據(jù)量較大，且不利于管理，需要將其導(dǎo)入到數(shù)據(jù)庫(kù)中，使開(kāi)發(fā)效率得到明顯的提升，令數(shù)據(jù)的調(diào)用更為方便，程序規(guī)模得到簡(jiǎn)化，減少了程序的維護(hù)和修改的頻率，對(duì)數(shù)據(jù)進(jìn)行了集中化的管理，使冗余得到有效的控制，從而使數(shù)據(jù)的利用率和一致性得到了提高，對(duì)應(yīng)用程序的開(kāi)發(fā)和維護(hù)起到了積極的作業(yè)。Navicat作為一款為降低系統(tǒng)管理成本及簡(jiǎn)化數(shù)據(jù)庫(kù)的管理流程及操作的專業(yè)數(shù)據(jù)庫(kù)管理軟件，用戶可以創(chuàng)建、組織、訪問(wèn)并共用信息以安全簡(jiǎn)單的方式，無(wú)需通過(guò)冗長(zhǎng)復(fù)雜的指令來(lái)對(duì)數(shù)據(jù)庫(kù)進(jìn)行操作，并且可以對(duì)本機(jī)或遠(yuǎn)程的MySQL、SQLServer、SQLite、Oracle及PostgreSQL數(shù)據(jù)庫(kù)進(jìn)行管理及開(kāi)發(fā)。首先,打開(kāi)Navicat,并輸入本地?cái)?shù)據(jù)庫(kù)正確的用戶名及密碼，連接到數(shù)據(jù)庫(kù)后新建一個(gè)數(shù)據(jù)庫(kù)并命名為air_quality_data，用于存放城市的空氣質(zhì)量數(shù)據(jù)，然后選擇導(dǎo)入數(shù)據(jù)，將本地的csv文件導(dǎo)入到數(shù)據(jù)庫(kù)中，數(shù)據(jù)庫(kù)設(shè)計(jì)如下：字段名稱類型字段說(shuō)明備注DateVarchar日期主鍵AQIIntAQI指數(shù)air_quality_levelVarchar質(zhì)量等級(jí)PM2.5FloatPM2.5濃度PM10FloatPM10濃度SO2Float二氧化硫濃度COFloat一氧化碳濃度NO2Float二氧化氮濃度O3_8hFloat臭氧濃度然后開(kāi)始將數(shù)據(jù)進(jìn)行導(dǎo)入。導(dǎo)入完成后，Navicat將會(huì)輸出信息表明完成導(dǎo)入（如圖5）。圖5最后再隨機(jī)打開(kāi)幾個(gè)表進(jìn)行核查，檢驗(yàn)是否有出現(xiàn)錯(cuò)誤或空缺?？梢钥吹?，表中數(shù)據(jù)(如圖6)，與原數(shù)據(jù)表格式一致，且和原數(shù)據(jù)表對(duì)比并沒(méi)有存在缺失值或異常值。圖63.數(shù)據(jù)處理本章節(jié)是對(duì)已經(jīng)保存在本地的空氣質(zhì)量記錄數(shù)據(jù)進(jìn)行數(shù)據(jù)清洗，包括缺失值和異常值處理、數(shù)據(jù)轉(zhuǎn)換以及數(shù)據(jù)歸一化，以便訓(xùn)練模型時(shí)提高模型準(zhǔn)確度，減少誤差，以及對(duì)數(shù)據(jù)進(jìn)行可視化處理，觀察數(shù)據(jù)特征，找出各個(gè)城市變化規(guī)律和差別。由于原始數(shù)據(jù)集的情況并不清楚，所以需要對(duì)原始數(shù)據(jù)先進(jìn)行了解然后再進(jìn)行數(shù)據(jù)處理。以下以七臺(tái)河市的空氣質(zhì)量記錄為例，首先打開(kāi)記錄七臺(tái)河市的空氣質(zhì)量的文件，使用代碼對(duì)數(shù)據(jù)進(jìn)行描述，可得：七臺(tái)河的空氣質(zhì)量記錄共有1779行9列數(shù)據(jù)，列名稱分別為：日期、AQI、質(zhì)量等級(jí)、PM2.5濃度、PM10濃度、SO2濃度、CO濃度、NO2濃度、O3_8h濃度。每一列的數(shù)據(jù)類型分別為：日期和質(zhì)量等級(jí)為object類型，其他均為數(shù)值類型。在對(duì)數(shù)據(jù)使用統(tǒng)計(jì)分析函數(shù)時(shí)發(fā)現(xiàn)若干個(gè)數(shù)據(jù)列都存在最小值等于0的情況，說(shuō)明數(shù)據(jù)存在異常值。因此要對(duì)數(shù)據(jù)進(jìn)行缺失值和異常值檢測(cè)和處理。AQI(AirQualityIndex)是環(huán)境空氣質(zhì)量指數(shù)的縮寫，用于描述該環(huán)境的空氣受污染程度的以及對(duì)健康的影響的一個(gè)參數(shù)。環(huán)境空氣質(zhì)量指數(shù)的重點(diǎn)是判斷暴露在數(shù)小時(shí)或數(shù)日受到污染的空氣對(duì)人體所造成的生理影響。環(huán)保局通過(guò)以下幾個(gè)主要污染標(biāo)準(zhǔn)來(lái)計(jì)算空氣質(zhì)量指數(shù)：地面臭氧(O3)，顆粒物污染（也稱顆粒物），一氧化碳(CO)，二氧化硫(SO2)，二氧化氮(NO2)。我國(guó)環(huán)保局為保障人民的身體健康在2012年均已對(duì)上述污染物成立了新的空氣質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)。我國(guó)空氣質(zhì)量取24小時(shí)平均值作為發(fā)布標(biāo)準(zhǔn)；同時(shí)，由于我國(guó)與美國(guó)采用的空氣質(zhì)量指數(shù)及污染物濃度指標(biāo)不同，導(dǎo)致存在污染物濃度相同而空氣質(zhì)量指數(shù)的計(jì)算結(jié)果也可能存在一定的差異，因此在查閱實(shí)時(shí)數(shù)據(jù)經(jīng)常與會(huì)與媒體公布的結(jié)果不一致。3.1缺失值和異常值的處理首先對(duì)數(shù)據(jù)進(jìn)行缺失值檢測(cè)，發(fā)現(xiàn)數(shù)據(jù)并沒(méi)有缺失，因此不需要對(duì)數(shù)據(jù)進(jìn)行缺失值處理。然后對(duì)數(shù)據(jù)進(jìn)行異常值的檢測(cè)，獲取數(shù)據(jù)集中AQI為0或質(zhì)量等級(jí)為無(wú)的行并將整行輸出。在七臺(tái)河的空氣質(zhì)量數(shù)據(jù)集中，一共有4行數(shù)據(jù)是AQI為0或質(zhì)量等級(jí)為無(wú)，以及有部分?jǐn)?shù)據(jù)經(jīng)過(guò)核算后發(fā)現(xiàn)AQI指數(shù)是和污染物濃度不匹配的，因此需要對(duì)異常值進(jìn)行處理，通過(guò)AQI的計(jì)算公式：I=Ih并結(jié)合空氣污染物濃度限值表(如表1)計(jì)算得出各項(xiàng)污染物對(duì)應(yīng)的AQI指數(shù)，最后取數(shù)值最大的為最終的AQI值。其中I為空氣質(zhì)量指數(shù)，即AQI指數(shù)；Cl、Ch為該污染物濃度限值，Il、Ih為AQI限值；C為該污染物濃度，即輸入值。AQISO2濃度PM10濃度O3濃度NO2濃度PM2.5濃度0000005050501604035100150150200807515047525030018011520080035040028015030016004208005652504002100500100075035050026206001200940500表1空氣污染物濃度限值表在計(jì)算完AQI指數(shù)并填入數(shù)據(jù)集中后，再對(duì)異常的質(zhì)量等級(jí)進(jìn)行處理，將AQI指數(shù)所對(duì)應(yīng)的質(zhì)量等級(jí)填入后，這樣對(duì)數(shù)據(jù)的缺失值和異常值的處理就完成了。3.2數(shù)據(jù)轉(zhuǎn)換在對(duì)數(shù)據(jù)集進(jìn)行缺失值和異常值處理后，便可以開(kāi)始對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)轉(zhuǎn)換了，由于計(jì)算機(jī)無(wú)法對(duì)字符串類型的數(shù)據(jù)進(jìn)行數(shù)據(jù)處理，因此我們需要將數(shù)據(jù)轉(zhuǎn)換成計(jì)算機(jī)可以識(shí)別的數(shù)據(jù)類型，因此需要對(duì)質(zhì)量等級(jí)一列進(jìn)行數(shù)據(jù)轉(zhuǎn)換，因?yàn)橘|(zhì)量等級(jí)的取值沒(méi)有大小意義，所以這里使用pd.get_dummies()函數(shù)以獨(dú)熱編碼方式對(duì)數(shù)據(jù)進(jìn)行轉(zhuǎn)換，將質(zhì)量等級(jí)一列拆分成6列，每列分別對(duì)應(yīng)一個(gè)等級(jí)，對(duì)應(yīng)的列為1，其他列為0，以便計(jì)算各特征的關(guān)聯(lián)度。在對(duì)數(shù)據(jù)集進(jìn)行數(shù)據(jù)轉(zhuǎn)換后整個(gè)數(shù)據(jù)集有14列1779行(如圖7)圖7在完成數(shù)據(jù)轉(zhuǎn)換后，開(kāi)始對(duì)空氣質(zhì)量數(shù)據(jù)進(jìn)行規(guī)范化（歸一化）處理，這是數(shù)據(jù)轉(zhuǎn)換的一項(xiàng)基本工作。由于不同的參數(shù)或指標(biāo)存在各自的計(jì)算單位及量綱，數(shù)據(jù)間的差異性較大，如果不對(duì)數(shù)據(jù)進(jìn)行處理有可能會(huì)對(duì)數(shù)據(jù)的分析結(jié)果造成影響。為了消除這一影響，需要對(duì)各項(xiàng)數(shù)據(jù)進(jìn)行歸一化處理使各項(xiàng)參數(shù)之間的量綱不受影響。在對(duì)數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理時(shí)，需要對(duì)數(shù)據(jù)按比例縮放后分布在指定的范圍內(nèi)，以便對(duì)空氣質(zhì)量數(shù)據(jù)進(jìn)行綜合分析。由于數(shù)據(jù)集的各項(xiàng)參數(shù)不存在負(fù)值，所以選擇對(duì)數(shù)據(jù)集進(jìn)行離差標(biāo)準(zhǔn)化，將結(jié)果值映射到[0-1]之間：X*=其中max為樣本最大值，min為樣本最小值。在對(duì)數(shù)據(jù)進(jìn)行歸一化處理后，獲得七列數(shù)據(jù)分別對(duì)應(yīng)AQI指數(shù)和六種污染物歸一化后的結(jié)果。3.3數(shù)據(jù)可視化在對(duì)數(shù)據(jù)完成缺失值和異常值處理以及數(shù)據(jù)轉(zhuǎn)換后，就可以開(kāi)始對(duì)數(shù)據(jù)進(jìn)行可視化處理。數(shù)據(jù)可視化就是將信息的各種屬性和變量通過(guò)圖像、表格等方法進(jìn)行處理，包括數(shù)據(jù)的各屬性及變量，然后用建模、表達(dá)等對(duì)其進(jìn)行可視化解釋。因?yàn)樵紨?shù)據(jù)是比較雜亂的，對(duì)觀察效果較為影響,無(wú)法進(jìn)行較為直觀的觀察,因此數(shù)據(jù)在經(jīng)過(guò)可視化處理會(huì)有更好的觀察效果,更利于后續(xù)分析數(shù)據(jù)特征。所以我對(duì)所有城市的空氣質(zhì)量記錄數(shù)據(jù)進(jìn)行了可視化處理，生成了各城市的AQI的變化趨勢(shì)圖(如圖8),質(zhì)量等級(jí)分布圖(如圖9)以及質(zhì)量等級(jí)占比圖(如圖10)。圖8七臺(tái)河的AQI指數(shù)變化趨勢(shì)圖圖9七臺(tái)河的質(zhì)量等級(jí)分布圖圖10七臺(tái)河市的質(zhì)量等級(jí)占比分布圖3.4分析數(shù)據(jù)特征從圖4中可以看到，七臺(tái)河的AQI指數(shù)具有一定的規(guī)律性，在每年九月到第二年一月時(shí)呈升高趨勢(shì)，從一月到六月呈下降趨勢(shì)，變化趨勢(shì)均較為明顯，每年的高峰主要在每年的十一月到十二月之間，具有季節(jié)性變化的特征。而從圖8和圖9中可以看到，七臺(tái)河市的空氣質(zhì)量較為良好，其中優(yōu)和良天數(shù)一共占比超過(guò)85%。將七臺(tái)河市的空氣質(zhì)量和其臨近的牡丹江市及雙鴨山市作對(duì)比(如圖11和圖12)，他們的AQI指數(shù)變化趨勢(shì)十分相似，而且指數(shù)也十分接近，而相距較遠(yuǎn)的大慶(如圖13)卻具有較明顯的差別，說(shuō)明空氣質(zhì)量的影響范圍具有一定的區(qū)域性。圖11牡丹江的AQI指數(shù)變化趨勢(shì)圖圖12雙鴨山的AQI指數(shù)變化趨勢(shì)圖圖13大慶的AQI指數(shù)變化趨勢(shì)而經(jīng)度相近的城市相比，如北京、保定、聊城、六安、上饒以及汕頭(如圖14)，六個(gè)城市自北向南AQI指數(shù)均值和峰值都逐漸降低，且季節(jié)性影響也逐漸減弱，說(shuō)明AQI指數(shù)與各地所屬的氣候有關(guān)。北京位于華北平原，屬暖溫帶半濕潤(rùn)大陸性季風(fēng)氣候，夏季高溫多雨，冬季寒冷干燥，春、秋短促，全年降水的80%集中在夏季，所以可以看到北京夏季的AQI指數(shù)并不算高，但冬季AQI指數(shù)升幅明顯、且持續(xù)時(shí)間長(zhǎng)。六安屬亞熱帶濕潤(rùn)季風(fēng)氣候，季風(fēng)顯著,雨量適中;冬冷夏熱,四季分明。由于六安的季風(fēng)顯著，因此與北京相比，六安的AQI指數(shù)的峰值和均值更低，高峰期持續(xù)時(shí)間也比北京短。汕頭屬亞熱帶季風(fēng)氣候，冬季常吹偏北風(fēng)，夏季常吹偏南風(fēng)或東南風(fēng)，具有明顯的季風(fēng)氣候特征，春季由于季風(fēng)并不顯著且十分潮濕，不利于空氣污染物的擴(kuò)散，所以AQI指數(shù)相對(duì)較高，冬季吹偏北風(fēng)，AQI指數(shù)有一定的回落。圖14經(jīng)度相近的六個(gè)地區(qū)的AQI指數(shù)變化趨勢(shì)圖而緯度相近的城市相比，如煙臺(tái)、德州、呂梁、中衛(wèi)和海西蒙古族藏族自治州(如圖15)，這五個(gè)城市或地區(qū)自西向東逐漸向內(nèi)陸深入，但AQI指數(shù)卻是先增加后減少，其中德州的均值和峰值均是五個(gè)城市之中最高的，德州屬于溫帶季風(fēng)氣候，季風(fēng)影響顯著，四季分明、冷熱干濕界限明顯，但由于相對(duì)煙臺(tái)來(lái)說(shuō)位置更靠近內(nèi)陸，不利于污染物的擴(kuò)散，從而導(dǎo)致每年的秋冬季的AQI指數(shù)高峰期較長(zhǎng)。但海西蒙古族藏族自治州屬于高原大陸性氣候，冬寒夏涼，暖季短暫，冷季漫長(zhǎng)，春季多大風(fēng)和沙暴；雨量偏少，雨熱同季，干濕季分明，但無(wú)論是均值還是高峰期的持續(xù)時(shí)間都比德州要低得多，而導(dǎo)致這一現(xiàn)象的原因不是氣候條件，而是因?yàn)榈貐^(qū)的經(jīng)濟(jì)發(fā)展差異造成的，普遍來(lái)說(shuō)，我國(guó)沿海地區(qū)的城市化和工業(yè)化發(fā)展都要比內(nèi)陸地區(qū)發(fā)展迅速，因此沿海地區(qū)向大氣所排放的污染物也更多，從而出現(xiàn)了圖中的變化規(guī)律。圖15緯度相近的五個(gè)城市或地區(qū)的AQI指數(shù)變化趨勢(shì)圖因此，影響空氣質(zhì)量的因素除了地區(qū)所屬的氣候條件，還有地區(qū)自身的發(fā)展情況，甚至可以通過(guò)大氣治理來(lái)對(duì)空氣質(zhì)量造成影響，就比如2014年，北京為迎接亞太經(jīng)合組織第二十次領(lǐng)導(dǎo)人非正式會(huì)議，我國(guó)政府用超常規(guī)的手段，對(duì)北京及周邊地區(qū)實(shí)施應(yīng)急減排措施，使空氣質(zhì)量明顯轉(zhuǎn)好。2014年11月3日上午8點(diǎn)，北京市城六區(qū)PM2.5濃度為37微克每立方米，各污染物濃度減少?gòu)?3.6%到66.6%，接近一級(jí)優(yōu)水平。北京的天空也看到了久違的藍(lán)色，被市民稱為“APEC藍(lán)”。由于每個(gè)地區(qū)的主要污染物都有可能不盡相同，這一特征可以通過(guò)數(shù)據(jù)之間的關(guān)聯(lián)度得出。所以，可以得出結(jié)論：人為地在固定或流動(dòng)的污染源排放污染物是影響空氣質(zhì)量的最主要原因，如車輛排放、工廠廢氣、垃圾焚燒等；建筑密度、地形地貌、天氣條件等因素是影響空氣質(zhì)量的重要原因。內(nèi)因是污染物的濃度越大，對(duì)環(huán)境的空氣質(zhì)量影響也越大，外因則是如相對(duì)濕度增大、大氣壓力降低、逆溫天氣等氣象條件影響了污染物的擴(kuò)散，使得污染物不斷積累，導(dǎo)致空氣變差。根據(jù)結(jié)論，減少大氣污染的方法有：控制污染物排放，對(duì)不同時(shí)期的排放量進(jìn)行控制，盡可能在氣象條件不利的天氣減少排放；工廠布局、尾氣處理、城區(qū)與工業(yè)區(qū)距離及規(guī)劃要合理，以方便于污染物的擴(kuò)散，不要過(guò)度集中，否則會(huì)造成重復(fù)迭加污染。4.時(shí)序分析與預(yù)測(cè)時(shí)間序列是各時(shí)間點(diǎn)上形成的數(shù)值序列，時(shí)間序列分析是通過(guò)曲線擬合和參數(shù)估計(jì)以及對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行系統(tǒng)化的觀察，建立數(shù)學(xué)模型的理論。需要明確的是，時(shí)間序列分析主要是對(duì)自身的變化規(guī)律進(jìn)行研究，而不是對(duì)時(shí)間的回歸。可以利用時(shí)間序列分析來(lái)對(duì)數(shù)據(jù)的未來(lái)趨勢(shì)進(jìn)行預(yù)測(cè)、如金融市場(chǎng)、客流控制、市場(chǎng)供需等。由于時(shí)間序列數(shù)據(jù)的特殊性，通常意味著需要使用專門統(tǒng)計(jì)方法來(lái)對(duì)其進(jìn)行分析。在本章，主要是對(duì)ARIMA組件進(jìn)行關(guān)注，ARIMA組件可以對(duì)時(shí)間序列進(jìn)行更深層的了解和預(yù)測(cè)，非平穩(wěn)序列在經(jīng)過(guò)差分后會(huì)具有平穩(wěn)的特征，然后用ARIMA模型對(duì)平穩(wěn)的時(shí)間序列進(jìn)行擬合。而AQI指數(shù)的變化規(guī)律具有較強(qiáng)的季節(jié)性，因此選擇ARIMA對(duì)AQI指數(shù)進(jìn)行預(yù)測(cè)。相較于LSTM，ARIMA的預(yù)測(cè)值更接近歷史值和平均值，并且對(duì)峰值的預(yù)測(cè)效果更接近。可以通過(guò)時(shí)間序列的散點(diǎn)圖、偏自相關(guān)函數(shù)圖以及自相關(guān)函數(shù)圖來(lái)判斷平穩(wěn)性，如果平穩(wěn)性較差則需要對(duì)其進(jìn)行平穩(wěn)化處理，直到時(shí)間序列的均值和方差均為常數(shù)，并且在一個(gè)常數(shù)值附近隨機(jī)波動(dòng)，在對(duì)非平穩(wěn)的時(shí)間序列數(shù)據(jù)進(jìn)行平穩(wěn)化處理后，ACF拖尾，PACFp階截尾則選擇建立AR模型；若ACFq階截尾，PACF拖尾，則建立MA模型；若ACF和PACF拖尾，則建立ARMA模型。為檢驗(yàn)所建立的模型是否具有意義，接下來(lái)需要對(duì)參數(shù)進(jìn)行估計(jì)，然后對(duì)檢驗(yàn)進(jìn)行假設(shè)，判斷殘差序列是否為為白噪聲序列。最后對(duì)已通過(guò)檢驗(yàn)的模型進(jìn)行預(yù)測(cè)。在ARIMA(p,d,q)(AutoregressiveIntergratedMovingAverage)中，AR是“自回歸”，I是差分，MA為“滑動(dòng)平均”，p是自回歸系數(shù)，d為差分次數(shù)(階數(shù))；q為滑動(dòng)平均數(shù)。ARIMA原理就是對(duì)進(jìn)行了平穩(wěn)化處理后的時(shí)間序列將隨機(jī)誤差項(xiàng)的現(xiàn)值和滯后值以及因變量自身的滯后值進(jìn)行回歸。ARIMA模型的優(yōu)點(diǎn)是它不需要借助其他外生變量；但要求時(shí)間序列數(shù)據(jù)必須是平穩(wěn)的或是經(jīng)差分后穩(wěn)定的且ARIMA模型本質(zhì)上無(wú)法對(duì)非線性關(guān)系進(jìn)行捕捉。其中自回歸模型(AR)的基本解釋是：對(duì)歷史值與當(dāng)前值的關(guān)系進(jìn)行描述，通過(guò)自身的歷史值對(duì)未來(lái)值進(jìn)行預(yù)測(cè)只能對(duì)于自身歷史時(shí)期相關(guān)的現(xiàn)象進(jìn)行預(yù)測(cè)必須滿足平穩(wěn)性的要求并具有自相關(guān)性自相關(guān)系數(shù)必須大于0.5公式定義：yt=μ+i=1其中yt是當(dāng)前值，μ是常數(shù)項(xiàng)，p是階數(shù)，γi被假設(shè)為對(duì)于任何的t都不變，yt-i為前幾條的值，?t移動(dòng)平均模型(MA)是關(guān)注自回歸模型中誤差項(xiàng)的累計(jì)，當(dāng)AR(p)的假設(shè)條件不滿足時(shí)可以考慮使用此模型，通過(guò)歷史時(shí)期的隨機(jī)干擾或預(yù)測(cè)誤差的線性組合來(lái)表達(dá)當(dāng)前預(yù)測(cè)值，q階自回歸過(guò)程的公式定義：yt=μ+ARMA是自回歸模型和移動(dòng)平均模型的結(jié)合，公式定義如下：yt=μ+i=1ACF，自相關(guān)函數(shù)(決定q值)，反映了同一序列在不同時(shí)間的取值之間關(guān)聯(lián)度。同時(shí)中間(k-1)個(gè)隨機(jī)變量xt-1……x(t-k+1)還會(huì)對(duì)x(t)造成影響，而x(t-k)又和k-1個(gè)隨機(jī)變量互相相關(guān)，所以p(k)ACFk=ARIMA(p,d,q)階數(shù)確定：模型ACFPACFAR(p)衰減趨近于零(幾何型或震蕩型)p階后截尾MA(q)q階后截尾衰減趨近于零(幾何型或震蕩型)ARMA(p,q)q階后衰減趨近于零(幾何型或震蕩型)p階后衰減趨近于零(幾何型或震蕩型)平穩(wěn)性要求：樣本時(shí)間序列所得到的擬合曲線在未來(lái)一定時(shí)間內(nèi)仍可以按照現(xiàn)有的形態(tài)趨勢(shì)繼續(xù)延續(xù)。由于空氣質(zhì)量數(shù)據(jù)屬于弱平穩(wěn)數(shù)據(jù)，因此需要對(duì)數(shù)據(jù)進(jìn)行差分，提升數(shù)據(jù)的平穩(wěn)性，從而保證ARIMA模型的要求得到滿足。在將所需的庫(kù)安裝好并導(dǎo)入后，就可以開(kāi)始對(duì)數(shù)據(jù)進(jìn)行時(shí)序分析和預(yù)測(cè)了。4.1建立ARIMA時(shí)間序列模型時(shí)間序列預(yù)測(cè)中最常用的方法之一就是被稱為ARIMA模型，它代表了AutoRegessive綜合MovingAverage版本。時(shí)間序列可以通過(guò)ARIMA模型對(duì)數(shù)據(jù)擬合后按照目前的形態(tài)和趨勢(shì)去對(duì)未來(lái)時(shí)間點(diǎn)的數(shù)據(jù)進(jìn)行更深入的了解和預(yù)測(cè)。其中，有三個(gè)不同的參數(shù)p、d、q用于對(duì)ARIMA模型進(jìn)行參數(shù)化調(diào)整。這三個(gè)參數(shù)共計(jì)數(shù)據(jù)集中的趨勢(shì)變化、平穩(wěn)性和季節(jié)性：（1）p是模型的自回歸部分，代表預(yù)測(cè)模型中采用的時(shí)序數(shù)據(jù)本身的滯后數(shù)(lags),也叫做AR/Auto-Regressive項(xiàng)。它允許將過(guò)去價(jià)值觀的影響納入模型。直觀地說(shuō)，如果過(guò)去的一段時(shí)間AQI指數(shù)呈升高趨勢(shì)，則明天的AQI指數(shù)可能也會(huì)升高。（2）d是模型的集成部分，代表時(shí)序數(shù)據(jù)需要進(jìn)行多少次差分，才會(huì)由原本的非平穩(wěn)序列轉(zhuǎn)換成平穩(wěn)序列，也叫Integrated項(xiàng)。其中包括模型中包含的差異量（當(dāng)前時(shí)間值與歷史時(shí)間值距離）以適用于時(shí)間序列。通過(guò)ADF檢驗(yàn)原時(shí)間序列的平穩(wěn)性，如果原時(shí)間序列是平穩(wěn)的，那么d=0；否則對(duì)時(shí)間序列進(jìn)行差分直到ADF檢驗(yàn)證明序列是平穩(wěn)的但序列一般差分次數(shù)不超過(guò)2次。直觀地說(shuō)，如果過(guò)去一段時(shí)間的AQI指數(shù)變化幅度較小，明天的AQI指數(shù)變化幅度可能也不大。（3）q是模型的移動(dòng)平均部分，代表預(yù)測(cè)模型中由于預(yù)測(cè)的平滑性造成的滯后，也叫做MA/MovingAverage項(xiàng)?？梢詫v史時(shí)間點(diǎn)設(shè)置為模型的誤差來(lái)對(duì)誤差的線性組合進(jìn)行觀察。通過(guò)利用季節(jié)性ARIMA模型對(duì)空氣質(zhì)量數(shù)據(jù)的季節(jié)性影響進(jìn)行處理時(shí)，，即SARIMAX，表示為ARIMA(p,d,q)x(P,D,Q)s。其中(p,d,q)描述的是前面所提到的非季節(jié)性參數(shù)，而(P,D,Q)遵循相同的定義，用于描述季節(jié)性參數(shù)。S是指每個(gè)時(shí)間序列的周期。由于所涉及的多個(gè)調(diào)整參數(shù)，下一節(jié)中，將進(jìn)一步解釋如何對(duì)季節(jié)性ARIMA模型的最優(yōu)參數(shù)集進(jìn)行自動(dòng)化識(shí)別。4.2ARIMA時(shí)間序列模型的參數(shù)選擇要使用季節(jié)性ARIMA模型來(lái)對(duì)時(shí)間序列數(shù)據(jù)進(jìn)行擬合，首先需要找出優(yōu)化感興趣度量的ARIMA(p,d,q)(P,D,Q)s的值，可以通過(guò)多種方法來(lái)實(shí)現(xiàn)這一步驟，但ARIMA模型的正確參數(shù)化設(shè)置是一個(gè)較為漫長(zhǎng)的過(guò)程。而其他統(tǒng)計(jì)編程語(yǔ)言則可以通過(guò)自動(dòng)化來(lái)解決這個(gè)問(wèn)題。在本節(jié)中，可以通過(guò)手動(dòng)編寫Python代碼來(lái)尋找季節(jié)性ARIMA模型的最優(yōu)參數(shù)值。首先需要先對(duì)周期S進(jìn)行確定，由于從前一章的變化趨勢(shì)圖可以看出，空氣質(zhì)量的變化規(guī)律是一年作為一個(gè)周期，所以首先可以確定周期s=12。接下來(lái)通過(guò)使用“網(wǎng)格搜索”對(duì)不同的參數(shù)組合進(jìn)行迭代探索。通過(guò)使用ARIMA(p,d,q)(P,D,Q)s函數(shù)對(duì)每個(gè)參數(shù)組合進(jìn)行擬合并在經(jīng)過(guò)整體質(zhì)量評(píng)估后得到新的季節(jié)性ARIMA模型。最佳參數(shù)組合將在探索完參數(shù)范圍后得到，其將會(huì)是感興趣的標(biāo)準(zhǔn)產(chǎn)生的最佳性能的參數(shù)。因此需要對(duì)參數(shù)的取值范圍先進(jìn)行確認(rèn)，在確定好參數(shù)的取值范圍并生成參數(shù)三元組后，然后使用該三元組來(lái)對(duì)ARIMA模型結(jié)合編寫的代碼完成的訓(xùn)練和評(píng)估的過(guò)程。在對(duì)不同參數(shù)的模型進(jìn)行評(píng)估和比較配備時(shí)，可以根據(jù)每個(gè)參數(shù)組合對(duì)應(yīng)模型的契合度和對(duì)未來(lái)數(shù)據(jù)的預(yù)測(cè)能力進(jìn)行排序。因此選擇以AIC值(Akaike信息標(biāo)準(zhǔn))作為排序參考標(biāo)準(zhǔn)。AIC同時(shí)考慮了模型的復(fù)雜度以及模型對(duì)數(shù)據(jù)的契合度。在使用大量功能的情況下，AIC值越低，意味著適合數(shù)據(jù)的模型以使用的特征較少的方式來(lái)獲取相同的適合度。因此，可以通過(guò)尋找AIC值最低來(lái)找到最有興趣的模型。下面通過(guò)編寫函數(shù)get_best_AIC來(lái)遍歷參數(shù)范圍內(nèi)的所有參數(shù)組合，并使用SARIMAX函數(shù)對(duì)相應(yīng)的季節(jié)性ARIMA模型進(jìn)行適應(yīng)。其中，pdq指定非季節(jié)性參數(shù)，而seasonal_pdq指定季節(jié)性參數(shù)。對(duì)每一個(gè)模型進(jìn)行安裝后，輸出其對(duì)應(yīng)的輸入：data=城市的空氣質(zhì)量數(shù)據(jù)中AQI指數(shù)一列過(guò)程：函數(shù)get_best_AIC(data)：對(duì)非季節(jié)性參數(shù)和季節(jié)性參數(shù)的取值范圍進(jìn)行定義利用duct()生成笛卡爾積的元組然后將其轉(zhuǎn)換成列表形式生成非季節(jié)性參數(shù)列表pdq和季節(jié)性參數(shù)列表seasonal_pdq禁用警告消息，因?yàn)槟承┙M合可能導(dǎo)致數(shù)字錯(cuò)誤指定并導(dǎo)致引發(fā)異常Forpdq中每一個(gè)元素param：Forseasonal_pdq中每一個(gè)元素param_seasonal：Try:使用函數(shù)SARIMAX(data，order=param,seasonal_order=param_seasonal,enforce_stationarity=False,enforce_invertibility=False)并生成模型mod安裝模型mod并得到結(jié)果result按格式輸出param、param_seasonal以及AIC得分Except：ContinueEndforEndfor通過(guò)最終的結(jié)果表明：當(dāng)非季節(jié)性參數(shù)(p,d,q)分別等于1、0、2，季節(jié)性參數(shù)(P,D,Q)均等于0時(shí)，對(duì)應(yīng)的AIC4.3安裝ARIMA時(shí)間序列模型通過(guò)上一節(jié)的網(wǎng)絡(luò)搜索，已經(jīng)得到了參數(shù)范圍內(nèi)生成擬合時(shí)間序列數(shù)據(jù)的模型對(duì)應(yīng)AIC值最低的參數(shù)組合，可以通過(guò)該參數(shù)組合對(duì)模型進(jìn)行更深入的分析。首先將得出的參數(shù)組合插入到新的SARIMAX模型中，并使用result.summary()函數(shù)將模型計(jì)算參數(shù)表全部打印出來(lái)。從返回的系數(shù)表中，coef列將對(duì)每個(gè)特征如何影響時(shí)間序列以及每個(gè)特征的權(quán)重進(jìn)行展示。P>|z|描述的是每個(gè)特征權(quán)重的意義。而返回的p值均為0(如圖16)，說(shuō)明模型中權(quán)重的設(shè)置和保留是合理的。圖16SHARIMAX模型計(jì)算參數(shù)表在對(duì)季節(jié)性ARIMA函數(shù)使用fit()函數(shù)時(shí)，需要對(duì)模型進(jìn)行診斷來(lái)確保沒(méi)有違反模型的假設(shè)?？梢酝ㄟ^(guò)plot_diagnostics對(duì)象快速生成模型診斷檢查首先確保模型的殘差不存在相關(guān)性且平均分布為0，如果無(wú)法滿足以上特性，則需要進(jìn)一步的改善(如圖17)。圖17SARIMAX模型診斷模型診斷在數(shù)理統(tǒng)計(jì)中，估計(jì)值(擬合值)與實(shí)際值與之間的差被稱為殘差?；貧w模型基本假設(shè)的信息被包含在“殘差”中。如果模型正確，殘差可被看作誤差的觀測(cè)值。殘差應(yīng)具有誤差的一些性質(zhì)并符合模型假設(shè)條件。通過(guò)殘差分析，將殘差中包含的信息對(duì)模型假設(shè)的合理性及數(shù)據(jù)的可靠性進(jìn)行檢測(cè)。通過(guò)殘差分析對(duì)模型進(jìn)行診斷，診斷結(jié)果如下：（1）隨著時(shí)間的變化(左上圖)，殘差并未出現(xiàn)較明顯的季節(jié)性特征，圖中的部分峰值似乎是白噪聲點(diǎn)，但無(wú)法準(zhǔn)確判斷，通過(guò)自相關(guān)圖（右下圖）證明可得時(shí)間序列的滯后值與自身的殘差之間的相關(guān)性較低。（2）在右上圖中，我們看到橙色KDE線與N(0,1)呈正態(tài)分布，即標(biāo)準(zhǔn)偏差為1且平均值為0，意味著殘留物分布正常。（3）左下角圖顯示，殘差(藍(lán)點(diǎn))分布呈遵循N(0,1)的標(biāo)準(zhǔn)正態(tài)分布采樣的線性趨勢(shì)，這一特征同樣意味著通過(guò)上述結(jié)果可以證實(shí)該模型的效果較為滿意，能夠?yàn)轭A(yù)測(cè)未來(lái)值以及了解空氣質(zhì)量數(shù)據(jù)起到積極的作用。盡管結(jié)果較為滿意，但是可以通過(guò)改變模型的一些參數(shù)來(lái)提高模型的擬合效果，如通過(guò)拓寬網(wǎng)格搜索范圍來(lái)找到擬合效果更好的參數(shù)組合。4.4驗(yàn)證預(yù)測(cè)在上一節(jié)，我們已經(jīng)獲得了我們時(shí)間序列的模型，并對(duì)模型的假設(shè)的合理性及數(shù)據(jù)的可靠性進(jìn)行考察，現(xiàn)在可以用來(lái)產(chǎn)生預(yù)測(cè)。首先需要對(duì)實(shí)際值和預(yù)測(cè)值進(jìn)行比較，從而提高預(yù)測(cè)的準(zhǔn)確性?？梢酝ㄟ^(guò)get_prediction()和conf_int()屬性來(lái)獲得時(shí)間序列預(yù)測(cè)的值和相關(guān)的置信區(qū)間。然后繪制AQI指數(shù)時(shí)間序列的實(shí)際值和預(yù)測(cè)值，折線的對(duì)比進(jìn)行較為直觀的評(píng)估(如圖18)。使用pred.predicted_mean得到預(yù)測(cè)均值，而函數(shù)間區(qū)域可以使用fill_between用法。圖18季節(jié)性ARIMA算法對(duì)七臺(tái)河AQI指數(shù)的實(shí)際值和預(yù)測(cè)值對(duì)比圖總體而言，我們的實(shí)際值與預(yù)測(cè)值基本保持一致。然后通過(guò)使用MSE(方差)總結(jié)得出預(yù)測(cè)的平均誤差。這個(gè)值在每個(gè)城市的結(jié)果都不一樣，并且最大值和最小值差距較大，盡管無(wú)法非常接近0，但是在實(shí)際情況中通常都不可能。而與同樣具有時(shí)間序列分析的LSTM算法相比，盡管LSTM算法的MSE值比季節(jié)性ARIMA的更小，但是LSTM對(duì)峰值的預(yù)測(cè)效果并不如季節(jié)性ARIMA（如圖19），且兩種算法的MSE值之差在七臺(tái)河數(shù)據(jù)集中只有10左右，在其他空氣質(zhì)量變化幅度更小的城市這個(gè)差值可能會(huì)更低。所以總的來(lái)說(shuō)，LSTM算法可能更適用于空氣質(zhì)量數(shù)據(jù)較為平穩(wěn)的城市，而季節(jié)性ARIMA算法對(duì)空氣質(zhì)量數(shù)據(jù)變化較大的城市預(yù)測(cè)效果更好。圖19LSTM算法對(duì)七臺(tái)河AQI指數(shù)的預(yù)測(cè)值和實(shí)際值的對(duì)比圖4.5生成可視化預(yù)測(cè)最后，通過(guò)利用季節(jié)性ARIMA時(shí)間序列模型對(duì)未來(lái)的AQI指數(shù)進(jìn)行預(yù)測(cè)。時(shí)間序列對(duì)象的get_forecast()函數(shù)可以對(duì)已指定數(shù)量的步驟計(jì)算其預(yù)測(cè)值，并通過(guò)此代碼的輸出未來(lái)值的時(shí)間序列和預(yù)測(cè)，我預(yù)測(cè)了未來(lái)30天AQI指數(shù)，并將其繪制出來(lái)(如圖19)。再將預(yù)測(cè)值與實(shí)際值進(jìn)行對(duì)比，整體趨勢(shì)與實(shí)際值基本符合。隨著對(duì)未來(lái)值的進(jìn)一步檢驗(yàn)，MSE值約等于21，在可接受的范圍內(nèi)，說(shuō)明整個(gè)預(yù)測(cè)是比較成功的。圖19七臺(tái)河未來(lái)30天AQI指數(shù)的預(yù)測(cè)圖參考文獻(xiàn)[1]謝驍,董利民.城市空氣污染、區(qū)域聯(lián)系與經(jīng)濟(jì)發(fā)展——基于環(huán)境庫(kù)茲涅茨曲線形成機(jī)制的視角[J]生態(tài)經(jīng)濟(jì)EcologicalEconomy2019年02期[2]陳婕.我國(guó)環(huán)境庫(kù)茲涅茨曲線研究述評(píng)[J]金融經(jīng)濟(jì)FinanceEconomy2019年18期[3]洛平.確保大氣污染防治更有實(shí)效[N]洛陽(yáng)日?qǐng)?bào)2019-10-24[4]杜靈.環(huán)保大數(shù)據(jù)在環(huán)境污染防治管理中應(yīng)用探究[J]現(xiàn)代營(yíng)銷(信息版)2019年11期[5]王飛.塔城市大氣污染物的時(shí)間變化特征分析[A]第34屆中國(guó)氣象學(xué)會(huì)年會(huì)氣候環(huán)境與人體健康分會(huì)場(chǎng)論文集[6]伍潘,黃小娟,張軍科,張建強(qiáng),宋宏藝,羅進(jìn)奇.香港地區(qū)不同類型站點(diǎn)大氣污染變化特征對(duì)比研究[J]四川環(huán)境SichuanEnvironment2018年05期[7]郭慶春,袁悅,劉芳芳,高芮,張淑文,姜洪瑞.聊城市大氣污染變化特征研究[J]陜西廣播電視大學(xué)學(xué)報(bào)JournalofShaanxiRadio&TVUniversity2017年03期[8]張雷光,王君平.我國(guó)大氣污染及氣象因素對(duì)人體健康影響的探討[J/OL]臨床醫(yī)藥文獻(xiàn)電子雜志JournalofClinicalMedicalLiterature2016年06期[9]王成祥,陳永金,劉加珍,徐夢(mèng)辰,王丹,劉亞琦.聊城市大氣污染現(xiàn)狀與治理對(duì)策研究[J]環(huán)境工程EnvironmentalEngineering2016年06期[10]劉華琦.淺淡大氣污染的原因和防治措施[J]黑龍江環(huán)境通報(bào)HeilongjiangEnvironmentalJournal2016年01期[11]林發(fā)照.珠三角城市群經(jīng)濟(jì)增長(zhǎng)與環(huán)境污染關(guān)系研究[J]中國(guó)環(huán)境管理干部學(xué)院學(xué)報(bào)JournalofEnvironmentalManagementCollegeofChina[12]趙李明基于遺傳算法和BP神經(jīng)網(wǎng)絡(luò)的廣州市空氣質(zhì)量預(yù)測(cè)與時(shí)空分布研究[D][13]徐蘭芹基于ARIMA組合模型的濟(jì)南空氣質(zhì)量指數(shù)（AQI）研究[D][14]劉順程,岳思穎大數(shù)據(jù)時(shí)代下基于Python的網(wǎng)絡(luò)信息爬取技術(shù)[J]電子技術(shù)與軟件工程ElectronicTechnology&SoftwareEngineering2017年21期

HYPERLINK如何給電腦重做系統(tǒng)給電腦重做系統(tǒng)，自己學(xué)學(xué)，可少花錢，哈哈[圖]

一、準(zhǔn)備工作:

如何重裝電腦系統(tǒng)

首先，在啟動(dòng)電腦的時(shí)候按住DELETE鍵進(jìn)入BIOS，選擇AdvancedBIOSFeatures選項(xiàng)，按Enter鍵進(jìn)入設(shè)置程序。選擇FirstBootDevice選項(xiàng)，然后按鍵盤上的PageUp或PageDown鍵將該項(xiàng)設(shè)置為CD-ROM，這樣就可以把系統(tǒng)改為光盤啟動(dòng)。

其次，退回到主菜單，保存BIOS設(shè)置。（保存方法是按下F10，然后再按Y鍵即可）

1.準(zhǔn)備好WindowsXPProfessional簡(jiǎn)體中文版安裝光盤,并檢查光驅(qū)是否支持自啟動(dòng)。

2.可能的情況下，在運(yùn)行安裝程序前用磁盤掃描程序掃描所有硬盤檢查硬盤錯(cuò)誤并進(jìn)行修復(fù)，否則安裝程序運(yùn)行時(shí)如檢查到有硬盤錯(cuò)誤即會(huì)很麻煩。

3.用紙張記錄安裝文件的產(chǎn)品密匙(安裝序列號(hào))。

4.可能的情況下，用驅(qū)動(dòng)程序備份工具(如:驅(qū)動(dòng)精靈2004V1.9Beta.exe)將原WindowsXP下的所有驅(qū)動(dòng)程序備份到硬盤上(如∶F:Drive)。最好能記下主板、網(wǎng)卡、顯卡等主要硬件的型號(hào)及生產(chǎn)廠家，預(yù)先下載驅(qū)動(dòng)程序備用。

5.如果你想在安裝過(guò)程中格式化C盤或D盤(建議安裝過(guò)程中格式化C盤)，請(qǐng)備份C盤或D盤有用的數(shù)據(jù)。

二、用光盤啟動(dòng)系統(tǒng):

(如果你已經(jīng)知道方法請(qǐng)轉(zhuǎn)到下一步),重新啟動(dòng)系統(tǒng)并把光驅(qū)設(shè)為第一啟動(dòng)盤,保存設(shè)置并重啟。將XP安裝光盤放入光驅(qū),重新啟動(dòng)電腦。剛啟動(dòng)時(shí)，當(dāng)出現(xiàn)如下圖所示時(shí)快速按下回車鍵，否則不能啟動(dòng)XP系統(tǒng)光盤安裝。如果你不知道具體做法請(qǐng)參考與這相同的-->如何進(jìn)入純DOS系統(tǒng):

光盤自啟動(dòng)后,如無(wú)意外即可見(jiàn)到安裝界面,將出現(xiàn)如下圖1所示

查看原圖

全中文提示,“要現(xiàn)在安裝WindowsXP,請(qǐng)按ENTER”，按回車鍵后,出現(xiàn)如下圖2所示

查看原圖

許可協(xié)議,這里沒(méi)有選擇的余地，按“F8”后如下圖3

HYPERLINK

查看原圖

這里用“向下或向上”方向鍵選擇安裝系統(tǒng)所用的分區(qū)，如果你已格式化C盤請(qǐng)選擇C分區(qū)，選擇好分區(qū)后按“Enter”鍵回車，出現(xiàn)下圖4所示

查看原圖

這里對(duì)所選分區(qū)可以進(jìn)行格式化,從而轉(zhuǎn)換文件系統(tǒng)格,或保存現(xiàn)有文件系統(tǒng),有多種選擇的余地,但要注意的是NTFS格式可節(jié)約磁盤空間提高安全性和減小磁盤碎片但同時(shí)存在很多問(wèn)題MacOS和98/Me下看不到NTFS格式的分區(qū),在這里選“用FAT文件系統(tǒng)格式化磁盤分區(qū)(快),按“Enter”鍵回車，出現(xiàn)下圖5所示

查看原圖

格式化C盤的警告,按F鍵將準(zhǔn)備格式化c盤,出現(xiàn)下圖6所示

HYPERLINK

查看原圖

由于所選分區(qū)C的空間大于2048M(即2G),FAT文件系統(tǒng)不支持大于2048M的磁盤分區(qū),所以安裝程序會(huì)用FAT32文件系統(tǒng)格式對(duì)C盤進(jìn)行格式化,按“Enter”鍵回車，出現(xiàn)下圖7所示

查看原圖圖7中正在格式化C分區(qū);只有用光盤啟動(dòng)或安裝啟動(dòng)軟盤啟動(dòng)XP安裝程序,才能在安裝過(guò)程中提供格式化分區(qū)選項(xiàng)；如果用MS-DOS啟動(dòng)盤啟動(dòng)進(jìn)入DOS下,運(yùn)行i386\winnt進(jìn)行安裝XP時(shí),安裝XP時(shí)沒(méi)有格式化分區(qū)選項(xiàng)。格式化C分區(qū)完成后,出現(xiàn)下圖8所示

被過(guò)濾廣告

查看原圖

圖8中開(kāi)始復(fù)制文件,文件復(fù)制完后，安裝程序開(kāi)始初始化Windows配置。然后系統(tǒng)將會(huì)自動(dòng)在15秒后重新啟動(dòng)。重新啟動(dòng)后,出現(xiàn)下圖9所示

HYPERLINK

查看原圖

9

查看原圖

過(guò)5分鐘后，當(dāng)提示還需33分鐘時(shí)將出現(xiàn)如下圖10

HYPERLINK

查看原圖

區(qū)域和語(yǔ)言設(shè)置選用默認(rèn)值就可以了，直接點(diǎn)“下一步”按鈕，出現(xiàn)如下圖11

查看原圖

這里輸入你想好的姓名和單位，這里的姓名是你以后注冊(cè)的用戶名，點(diǎn)“下一步”按鈕，出現(xiàn)如下圖12

HYPERLINK

查看原圖

如果你沒(méi)有預(yù)先記下產(chǎn)品密鑰（安裝序列號(hào)）就大件事啦！這里輸入安裝序列號(hào)，點(diǎn)“下一步”按鈕，出現(xiàn)如下圖13

HYPERLINK

查看原圖

安裝程序自動(dòng)為你創(chuàng)建又長(zhǎng)又難看的計(jì)算機(jī)名稱,自己可任意更改，輸入兩次系統(tǒng)管理員密碼，請(qǐng)記住這個(gè)密碼，Administrator系統(tǒng)管理員在系統(tǒng)中具有最高權(quán)限，平時(shí)登陸系統(tǒng)不需要這個(gè)帳號(hào)。接著點(diǎn)“下一步”出現(xiàn)如下圖14

查看原圖

日期和時(shí)間設(shè)置不用講,選北京時(shí)間，點(diǎn)“下一步”出現(xiàn)如下圖15

HYPERLINK

查看原圖

開(kāi)始安裝,復(fù)制系統(tǒng)文件、安裝網(wǎng)絡(luò)系統(tǒng)，很快出現(xiàn)如下圖16

查看原圖

讓你選擇網(wǎng)絡(luò)安裝所用的方式，選典型設(shè)置點(diǎn)“下一步”出現(xiàn)如下圖17

HYPERLINK

查看原圖

點(diǎn)“下一步”出現(xiàn)如下圖18

HYPERLINK

查看原圖

繼續(xù)安裝，到這里后就不用你參與了，安裝程序會(huì)自動(dòng)完成全過(guò)程。安裝完成后自動(dòng)重新啟動(dòng)，出現(xiàn)啟動(dòng)畫面，如下圖19

HYPERLINK

查看原圖

第一次啟動(dòng)需要較長(zhǎng)時(shí)間，請(qǐng)耐心等候，接下來(lái)是歡迎使用畫面，提示設(shè)置系統(tǒng)，如下圖20

查看原圖

點(diǎn)擊右下角的“下一步”按鈕，出現(xiàn)設(shè)置上網(wǎng)連接畫面，如下圖21所示

HYPERLINK

查看原圖

點(diǎn)擊右下角的“下一步”按鈕，出現(xiàn)設(shè)置上網(wǎng)連接畫面，如下圖21所示

查看原圖

這里建立的寬帶撥號(hào)連接,不會(huì)在桌面上建立撥號(hào)連接快捷方式,且默認(rèn)的撥號(hào)連接名稱為“我的ISP”(自定義除外);進(jìn)入桌面后通過(guò)連接向?qū)Ы⒌膶拵芴?hào)連接,在桌面上會(huì)建立撥號(hào)連接快捷方式,且默認(rèn)的撥號(hào)連接名稱為“寬帶連接”(自定義除外)。如果你不想在這里建立寬帶撥號(hào)連接,請(qǐng)點(diǎn)擊“跳過(guò)”按鈕。

在這里我先創(chuàng)建一個(gè)寬帶連接,選第一項(xiàng)“數(shù)字用戶線(ADSL)或電纜調(diào)制解調(diào)器”,點(diǎn)擊“下一步”按鈕，如下圖22所示

HYPERLINK

查看原圖

目前使用的電信或聯(lián)通(ADSL)住宅用戶都有帳號(hào)和密碼的,所以我選“是,我使用用戶名和密碼連接”,點(diǎn)擊“下一步”按鈕，如下圖23所示

查看原圖

輸入電信或聯(lián)通提供的帳號(hào)和密碼,在“你的ISP的服務(wù)名”處輸入你喜歡的名稱,該名稱作為撥號(hào)連接快捷菜單的名稱,如果留空系統(tǒng)會(huì)自動(dòng)創(chuàng)建名為“我的ISP”作為該連接的名稱,點(diǎn)擊“下一步”按鈕，如下圖24所示

查看原圖

已經(jīng)建立了撥號(hào)連接,微軟當(dāng)然想你現(xiàn)在就激活XP啦,不過(guò)即使不激活也有30天的試用期,又何必急呢?選擇“否,請(qǐng)等候幾天提醒我”,點(diǎn)擊“下一步”按鈕，如下圖25所示

HYPERLINK

查看原圖

輸入一個(gè)你平時(shí)用來(lái)登陸計(jì)算機(jī)的用戶名，點(diǎn)下一步出現(xiàn)如下圖26

HYPERLINK

查看原圖

點(diǎn)擊完成，就結(jié)束安裝。系統(tǒng)將注銷并重新以新用戶身份登陸。登陸桌面后如下圖27

HYPERLINK

查看原圖

六、找回常見(jiàn)的圖標(biāo)

在桌面上點(diǎn)開(kāi)始-->連接到-->寬帶連接，如下圖32

查看原圖

左鍵點(diǎn)“寬帶連接”不放手，將其拖到桌面空白處,可見(jiàn)到桌面上多了一個(gè)“寬帶連接”快捷方式。結(jié)果如下圖33

HYPERLINK

查看原圖

然后，右鍵在桌面空白處點(diǎn)擊，在彈出的菜單中選“屬性”，即打開(kāi)顯示“屬性窗口”如下圖34

查看原圖

在圖中單擊“桌面”選項(xiàng)卡，出現(xiàn)如下圖35

HYPERLINK

查看原圖

在圖中的左下部點(diǎn)擊“自定義桌面”按鈕，出現(xiàn)如下圖36

查看原圖

在圖中的上部，將“我的文檔”、“我的電腦”、“網(wǎng)上鄰居”和“InternetExplorer”四個(gè)項(xiàng)目前面的空格上打鉤，然后點(diǎn)“確定”，再“確定”，你將會(huì)看到桌面上多了你想要的圖標(biāo)。如下圖37

鍵盤上每個(gè)鍵作用!!!

F1幫助

F2改名

F3搜索

F4地址

F5刷新

F6切換

F10菜單

CTRL+A全選

CTRL+C復(fù)制

CTRL+X剪切

CTRL+V粘貼

CTRL+Z撤消

CTRL+O打開(kāi)

SHIFT+DELETE永久刪除

DELETE刪除

ALT+ENTER屬性

ALT+F4關(guān)閉

CTRL+F4關(guān)閉

ALT+TAB切換

ALT+ESC切換

ALT+空格鍵窗口菜單

CTRL+ESC開(kāi)始菜單

拖動(dòng)某一項(xiàng)時(shí)按CTRL復(fù)制所選項(xiàng)目

拖動(dòng)某一項(xiàng)時(shí)按CTRL+SHIFT創(chuàng)建快捷方式

將光盤插入到CD-ROM驅(qū)動(dòng)器時(shí)按SHIFT鍵阻止光盤自動(dòng)播放

Ctrl+1,2,3...切換到從左邊數(shù)起第1,2,3...個(gè)標(biāo)簽

Ctrl+A全部選中當(dāng)前頁(yè)面內(nèi)容

Ctrl+C復(fù)制當(dāng)前選中內(nèi)容

Ctrl+D打開(kāi)“添加收藏”面版(把當(dāng)前頁(yè)面添加到收藏夾中)

Ctrl+E打開(kāi)或關(guān)閉“搜索”側(cè)邊欄(各種搜索引擎可選)

Ctrl+F打開(kāi)“查找”面版

Ctrl+G打開(kāi)或關(guān)閉“簡(jiǎn)易收集”面板

Ctrl+H打開(kāi)“歷史”側(cè)邊欄

Ctrl+I打開(kāi)“收藏夾”側(cè)邊欄/另:將所有垂直平鋪或水平平鋪或?qū)盈B的窗口恢復(fù)

Ctrl+K關(guān)閉除當(dāng)前和鎖定標(biāo)簽外的所有標(biāo)簽

Ctrl+L打開(kāi)“打開(kāi)”面版(可以在當(dāng)前頁(yè)面打開(kāi)Iternet地址或其他文件...)

Ctrl+N新建一個(gè)空白窗口(可更改,Maxthon選項(xiàng)→標(biāo)簽→新建)

Ctrl+O打開(kāi)“打開(kāi)”面版(可以在當(dāng)前頁(yè)面打開(kāi)Iternet地址或其他文件...)

Ctrl+P打開(kāi)“打印”面板(可以打印網(wǎng)頁(yè),圖片什么的...)

Ctrl+Q打開(kāi)“添加到過(guò)濾列表”面板(將當(dāng)前頁(yè)面地址發(fā)送到過(guò)濾列表)

Ctrl+R刷新當(dāng)前頁(yè)面

Ctrl+S打開(kāi)“保存網(wǎng)頁(yè)”面板(可以將當(dāng)前頁(yè)面所有內(nèi)容保存下來(lái))

Ctrl+T垂直平鋪所有窗口

Ctrl+V粘貼當(dāng)前剪貼板內(nèi)的內(nèi)容

Ctrl+W關(guān)閉當(dāng)前標(biāo)簽(窗口)

Ctrl+X剪切當(dāng)前選中內(nèi)容(一般只用于文本操作)

Ctrl+Y重做剛才動(dòng)作(一般只用于文本操作)

Ctrl+Z撤消剛才動(dòng)作(一般只用于文本操作)

Ctrl+F4關(guān)閉當(dāng)前標(biāo)簽(窗口)

Ctrl+F5刷新當(dāng)前頁(yè)面

Ctrl+F6按頁(yè)面打開(kāi)的先后時(shí)間順序向前切換標(biāo)簽(窗口)

Ctrl+F11隱藏或顯示菜單欄

Ctrl+Tab以小菜單方式向下切換標(biāo)簽(窗口)

Ctrl+Enter域名自動(dòng)完成[url=].**.com[/url](內(nèi)容可更改,Maxthon選項(xiàng)→地址欄→常規(guī))/另:當(dāng)輸入焦點(diǎn)在搜索欄中時(shí),為高亮關(guān)鍵字

Ctrl+拖曳保存該鏈接的地址或已選中的文本或指定的圖片到一個(gè)文件夾中(保存目錄可更改,Maxthon選項(xiàng)→保存)

Ctrl+小鍵盤'+'當(dāng)前頁(yè)面放大20%

Ctrl+小鍵盤'-'當(dāng)前頁(yè)面縮小20%

Ctrl+小鍵盤'*'恢復(fù)當(dāng)前頁(yè)面的縮放為原始大小

Ctrl+Alt+S自動(dòng)保存當(dāng)前頁(yè)面所有內(nèi)容到指定