基于IE內(nèi)核的網(wǎng)頁(yè)信息抽取程序開(kāi)發(fā)文檔

1、基于internet explorer內(nèi)核的網(wǎng)頁(yè)信息抓取程序2009年3月25日程序開(kāi)發(fā)背景本程序來(lái)源于我們項(xiàng)目組最近正在開(kāi)發(fā)的一個(gè)開(kāi)源項(xiàng)目網(wǎng)頁(yè)分塊工具。其目的是作為一個(gè)底層的信息抽取模塊，為后期分析提供盡可能詳盡的分塊線索，包括盡可能完整的html源代碼和網(wǎng)頁(yè)元素的位置、顏色、字體、背景色等信息。程序還要具有較好的適應(yīng)性，能夠支持多種網(wǎng)頁(yè)，而事實(shí)上很多網(wǎng)頁(yè)都是不標(biāo)準(zhǔn)的。從通用性考慮，程序應(yīng)該能夠支持多種應(yīng)用，而不僅限于網(wǎng)頁(yè)分塊。預(yù)期目標(biāo)分析程序應(yīng)達(dá)到以下幾點(diǎn)設(shè)計(jì)要求：l 能夠指定要處理的網(wǎng)頁(yè)的url。l 能夠?yàn)閔tml源代碼添加附件信息，如元素位置。l 對(duì)于javascript等動(dòng)態(tài)腳本具有

2、良好的解析能力。l 通過(guò)命令行調(diào)用，提供良好的通用性。l 通過(guò)socket套接字返回html源代碼。l 支持延時(shí)讀取，保證抓取的成功率。l 支持超時(shí)退出，保證程序不會(huì)因?yàn)榧虞d不成功而卡死。使用ie內(nèi)核的原因本程序的核心部分使用的是ie內(nèi)核。至于為什么要基于ie內(nèi)核，而不使用其他瀏覽器的內(nèi)核，有以下幾方面的原因：首先，firefox、google chrome等瀏覽器雖然是開(kāi)放源代碼的，但是其源代碼的閱讀難度相當(dāng)大，想在短時(shí)間內(nèi)弄明白是很困難的。其次，ie的相關(guān)開(kāi)發(fā)文檔比較完整，開(kāi)發(fā)環(huán)境比較容易構(gòu)建，開(kāi)發(fā)起來(lái)更容易上手。最后，從網(wǎng)頁(yè)的兼容性考慮，得益于ie的廣泛的市場(chǎng)占有率，其兼容性明顯要比其他

3、瀏覽器要好很多，盡管對(duì)很多標(biāo)準(zhǔn)都支持得不是很好。綜上，就可以確定本程序使用ie內(nèi)核進(jìn)行開(kāi)發(fā)，實(shí)驗(yàn)證明，這個(gè)做法是正確的。internet explorer的程序結(jié)構(gòu)對(duì)于本程序來(lái)說(shuō)，其中最重要的的就是網(wǎng)頁(yè)內(nèi)容處理層，所用到的接口也都位于mshtml.dll文件中。開(kāi)發(fā)環(huán)境系統(tǒng)：windows xpide：visual studio 2005中文版ie版本：internet explorer 6構(gòu)建基于對(duì)話框的mfc程序運(yùn)行visual studio 2005(c+)，新建一個(gè)項(xiàng)目，選擇mfc標(biāo)簽下的 “mfc應(yīng)用程序”作為模板，填入項(xiàng)目名稱，確定。此時(shí)會(huì)彈出一個(gè)向?qū)?，按照以下步驟操作：點(diǎn)擊左側(cè)的

4、”應(yīng)用程序類型”，選擇”基于對(duì)話框”，”在靜態(tài)庫(kù)中使用mfc”(方便以后發(fā)布)，其他保持默認(rèn)即可。然后單擊完成，程序會(huì)自動(dòng)生成相應(yīng)的類。切換到資源視圖，依次展開(kāi)，在dialog中找到以項(xiàng)目名稱命名的對(duì)話框，雙擊打開(kāi)。刪除“確定”和“取消”按鈕。在對(duì)話框窗口上單擊右鍵，選擇“插入activex控件”。在新彈出的窗口中選擇”microsoft web 瀏覽器”，確定。調(diào)整好ie控件的位置后，在其上單擊右鍵，選擇“添加變量”，輸入名稱m_webbrowser。切換到解決方案視圖，打開(kāi)對(duì)話框的源文件，名稱通常為*dlg.cpp（*為項(xiàng)目名）。將下面的代碼添加到對(duì)話框初始化函數(shù)oninitdialog(

5、)中。lpctstr url = _t(“http:/*”);m_webbrowser.navigate(url,&vtempty,&vtempty,&vtempty,&vtempty);如何確定webbrowser控件中的網(wǎng)頁(yè)加載完成當(dāng)網(wǎng)頁(yè)下載完成后，webbrowser控件觸發(fā)documentcomplete 事件。通過(guò)在程序中添加響應(yīng)documentcomplete事件的程序，我們就可以在網(wǎng)頁(yè)下載完成后對(duì)其進(jìn)行分析和處理。添加事件處理程序的操作步驟如下：切換到資源視圖，打開(kāi)包含webbrowser控件的對(duì)話框，在webbrowser控件上單擊右鍵，選擇“添加事件處理程序”，然后在彈出的對(duì)

6、話框中選擇documentcomplete消息，點(diǎn)擊“添加編輯”以確認(rèn)。webbrowser控件觸發(fā)documentcomplete事件的readystate屬性更改為 readystate_complete時(shí)，這表示 webbrowser 控件已完成下載網(wǎng)頁(yè)。雖然通過(guò)響應(yīng)documentcomplete事件可以知道網(wǎng)頁(yè)是否加載完成，但是有的網(wǎng)頁(yè)觸發(fā)了不止一次documentcomplete事件，例如網(wǎng)易首頁(yè)會(huì)從加載開(kāi)始到完全加載完畢會(huì)激發(fā)二十多次documentcomplete事件。出現(xiàn)這種情況的主要原因是：網(wǎng)頁(yè)中包含javascript等動(dòng)態(tài)腳本，而且有可能會(huì)改變網(wǎng)頁(yè)元素的結(jié)構(gòu)，當(dāng)這些腳本

7、完成解析后會(huì)觸發(fā)documentcomplete事件；如果網(wǎng)頁(yè)是由多個(gè)frame框架組成的，每個(gè)框架中的網(wǎng)頁(yè)加載完成也會(huì)觸發(fā)documentcomplete事件。針對(duì)第二種情況，微軟給出了具體的解決方案， 通過(guò)將documentcomplete事件處理函數(shù)的參數(shù)中的url與當(dāng)前的網(wǎng)頁(yè)文檔的url相比較，若相同，則說(shuō)明整個(gè)網(wǎng)頁(yè)都已經(jīng)完成加載，此時(shí)再對(duì)網(wǎng)頁(yè)進(jìn)行分析和處理，然后退出。按照理論，只需對(duì)網(wǎng)頁(yè)做一次處理就可以了。然而在測(cè)試新浪博客時(shí)，我又發(fā)現(xiàn)了問(wèn)題 在博客評(píng)論加載完成之前觸發(fā)很多次documentcomplete事件，其中的一次事件對(duì)應(yīng)的url與網(wǎng)頁(yè)文檔的url一樣。如果只對(duì)網(wǎng)頁(yè)處理一次，

8、程序是無(wú)法處理獲取加載評(píng)論之后的網(wǎng)頁(yè)。這就是為什么程序需要加上延時(shí)讀取功能的原因，具體思路請(qǐng)參照下一節(jié)。當(dāng)然，在webbrowser控件的事件中，還有其他的事件，比如navigatecomplete2事件。我曾經(jīng)嘗試在其他事件觸發(fā)時(shí)對(duì)網(wǎng)頁(yè)進(jìn)行分析，但是都會(huì)出錯(cuò)，要么只能獲取到一部分元素，要么直接就彈出錯(cuò)誤信息。這是因?yàn)榇藭r(shí)網(wǎng)頁(yè)尚未完全加載，很多元素的屬性都沒(méi)確定，當(dāng)然無(wú)法確定元素的具體信息，如元素位置信息。延時(shí)讀取和超時(shí)退出為了降低網(wǎng)絡(luò)、機(jī)器配置、系統(tǒng)軟件等外界因素對(duì)程序的影響，提高讀取的成功率。本程序加入了延時(shí)讀取和超時(shí)退出的功能。具體實(shí)現(xiàn)方法是：首先在程序的初始化函數(shù)中，如對(duì)話框的onin

9、itdialog函數(shù)，添加一個(gè)固定id的定時(shí)器，使程序定時(shí)發(fā)出一個(gè)wm_time消息。具體函數(shù)如下：settimer(8888,1000,null);/8888為該定時(shí)器的id，1000為定時(shí)發(fā)出wm_time消息的時(shí)間，單位為毫秒。然后添加一個(gè)處理wm_time消息的函數(shù)，其代碼如下：void cmybrowserdlg:ontimer(uint_ptr nidevent)ctime ct;ctimespan cts(0,0,0,5000);/程序延時(shí)執(zhí)行時(shí)間ctimespan timeout(0,0,0,m_timeout);/程序超時(shí)退出時(shí)間/判斷定時(shí)器id，若非指定的定時(shí)器id則退出i

10、f(nidevent =! 8888)cdialog:ontimer(nidevent);return;/獲取當(dāng)前時(shí)間ct = ctime:getcurrenttime();/超時(shí)退出，并輸出錯(cuò)誤信息if(ct (m_time+timeout):postquitmessage(3);/強(qiáng)制退出程序，并返回一個(gè)int型的值/獲取ihtmldocument2指針，以便進(jìn)行下面的操作ccomqiptr spdoc2 = (ihtmldocument2 *)m_webbrowser.get_document();/判斷網(wǎng)頁(yè)加載狀態(tài)，若加載完成則繼續(xù)處理；否則返回if(1 != m_flag)/m_fl

11、ag為documentcomplete事件觸發(fā)標(biāo)志，1表示已觸發(fā)，0表示尚未觸發(fā)return;else if(m_webbrowser.readystate_complete != m_webbrowser.get_readystate()return;else if(ct get_body(&pbody);/獲取body對(duì)象的指針，返回操作結(jié)果if( succeeded( hr ) )/若操作成功，則繼續(xù)執(zhí)行/ something to doihtmldocument3接口前面說(shuō)過(guò)了ihtmldocument3只是ihtmldocument2接口的擴(kuò)展，而且在本程序中用到該接口的地方也就一兩

12、處。使用ihtmldocument3接口的原因是其提供了一個(gè)get_documentelement函數(shù)，下面是其介紹和簡(jiǎn)單的示例：函數(shù)原型 功能說(shuō)明 hresultget_documentelement(ihtmlelement*p); 獲取html文檔中根節(jié)點(diǎn)的接口指針 示例：ihtmlelement * pdocelem;/ ihtmlelement接口指針，指向body對(duì)象 hresult hr;/用于存放函數(shù)調(diào)用結(jié)果 hr = pdoc2-get_documentelement (& pdocelem);/獲取body對(duì)象的指針，返回操作結(jié)果if( succeeded( hr ) )/

13、若操作成功，則繼續(xù)執(zhí)行 / something to do 獲取根節(jié)點(diǎn)的目的是通過(guò)它獲取整個(gè)html文檔的源代碼，具體如何獲得請(qǐng)看下面關(guān)于ihtmlelement接口的介紹。ihtmlelement接口函數(shù)原型 功能說(shuō)明 hresultget_innerhtml(bstr*p)； 獲取當(dāng)前對(duì)象開(kāi)始和結(jié)束標(biāo)簽之間的html源代碼（動(dòng)態(tài)內(nèi)容） hresultget_innertext(bstr*p);獲取當(dāng)前對(duì)象開(kāi)始和結(jié)束標(biāo)簽之間的文本內(nèi)容（動(dòng)態(tài)內(nèi)容）hresult get_outerhtml(bstr*p); 獲取對(duì)象的html的內(nèi)容(靜態(tài)內(nèi)容) hresult get_outertext(bs

14、tr*p); 獲取對(duì)象的文本內(nèi)容(靜態(tài)內(nèi)容) 下面只給出get_innerhtml函數(shù)的使用方法示例，另外三個(gè)函數(shù)類似：ihtmlelement * pelem;/ ihtmlelement接口指針，指向body對(duì)象 bstr html;/存放html源代碼 _bstr_t html_t;/用于將bstr轉(zhuǎn)換為cout可以處理的字符串 hr = pelem-get_innerhtml(&html);if( succeeded( hr ) )html_t = html; cout”the html within this element is:”getabsx();/獲取父節(jié)點(diǎn)的絕對(duì)坐標(biāo)if(s

15、ucceeded(spelement-get_offsetleft(&absx) absx += parentabsx;值得注意的是這兩個(gè)函數(shù)獲取到的都是相對(duì)于父節(jié)點(diǎn)的坐標(biāo)，計(jì)算元素絕對(duì)坐標(biāo)時(shí)還需要加上父節(jié)點(diǎn)的絕對(duì)坐標(biāo)。因此在設(shè)計(jì)程序時(shí)使用了一個(gè)自定義的node類，其中包含著當(dāng)前節(jié)點(diǎn)位置信息，然后傳遞給子節(jié)點(diǎn)，子節(jié)點(diǎn)計(jì)算出相對(duì)坐標(biāo)后再加上該絕對(duì)坐標(biāo)就可以得到子節(jié)點(diǎn)的絕對(duì)坐標(biāo)。在ie的內(nèi)存模型中，網(wǎng)頁(yè)文檔是以dom（document object model文檔對(duì)象模型）存放在內(nèi)存中的，對(duì)網(wǎng)頁(yè)的處理和分析都是基于dom來(lái)操作的，其操作方法與普通的dom并無(wú)太大區(qū)別。下面簡(jiǎn)單介紹ie處理網(wǎng)頁(yè)的兩個(gè)

16、dom相關(guān)接口：ihtmldomnode接口函數(shù)原型 功能說(shuō)明 hresultget_childnodes(idispatch*p); 獲取指定節(jié)點(diǎn)的所有直接后裔節(jié)點(diǎn)的集合 hresultget_nodetype(long*p); 返回指定節(jié)點(diǎn)的類型 在網(wǎng)頁(yè)文檔的dom結(jié)構(gòu)中，標(biāo)簽的屬性、文本和注釋都是以節(jié)點(diǎn)的形式存在的。然而這些節(jié)點(diǎn)卻無(wú)法使用其他接口來(lái)處理，如ihtmlelement接口，如果要對(duì)這些類型的節(jié)點(diǎn)強(qiáng)行操作，程序就會(huì)報(bào)錯(cuò)退出。因此在dom遞歸時(shí)要進(jìn)行查詢ihtmlelement接口時(shí)，就要通過(guò)ihtmldomnode的nodetype來(lái)進(jìn)行判斷。只有當(dāng)nodetype為eleme

17、nt時(shí)才有子節(jié)點(diǎn)，向下遞歸才不會(huì)出錯(cuò)。nodetype所對(duì)應(yīng)的節(jié)點(diǎn)類型：(attribute屬性) 1(element元素) 3(text文本) 8(comment注釋)。 ihtmldomchildrencollection接口函數(shù)原型 功能說(shuō)明 hresultget_length(long*p); 獲取集合中子節(jié)點(diǎn)的個(gè)數(shù) hresultitem(longindex, idispatch*ppitem ); 獲取指定索引位置的子節(jié)點(diǎn) 遍歷dom中的所有節(jié)點(diǎn)結(jié)合ihtmldomnode接口和ihtmldomchildrencollection接口就可以遍歷dom中的所有節(jié)點(diǎn)。下面是示例代碼：v

18、oid getallchild(ihtmldomnode * pnode)ccomptr spchildrendisp;/用于子節(jié)點(diǎn)的集合 ccomptr spchilddisp;/正在處理的子節(jié)點(diǎn) ihtmldomchildrencollection *spchildrennode;longnodetype;/節(jié)點(diǎn)類型 pnode-get_nodetype(&nodetype);pnode-get_childnodes(&spchildrendisp);if( 3 = nodetype )/判斷節(jié)點(diǎn)類型是否為element /一些額外的操作spchildrennode = (ihtmldomchildrencollection *)spchildrendisp;spchildrennode-get_length(&childrennum);/獲取子節(jié)點(diǎn)的集合長(zhǎng)度 for(long i = 0 ; iitem(i,&spchi