動態(tài)網(wǎng)站的搜索引擎的研究

動態(tài)網(wǎng)站的搜索引擎的研究

一、動態(tài)網(wǎng)站的出現(xiàn)和優(yōu)勢最早互聯(lián)網(wǎng)出現(xiàn)時，站點內(nèi)容都是以HTML靜態(tài)頁面形式存放在服務(wù)器上，訪問者瀏覽到的頁面都是這些實際存在的靜態(tài)頁面。隨著技術(shù)的發(fā)展，特別是數(shù)據(jù)庫和腳本技術(shù)PERL、ASP、PHP和JSP的發(fā)展，越來越多的站點都開始采取動態(tài)的頁面發(fā)布手段。比如，我們在GOOGLE.COM上搜索一個內(nèi)容，得到的搜索結(jié)果頁面文件"本身"在GOOGLE服務(wù)器上并不存在，而是通過程序在我們輸入搜索內(nèi)容時調(diào)用后臺數(shù)據(jù)庫實時生成的，也就是說，這些結(jié)果頁面是動態(tài)的。靜態(tài)頁面的站點只涉及文件的傳輸問題，而動態(tài)站點則復(fù)雜得多，用戶和站點之間出現(xiàn)大量的交互，網(wǎng)站不再僅僅是內(nèi)容的發(fā)布，而是成為了一種"應(yīng)用(Application)"，是軟件業(yè)向互聯(lián)網(wǎng)上的擴張，從軟件的角度看，動態(tài)站點是邏輯應(yīng)用層和數(shù)據(jù)層的分離，數(shù)據(jù)庫負(fù)責(zé)站點數(shù)據(jù)的存儲管理，而ASP、PHP、JSP等負(fù)責(zé)處理站點的邏輯應(yīng)用。這樣做的好處除了增加很多交互功能外，更重要的是站點的維護、更新和升級都方便了許多。可以說，沒有動態(tài)網(wǎng)站技術(shù)，目前互聯(lián)網(wǎng)上的這些超大型站點就不可能出現(xiàn)。二、搜索引擎抓取動態(tài)網(wǎng)站頁面時面臨的問題從用戶的角度看，動態(tài)網(wǎng)站非常不錯，豐富了站點的功能，但是對于搜索引擎來說，情況就不同了。(關(guān)于搜索引擎和分類目錄的區(qū)別，以及搜索引擎的工作原理，請"了解搜索引擎")?對于采用ColdFusion技術(shù)的站點，需要重新配置服務(wù)器上的ColdFusion，用"/"代替"？"將參數(shù)傳輸?shù)経RL，更詳細(xì)的信息請見/站點。?對于使用Apache服務(wù)器的站點，可以使用rewrite模塊將帶參數(shù)的URL地址轉(zhuǎn)換成搜索引擎支持的形式，該模塊mod_rewrite在Apache服務(wù)器中不是缺省安裝的，詳細(xì)的信息請見/docs/mod/mod_rewrite.html。對于其他的動態(tài)技術(shù)也能找到對應(yīng)的方法改變URL的形式。然后，要創(chuàng)建一些靜態(tài)頁面指向這些動態(tài)頁面(以改變過的URL鏈接)。前面說過，搜索引擎機器人并不會自己"輸入"參數(shù)，所以要讓上面這些動態(tài)頁面被搜索引擎抓取，我們還需要告訴機器人這些頁面的地址(也就是參數(shù))。我們可以創(chuàng)建一些靜態(tài)的頁面，一般在網(wǎng)絡(luò)營銷中稱?"gatewaypage"(入口頁面)，這些頁面上有大量指向這些動態(tài)頁面的鏈接。將這些入口頁面的地址提交到搜索引擎，這些頁面和鏈接的動態(tài)頁面(改變過URL形式)就能都被搜索引擎抓取了。四、搜索引擎對動態(tài)網(wǎng)站支持的改進在我們調(diào)整動態(tài)站點適應(yīng)搜索引擎的同時，搜索引擎也在發(fā)展。到目前為止，絕大多數(shù)的搜索引擎還不支持動態(tài)頁面的抓取，但是GOOGLE、HOTBOT等和國內(nèi)的百度開始嘗試抓取動態(tài)網(wǎng)站頁面(包括?"？"的頁面)，這就是我們現(xiàn)在在這些搜索引擎進行搜索時，結(jié)果中出現(xiàn)動態(tài)鏈接的原因。這些搜索引擎抓取動態(tài)頁面時，為了避免"搜索機器人陷阱"，都只抓取從靜態(tài)頁面(至少"看上去"是靜態(tài)的頁面)鏈接到的動態(tài)頁面，而從動態(tài)頁面鏈接出的動態(tài)頁面都不再抓取。所以一個動態(tài)站點如果只針對上面這些搜索引擎，可以在上面小節(jié)介紹方法的基礎(chǔ)上簡化：只用創(chuàng)建一些入口頁面，鏈接很多動態(tài)頁面，然后將這些入口頁面遞交到這些搜索引擎就可以了。對于直接使用動態(tài)的URL地址，請