動(dòng)態(tài)網(wǎng)站的搜索引擎策略

動(dòng)態(tài)網(wǎng)站的搜索引擎策略

一、動(dòng)態(tài)網(wǎng)站的出現(xiàn)和優(yōu)勢(shì)最早互聯(lián)網(wǎng)出現(xiàn)時(shí)，站點(diǎn)內(nèi)容都是以HTML靜態(tài)頁(yè)面形式存放在服務(wù)器上，訪問(wèn)者瀏覽到的頁(yè)面都是這些實(shí)際存在的靜態(tài)頁(yè)面。隨著技術(shù)的發(fā)展，特別是數(shù)據(jù)庫(kù)和腳本技術(shù)PERL、ASP、PHP和JSP的發(fā)展，越來(lái)越多的站點(diǎn)都開(kāi)始采取動(dòng)態(tài)的頁(yè)面發(fā)布手段。比如，我們?cè)贕oogle.COM上搜索一個(gè)內(nèi)容，得到的搜索結(jié)果頁(yè)面文件"本身"在Google服務(wù)器上并不存在，而是通過(guò)程序在我們輸入搜索內(nèi)容時(shí)調(diào)用后臺(tái)數(shù)據(jù)庫(kù)實(shí)時(shí)生成的，也就是說(shuō)，這些結(jié)果頁(yè)面是動(dòng)態(tài)的。靜態(tài)頁(yè)面的站點(diǎn)只涉及文件的傳輸問(wèn)題，而動(dòng)態(tài)站點(diǎn)則復(fù)雜得多，用戶和站點(diǎn)之間出現(xiàn)大量的交互，網(wǎng)站不再僅僅是內(nèi)容的發(fā)布，而是成為了一種"應(yīng)用(Application)"，是軟件業(yè)向互聯(lián)網(wǎng)上的擴(kuò)張，從軟件的角度看，動(dòng)態(tài)站點(diǎn)是邏輯應(yīng)用層和數(shù)據(jù)層的分離，數(shù)據(jù)庫(kù)負(fù)責(zé)站點(diǎn)數(shù)據(jù)的存儲(chǔ)管理，而ASP、PHP、JSP等負(fù)責(zé)處理站點(diǎn)的邏輯應(yīng)用。這樣做的好處除了增加很多交互功能外，更重要的是站點(diǎn)的維護(hù)、更新和升級(jí)都方便了許多?？梢哉f(shuō)，沒(méi)有動(dòng)態(tài)網(wǎng)站技術(shù)，目前互聯(lián)網(wǎng)上的這些超大型站點(diǎn)就不可能出現(xiàn)。二、搜索引擎抓取動(dòng)態(tài)網(wǎng)站頁(yè)面時(shí)面臨的問(wèn)題·對(duì)于采用ColdFusion技術(shù)的站點(diǎn)，需要重新配置服務(wù)器上的ColdFusion，用"/"代替"？"將參數(shù)傳輸?shù)経RL，更詳細(xì)的信息請(qǐng)見(jiàn)/站點(diǎn)?！?duì)于使用Apache服務(wù)器的站點(diǎn)，可以使用rewrite模塊將帶參數(shù)的URL地址轉(zhuǎn)換成搜索引擎支持的形式，該模塊mod_rewrite在Apache服務(wù)器中不是缺省安裝的，詳細(xì)的信息請(qǐng)見(jiàn)/docs/mod/mod_rewrite.html。對(duì)于其他的動(dòng)態(tài)技術(shù)也能找到對(duì)應(yīng)的方法改變URL的形式。然后，要?jiǎng)?chuàng)建一些靜態(tài)頁(yè)面指向這些動(dòng)態(tài)頁(yè)面(以改變過(guò)的URL鏈接)。前面說(shuō)過(guò)，搜索引擎機(jī)器人并不會(huì)自己"輸入"參數(shù)，所以要讓上面這些動(dòng)態(tài)頁(yè)面被搜索引擎抓取，我們還需要告訴機(jī)器人這些頁(yè)面的地址(也就是參數(shù))。我們可以創(chuàng)建一些靜態(tài)的頁(yè)面，一般在網(wǎng)絡(luò)營(yíng)銷(xiāo)中稱(chēng)?"gatewaypage"(入口頁(yè)面)，這些頁(yè)面上有大量指向這些動(dòng)態(tài)頁(yè)面的鏈接。將這些入口頁(yè)面的地址提交到搜索引擎，這些頁(yè)面和鏈接的動(dòng)態(tài)頁(yè)面(改變過(guò)URL形式)就能都被搜索引擎抓取了。四、搜索引擎對(duì)動(dòng)態(tài)網(wǎng)站支持的改進(jìn)在我們調(diào)整動(dòng)態(tài)站點(diǎn)適應(yīng)搜索引擎的同時(shí)，搜索引擎也在發(fā)展。到目前為止，絕大多數(shù)的搜索引擎還不支持動(dòng)態(tài)頁(yè)面的抓取，但是Google、HOTBOT等和國(guó)內(nèi)的百度開(kāi)始嘗試抓取動(dòng)態(tài)網(wǎng)站頁(yè)面(包括?"？"的頁(yè)面)，這就是我們現(xiàn)在在這些搜索引擎進(jìn)行搜索時(shí)，結(jié)果中出現(xiàn)動(dòng)態(tài)鏈接的原因。這些搜索引擎抓取動(dòng)態(tài)頁(yè)面時(shí)，為了避免"搜索機(jī)器人陷阱"，都只抓取從靜態(tài)頁(yè)面(至少"看上去"是靜態(tài)的頁(yè)面)鏈接到的動(dòng)態(tài)頁(yè)面，而從動(dòng)態(tài)頁(yè)面鏈接出的動(dòng)態(tài)頁(yè)面都不再抓取。所以一個(gè)動(dòng)態(tài)站點(diǎn)如果只針對(duì)上面這些搜索引擎，可以在上面小節(jié)介紹方法的基礎(chǔ)上簡(jiǎn)化：只用創(chuàng)建一些入口頁(yè)面，鏈接很多動(dòng)態(tài)頁(yè)面，然后將這些入口頁(yè)面遞交到這些搜索引擎就可以了。對(duì)于直接使用動(dòng)態(tài)的URL地址，請(qǐng)注意：文件URL中不要有SessionId，同時(shí)不要用ID作為參數(shù)名稱(chēng)(特別是對(duì)于Google)·參數(shù)越少越