揭秘搜索引擎收錄問(wèn)題

揭秘搜索引擎收錄問(wèn)題

1、內(nèi)容違法2、robots協(xié)議有誤由于robots協(xié)議的復(fù)雜性，導(dǎo)致有小部分站長(zhǎng)在創(chuàng)建robots協(xié)議的出現(xiàn)錯(cuò)誤誤導(dǎo)了spider，常見的錯(cuò)誤有以下幾種：(1)、顛倒了順序錯(cuò)誤寫成：User-agent:*Disallow:GoogleBot正確的應(yīng)該是：User-agent:GoogleBotDisallow:*(2)、把多個(gè)禁止命令放在一行中例如錯(cuò)誤寫成：Disallow:/css//cgi-bin//images/正確的應(yīng)該是：Disallow:/css/Disallow:/cgi-bin/Disallow:/images/(3)、行前有大量空格例如寫成：Disallow:/cgi-bin/盡管在標(biāo)準(zhǔn)沒(méi)有談到這個(gè)，但是這種方式很容易出問(wèn)題。(4)、404重定向到另外一個(gè)頁(yè)面當(dāng)Robot訪問(wèn)很多沒(méi)有設(shè)置robots.txt文件的站點(diǎn)時(shí)，會(huì)被自動(dòng)404重定向到另外一個(gè)Html頁(yè)面。這時(shí)Robot常常會(huì)以處理robots.txt文件的方式處理這個(gè)Html頁(yè)面文件。雖然一般這樣沒(méi)有什么問(wèn)題，但是最好能放一個(gè)空白的robots.txt文件在站點(diǎn)根目錄下。(5)、采用大寫。例如USER-AGENT:EXCITEDISALLOW:雖然標(biāo)準(zhǔn)是沒(méi)有大小寫的，但是目錄和文件名應(yīng)該小寫：user-agent:GoogleBotdisallow:(6)、語(yǔ)法中只有Disallow，沒(méi)有Allow錯(cuò)誤的寫法是：User-agent:BaiduspiderDisallow:/john/allow:/jane/(7)、忘記了斜杠/錯(cuò)誤寫作：User-agent:BaiduspiderDisallow:css正確的應(yīng)該是：User-agent:BaiduspiderDisallow:/css/……3、網(wǎng)站設(shè)計(jì)問(wèn)題這種情況在前幾年的企業(yè)站中比較常見，最常見的情況是，整站flash，整站js，蜘蛛無(wú)法抓取，對(duì)于這樣的網(wǎng)站，改版是最好的選擇，相關(guān)討論很多，這邊就不贅述了4、網(wǎng)站不穩(wěn)定程序頂部：starttime=timer程序尾部：response.Write(timer-starttime)&"ms"經(jīng)過(guò)排查了幾個(gè)執(zhí)行時(shí)間超過(guò)350ms的問(wèn)題頁(yè)面以后，網(wǎng)站訪問(wèn)情況趨于穩(wěn)定，一個(gè)更新周期以后網(wǎng)站就被收錄了。5、關(guān)聯(lián)懲罰所謂城門失火，殃及池魚，如果某個(gè)網(wǎng)站被搜索引擎封殺，同時(shí)你的網(wǎng)站又不幸地被搜索引擎判定，2者之間有密切的關(guān)系，那么很遺憾，收錄就是不可能的事情了，特別是百度，對(duì)于一些站群，垃圾站，seo過(guò)度站點(diǎn)的封殺極為嚴(yán)厲。關(guān)聯(lián)懲罰分為三種，域名關(guān)聯(lián)，服務(wù)器關(guān)聯(lián)，鏈接關(guān)聯(lián)。6、內(nèi)容質(zhì)量不高百度在"站長(zhǎng)FAQ"中指出，百度不收錄"復(fù)制自互聯(lián)網(wǎng)上的高度