網(wǎng)絡(luò)營銷教程—SEO 第10章 SEO工作實踐(下)

1、網(wǎng)絡(luò)營銷教程seo 第10章 seo工作實踐（下）張棟偉 | 營銷理論 | 出處：原創(chuàng)-it| 2008年12月03日 13:41 | 閱讀 140 次網(wǎng)絡(luò)營銷教程seo 第10章 seo工作實踐-網(wǎng)站的技術(shù)準備張棟偉二遵循w3c規(guī)范w3c是英文 world wide web consortium 的縮寫，中文意思是w3c理事會或萬維網(wǎng)聯(lián)盟。w3c于1994年10月在麻省理工學(xué)院計算機科學(xué)實驗室成立。創(chuàng)建者是萬維網(wǎng)的發(fā)明者tim berners-lee。w3c組織是對網(wǎng)絡(luò)標準制定的一個非贏利組織，像html、xhtml、css、xml的標準就是由w3c來定制。w3c會員（大約500名會員）包括

2、生產(chǎn)技術(shù)產(chǎn)品及服務(wù)的廠商、內(nèi)容供應(yīng)商、團體用戶、研究實驗室、標準制定機構(gòu)和政府部門，一起協(xié)同工作，致力在萬維網(wǎng)發(fā)展方向上達成共識。對于seo工作者對w3c的認識主要體現(xiàn)在對html，xhtml，xml語言標簽代碼的語義化認識上。本書的讀者要力爭做到對每個標簽的作用含義心中有數(shù)，甚至可以手寫代碼。具體請參考網(wǎng)頁制作等相關(guān)教程，不在本書討論范圍。三網(wǎng)站地圖1html網(wǎng)站地圖html網(wǎng)站地圖是一種構(gòu)建思路。也是鏈接構(gòu)建技術(shù)。html地圖是溝通網(wǎng)站主要欄目之間的橋梁。起著引導(dǎo)瀏覽者和促進爬蟲程序遍歷全站的作用。如果，地圖鏈接入口過多，應(yīng)該保持每張地圖不超過100個鏈接入口。例如天極網(wǎng)的html地圖ht

3、tp://sitemap.html（圖10-2）對于天極來說，網(wǎng)站地圖有指向頻道頁及下級分類頁的文本鏈接就足夠了，更重要的是讓用戶很清楚的了解到天極能提供什么以及天極的特色在哪里；對于中型站點來說，仍建議在網(wǎng)站地圖中加入內(nèi)容頁的文字鏈接，可以通過技術(shù)手段生成以文章關(guān)鍵詞搭配文章標題為錨文本的文字鏈接網(wǎng)站地圖，并且用程序控制鏈接數(shù)量并自動分頁。2谷歌網(wǎng)站地圖google地圖跟html地圖作用不同，他是完全面對搜索引擎而制作的網(wǎng)站地圖。google地圖基于xml技術(shù)。google地圖全稱是google sitemaps 是google 的一個和網(wǎng)站管理員相關(guān)的工具，建立g

4、oogle sitemaps可以有效的促進google對網(wǎng)站頁面的收錄。現(xiàn)在google地圖已經(jīng)被各個網(wǎng)站廣泛使用。在線生成google sitemaps網(wǎng)址/四robots.txtrobots是搜索引擎的爬蟲程序通告（爬行器通告）。對于網(wǎng)站管理者和內(nèi)容提供者來說，有時候會有一些站點內(nèi)容，不希望被robots抓取而公開。為了解決這個問題，robots開發(fā)界提供了兩個辦法：一個是robots.txt，另一個是the robots meta標簽。 1、 什么是robots.txt？robots.txt是一個純文本文件，通過在這個文件中聲明該網(wǎng)站中

5、不想被robots訪問的部分，這樣，該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎收錄了，或者指定搜索引擎只收錄指定的內(nèi)容。當一個搜索機器人訪問一個站點時，它會首先檢查該站點根目錄下是否存在robots.txt，如果找到，搜索機器人就會按照該文件中的內(nèi)容來確定訪問的范圍，如果該文件不存在，那么搜索機器人就沿著鏈接抓取。robots.txt必須放置在一個站點的根目錄下，而且文件名必須全部小寫。網(wǎng)站 url相應(yīng)的 robots.txt的 url//robots.txt:80/:

6、80/robots.txt:1234/:1234/robots.txt//robots.txt2、 robots.txt的語法robots.txt文件包含一條或更多的記錄，這些記錄通過空行分開（以cr,cr/nl, or nl作為結(jié)束符），每一條記錄的格式如下所示：:。在該文件中可以使用#進行注解，具體使用方法和unix中的慣例一樣。該文件中的記錄通常以一行或多行user-agent開始，后面加上若干disallow行,詳細情況如下：user-agent:該項的值用于描述搜索引擎ro

7、bot的名字，在robots.txt文件中，如果有多條user-agent記錄說明有多個robot會受到該協(xié)議的限制，對該文件來說，至少要有一條user-agent記錄。如果該項的值設(shè)為*，則該協(xié)議對任何機器人均有效，在robots.txt文件中， user-agent：*這樣的記錄只能有一條。disallow :該項的值用于描述不希望被訪問到的一個url，這個url可以是一條完整的路徑，也可以是部分的，任何以disallow 開頭的url均不會被robot訪問到。例如disallow: /help對/help.html 和/help/index.html都不允許搜索引擎訪問，而disallo

8、w: /help/則允許robot訪問/help.html，而不能訪問/help/index.html。任何一條disallow記錄為空，說明該網(wǎng)站的所有部分都允許被訪問，在/robots.txt文件中，至少要有一條disallow記錄。如果 /robots.txt是一個空文件，則對于所有的搜索引擎robot，該網(wǎng)站都是開放的。下面是一些robots.txt基本的用法：禁止所有搜索引擎訪問網(wǎng)站的任何部分：user-agent: *disallow: /允許所有的robot訪問user-agent: *disallow:或者也可以建一個空文件 /robots.txt file禁止所有搜索引擎訪問

9、網(wǎng)站的幾個部分（下例中的cgi-bin、tmp、private目錄）user-agent: *disallow: /cgi-bin/disallow: /tmp/disallow: /private/禁止某個搜索引擎的訪問（下例中的badbot）user-agent: badbotdisallow: /只允許某個搜索引擎的訪問（下例中的webcrawler）user-agent: webcrawlerdisallow:user-agent: *disallow: /3、 常見搜索引擎機器人robots名字名稱 搜索引擎baiduspider scooter

10、 ia_archiver bot fast-webcrawler slurp bot 4、 robots.txt舉例下面是一些著名站點的robots.txt：/robots.txt/robots.txt/robots.txtht

11、tp://robots.txt5、 常見robots.txt錯誤顛倒了順序：錯誤寫成user-agent: *disallow: bot正確的應(yīng)該是：user-agent: googlebotdisallow: *把多個禁止命令放在一行中：例如，錯誤地寫成disallow: /css/ /cgi-bin/ /images/正確的應(yīng)該是disallow: /css/disallow: /cgi-bin/disallow: /images/行前有大量空格例如寫成 disallow: /cgi-bin/盡管在標準沒有談到這個，但是這種方式很容易出問題。404重定向到另外一

12、個頁面：當robot訪問很多沒有設(shè)置robots.txt文件的站點時，會被自動404重定向到另外一個html頁面。這時robot常常會以處理robots.txt文件的方式處理這個html頁面文件。雖然一般這樣沒有什么問題，但是最好能放一個空白的robots.txt文件在站點根目錄下。采用大寫。例如user-agent: excitedisallow:雖然標準是沒有大小寫的，但是目錄和文件名應(yīng)該小寫：user-agent:googlebotdisallow:語法中只有disallow，沒有allow！錯誤的寫法是：user-agent: baiduspider disallow: /john/a

13、llow: /jane/忘記了斜杠/錯誤的寫做：user-agent: baiduspider disallow: css正確的應(yīng)該是user-agent: baiduspider disallow: /css/下面一個小工具專門檢查robots.txt文件的有效性：/cgi-bin/robotcheck.cgi二、 robots meta標簽1、什么是robots meta標簽robots.txt文件主要是限制整個站點或者目錄的搜索引擎訪問情況，而robots meta標簽則主要是針對一個個具體的頁面。和的meta標簽（如使用的語

14、言、頁面的描述、關(guān)鍵詞等）一樣，robots meta標簽也是放在頁面的中，專門用來告訴搜索引擎robots如何抓取該頁的內(nèi)容。具體的形式類似（見黑體部分）：北京歡迎你2、robots meta標簽的寫法：robots meta標簽中沒有大小寫之分，name=”robots”表示所有的搜索引擎，可以針對某個具體搜索引擎寫為name=”baiduspider”。content部分有四個指令選項：index、noindex、follow、nofollow，指令間以“,”分隔。index 指令告訴搜索機器人抓取該頁面；follow 指令表示搜索機器人可以沿著該頁面上的鏈接繼續(xù)抓取下去；robots

15、meta標簽的缺省值是index和follow，只有inktomi除外，對于它，缺省值是index,nofollow。這樣，一共有四種組合：其中可以寫成；可以寫成需要注意的是：上述的robots.txt和robots meta標簽限制搜索引擎機器人（robots）抓取站點內(nèi)容的辦法只是一種規(guī)則，需要搜索引擎機器人的配合才行，并不是每個robots都遵守的。目前看來，絕大多數(shù)的搜索引擎機器人都遵守robots.txt的規(guī)則，而對于robots meta標簽，目前支持的并不多，但是正在逐漸增加，如著名搜索引擎google就完全支持，而且google還增加了一個指令“archive”，可以限制goo

16、gle是否保留網(wǎng)頁快照。例如：表示抓取該站點中頁面并沿著頁面中鏈接抓取，但是不在goolge上保留該頁面的網(wǎng)頁快照。附錄:免費robots在線制作工具http:/www.clickability.co.uk/robotstxt.html 肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇

17、莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈

18、膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊

19、莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)

20、羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆

21、聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂蕿蕿肂肈蚈蟻裊莇蚈螃肁芃蚇羆袃艿蚆蚅腿膅蚅螈羂蒄蚄袀膇莀蚃羂羀芅螂螞膅膁荿螄羈肇莈袇膄莆莇薆羇莂莆螈節(jié)羋莆袁肅膄蒞羃袈蒃莄蚃肅荿莃螅袆芅蒂袇肁膁蒁薇襖肇蒀蝿肀蒅蒀袂羃莁葿羄膈芇蒈蚄羈膃蕆螆膆聿蒆袈罿莈薅薈膅芄薄蝕羇膀薄袃膃膆薃羅肆蒄薂蚄衿莀薁螇肄芆薀衿袇膂