鄭州天倫醫(yī)院Seo關(guān)健詞分析教程課件

搜索引擎蜘蛛和網(wǎng)頁(yè)的三大問題

一、搜索引擎蜘蛛能不能找到你的網(wǎng)頁(yè)二、搜索引擎蜘蛛找到網(wǎng)頁(yè)后能不能抓取網(wǎng)頁(yè)三、搜索引擎蜘蛛抓取網(wǎng)頁(yè)之后，能不能提煉有用信息一、搜索引擎蜘蛛能不能找到你的網(wǎng)頁(yè)

<1>搜索引擎喜歡什么樣的網(wǎng)站

⑴網(wǎng)站內(nèi)容的相關(guān)性⑵網(wǎng)站及網(wǎng)頁(yè)的權(quán)威性⑶網(wǎng)站的實(shí)用性

<2>搜索引擎蜘蛛算法與蜘蛛程序構(gòu)架

⑴網(wǎng)絡(luò)蜘蛛基本原理⑵網(wǎng)站與網(wǎng)絡(luò)蜘蛛⑶網(wǎng)絡(luò)蜘蛛對(duì)內(nèi)容提?、染W(wǎng)絡(luò)蜘蛛的程序構(gòu)架

網(wǎng)站的權(quán)威性，大部份是由外鏈所決定的。高質(zhì)量的外鏈越多，網(wǎng)站的權(quán)威性就越高。另外，域名的注冊(cè)歷史，網(wǎng)站的穩(wěn)定性，隱私政策等一些細(xì)節(jié)，也會(huì)影響到權(quán)威性。外鏈對(duì)網(wǎng)站的權(quán)威性是有選擇性的，也就是說，來自相關(guān)內(nèi)容網(wǎng)站的鏈接對(duì)提高鏈權(quán)威性幫助最大。比如，在醫(yī)院博客上加一個(gè)鏈接到某個(gè)鋼材網(wǎng)站，很明顯，醫(yī)院在鋼材方面沒有權(quán)威性。網(wǎng)站的權(quán)威性不能被做網(wǎng)站的人完全控制，想要作弊，比較費(fèi)時(shí)費(fèi)力，群發(fā)等手段還容易被查出來，但是如果花錢花時(shí)間，還是可以得到人為的外鏈，所以現(xiàn)在搜索引擎開始考慮網(wǎng)站的實(shí)用性。網(wǎng)站及網(wǎng)頁(yè)的權(quán)威性

即對(duì)用戶來說，你的網(wǎng)站到底有多大用處？用戶是不是喜歡你的網(wǎng)站？如果用戶在你的網(wǎng)站花的時(shí)間多，游覽頁(yè)數(shù)多，在不同的時(shí)間經(jīng)常來看你的網(wǎng)站，加入了游覽器書簽，并且在不同的網(wǎng)上書簽站加了評(píng)論，這些都可以幫助搜索引擎理解你的網(wǎng)站對(duì)用戶的實(shí)用性。搜索引擎的工具條可以幫助收集這類信息，也可以利用社會(huì)網(wǎng)絡(luò)收集信息。網(wǎng)站的實(shí)用性

⑴網(wǎng)絡(luò)蜘蛛基本原理網(wǎng)絡(luò)蜘蛛即webspider是一個(gè)很形象的名字。把互聯(lián)網(wǎng)比喻成一個(gè)蜘蛛網(wǎng)，那么Spider就是在網(wǎng)上爬來爬去的蜘蛛。網(wǎng)絡(luò)蜘蛛是通過網(wǎng)頁(yè)的鏈接地址來尋找網(wǎng)頁(yè)，從網(wǎng)站某一個(gè)頁(yè)面（通常是首頁(yè)）開始，讀取網(wǎng)頁(yè)的內(nèi)容，找到在網(wǎng)頁(yè)中的其它鏈接地址，然后通過這些鏈接地址尋找下一個(gè)網(wǎng)頁(yè)，這樣一直循環(huán)下去，直到把這個(gè)網(wǎng)站所有的網(wǎng)頁(yè)都抓取完為止。如果把整個(gè)互聯(lián)網(wǎng)當(dāng)成一個(gè)網(wǎng)站，那么網(wǎng)絡(luò)蜘蛛就可以用這個(gè)原理把互聯(lián)網(wǎng)上所有的網(wǎng)頁(yè)都抓取下來。

在抓取網(wǎng)頁(yè)的時(shí)候，網(wǎng)絡(luò)蜘蛛一般有兩種策略：廣度優(yōu)先和深度優(yōu)先（如下圖所示）。

由于不可能抓取所有的網(wǎng)頁(yè)，有些網(wǎng)絡(luò)蜘蛛對(duì)一些不太重要的網(wǎng)站，設(shè)置了訪問的層數(shù)。例如，在上圖中，A為起始網(wǎng)頁(yè)，屬于0層，B、C、D、E、F屬于第1層，G、H屬于第2層，I屬于第3層。如果網(wǎng)絡(luò)蜘蛛設(shè)置的訪問層數(shù)為2的話，網(wǎng)頁(yè)I是不會(huì)被訪問到的。這也讓有些網(wǎng)站上一部分網(wǎng)頁(yè)能夠在搜索引擎上搜索到，另外一部分不能被搜索到。對(duì)于網(wǎng)站設(shè)計(jì)者來說，扁平化的網(wǎng)站結(jié)構(gòu)設(shè)計(jì)有助于搜索引擎抓取其更多的網(wǎng)頁(yè)。

網(wǎng)絡(luò)蜘蛛在訪問網(wǎng)站網(wǎng)頁(yè)的時(shí)候，經(jīng)常會(huì)遇到加密數(shù)據(jù)和網(wǎng)頁(yè)權(quán)限的問題，有些網(wǎng)頁(yè)是需要會(huì)員權(quán)限才能訪問。當(dāng)然，網(wǎng)站的所有者可以通過協(xié)議讓網(wǎng)絡(luò)蜘蛛不去抓取，但對(duì)于一些出售報(bào)告的網(wǎng)站，他們希望搜索引擎能搜索到他們的報(bào)告，但又不能完全免費(fèi)的讓搜索者查看，這樣就需要給網(wǎng)絡(luò)蜘蛛提供相應(yīng)的用戶名和密碼。網(wǎng)絡(luò)蜘蛛可以通過所給的權(quán)限對(duì)這些網(wǎng)頁(yè)進(jìn)行網(wǎng)頁(yè)抓取，從而提供搜索。而當(dāng)搜索者點(diǎn)擊查看該網(wǎng)頁(yè)的時(shí)候，同樣需要搜索者提供相應(yīng)的權(quán)限驗(yàn)證。

⑵網(wǎng)站與網(wǎng)絡(luò)蜘蛛網(wǎng)絡(luò)蜘蛛需要抓取網(wǎng)頁(yè)，不同于一般的訪問，如果控制不好，則會(huì)引起網(wǎng)站服務(wù)器負(fù)擔(dān)過重。每個(gè)網(wǎng)絡(luò)蜘蛛都有自己的名字，在抓取網(wǎng)頁(yè)的時(shí)候，都會(huì)向網(wǎng)站標(biāo)明自己的身份。網(wǎng)絡(luò)蜘蛛在抓取網(wǎng)頁(yè)的時(shí)候會(huì)發(fā)送一個(gè)請(qǐng)求，這個(gè)請(qǐng)求中就有一個(gè)字段為User－agent，用于標(biāo)識(shí)此網(wǎng)絡(luò)蜘蛛的身份:Google網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為GoogleBot，Baidu網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為BaiDuSpider，Yahoo網(wǎng)絡(luò)蜘蛛的標(biāo)識(shí)為InktomiSlurp。如果在網(wǎng)站上有訪問日志記錄(robots.txt)，網(wǎng)站管理員就能知道，哪些搜索引擎的網(wǎng)絡(luò)蜘蛛過來過，什么時(shí)候過來的，以及讀了多少數(shù)據(jù)等等。如果網(wǎng)站管理員發(fā)現(xiàn)某個(gè)蜘蛛有問題，就通過其標(biāo)識(shí)來和其所有者聯(lián)系。⑶網(wǎng)絡(luò)蜘蛛對(duì)內(nèi)容提取

搜索引擎建立網(wǎng)頁(yè)索引，處理的對(duì)象是文本文件。對(duì)于網(wǎng)絡(luò)蜘蛛來說，抓取下來網(wǎng)頁(yè)包括各種格式.包括html、圖片、doc、pdf、多媒體、動(dòng)態(tài)網(wǎng)頁(yè)及其它格式等。這些文件抓取下來后，需要把這些文件中的文本信息提取出來。準(zhǔn)確提取這些文檔的信息，一方面對(duì)搜索引擎的搜索準(zhǔn)確性有重要作用，另一方面對(duì)于網(wǎng)絡(luò)蜘蛛正確跟蹤其它鏈接有一定影響。

對(duì)于doc、pdf等文檔，這種由專業(yè)廠商提供的軟件生成的文檔，廠商都會(huì)提供相應(yīng)的文本提取接口

因?yàn)楝F(xiàn)在的主流網(wǎng)站大多采用的是HTML語(yǔ)言寫的，這里大概說一下HTML。HTML有一套自己的語(yǔ)法，通過不同的命令標(biāo)識(shí)符來表示不同的字體、顏色、位置等版式，如：、、等，提取文本信息時(shí)需要把這些標(biāo)識(shí)符都過濾掉。過濾標(biāo)識(shí)符并非難事，因?yàn)檫@些標(biāo)識(shí)符都有一定的規(guī)則，只要按照不同的標(biāo)識(shí)符取得相應(yīng)的信息即可。但在識(shí)別這些信息的時(shí)候，需要同步記錄許多版式信息，例如文字的字體大小、是否是標(biāo)題、是否是加粗顯示、是否是頁(yè)面的關(guān)鍵詞等，這些信息有助于計(jì)算單詞在網(wǎng)頁(yè)中的重要程度。同時(shí)，對(duì)于HTML網(wǎng)頁(yè)來說，除了標(biāo)題和正文以外，會(huì)有許多廣告鏈接以及公共的頻道鏈接，這些鏈接和文本正文一點(diǎn)關(guān)系也沒有，在提取網(wǎng)頁(yè)內(nèi)容的時(shí)候，也需要過濾這些無用的鏈接。例如某個(gè)網(wǎng)站有“醫(yī)院介紹”頻道，因?yàn)閷?dǎo)航條在網(wǎng)站內(nèi)每個(gè)網(wǎng)頁(yè)都有，若不過濾導(dǎo)航條鏈接，在搜索“產(chǎn)品介紹”的時(shí)候，則網(wǎng)站內(nèi)每個(gè)網(wǎng)頁(yè)都會(huì)搜索到，無疑會(huì)帶來大量垃圾信息。

那么如何用ASP構(gòu)建網(wǎng)絡(luò)蜘蛛呢？答案是：Internettransfercontrol(ITC信息轉(zhuǎn)移控制)。這個(gè)由微軟提供的控件，將使你能夠通過ASP程序訪問Internet資源。你可以用ITC搜尋Web頁(yè)面，訪問FTP服務(wù)器，甚至可以發(fā)送郵件標(biāo)題。有幾個(gè)缺陷必須先說明一下。第一，ASP無權(quán)訪問Windows的注冊(cè)表，這就使某些ITC正常存儲(chǔ)的常量和數(shù)值不可用。通常你可以通過設(shè)置ITC為“不使用默認(rèn)值”來解決這個(gè)問題，這就需要你在運(yùn)行過程中指明每一次的值。

另一個(gè)更嚴(yán)重的問題是關(guān)于許可證書的。由于ASP不具備調(diào)用LicenseManager（一項(xiàng)Windows中的功能，可以保證組件和控件的合法使用）的功能，那么當(dāng)LicenseManager檢查當(dāng)前組件的密鑰密碼，并將其與Windows注冊(cè)表進(jìn)行比較后，如果發(fā)現(xiàn)它們不同，該組件將不會(huì)工作。因此，當(dāng)你想把ITC配置到另一臺(tái)沒有所需密鑰的計(jì)算機(jī)上時(shí)，將導(dǎo)致ITC崩潰。解決的辦法之一是將ITC捆綁到另一個(gè)VB組件中，由VB組件復(fù)制ITC的路徑和工具，從而進(jìn)行配置。這項(xiàng)工作很麻煩，但不幸的是，它是必不可少的。

用ASP構(gòu)建網(wǎng)絡(luò)蜘蛛

<1>網(wǎng)站設(shè)計(jì)與SEO

⑴不到不得已，不要重新設(shè)計(jì)網(wǎng)站⑵網(wǎng)站URL千萬不要改動(dòng)⑶增加新網(wǎng)頁(yè)速度不要太快⑷網(wǎng)頁(yè)的優(yōu)化速度也要控制⑸301轉(zhuǎn)向<2>內(nèi)容與SEO

⑴讓網(wǎng)民找到能解決問題的信息⑵建立良好的信譽(yù)和權(quán)威地位⑶原創(chuàng)與鏈接⑷內(nèi)容與SEO的關(guān)連<3>域名與SEO

⑴來自其它信任度高的網(wǎng)站鏈接⑵域名歷史⑶網(wǎng)站內(nèi)容是否原創(chuàng)及更新情況

⑷其它域名細(xì)節(jié)<4>主機(jī)與SEO

⑴主機(jī)故障可能造成無法索引⑵主機(jī)設(shè)置錯(cuò)誤會(huì)影響搜索引擎蜘蛛抓?、侵鳈C(jī)的地理位置會(huì)影響網(wǎng)頁(yè)排名在不同國(guó)家的表現(xiàn)二、搜索引擎蜘蛛找到網(wǎng)頁(yè)后能不能抓取網(wǎng)頁(yè)網(wǎng)站設(shè)計(jì)與SEO網(wǎng)站在籌劃階段或重建的時(shí)候都要注意以下幾個(gè)問題，一定要SEO角度考慮1》不到不得已，不要重新設(shè)計(jì)網(wǎng)站，不要對(duì)網(wǎng)站進(jìn)行大面積改動(dòng)，可以進(jìn)行慢慢的局部?jī)?yōu)化。2》網(wǎng)站URL千萬不要改動(dòng)。這個(gè)是網(wǎng)站重新設(shè)計(jì)中最重要的問題。最好不要改動(dòng)網(wǎng)站原有的URL，也就是不要?jiǎng)幽夸浢蛣澪募?。否則新的URL會(huì)被當(dāng)做新的網(wǎng)頁(yè)，整個(gè)網(wǎng)站的網(wǎng)頁(yè)收錄就會(huì)下降很多，外鏈也會(huì)失去很多。3》增加新網(wǎng)頁(yè)速度不要太快，要增加高質(zhì)量的，對(duì)用戶有用的內(nèi)容是關(guān)健，但也要注意增加欄目和網(wǎng)頁(yè)的速度也要進(jìn)行適當(dāng)?shù)目刂啤?》網(wǎng)頁(yè)的優(yōu)化速度也要控制。最好不要突然之間把每個(gè)網(wǎng)頁(yè)都進(jìn)行

SEO。比如突然之間網(wǎng)頁(yè)標(biāo)題、鏈接文字，使的關(guān)健詞過度優(yōu)化。把需要優(yōu)化的地方要慢慢的加進(jìn)去。5》301轉(zhuǎn)向，如果改動(dòng)頁(yè)面，就把URL做301轉(zhuǎn)到新的URL，301轉(zhuǎn)向?qū)σ延械逆溄觽鬟fPR也是有好處的。內(nèi)容與SEO1》所有的網(wǎng)站運(yùn)營(yíng)者、設(shè)計(jì)師和網(wǎng)絡(luò)營(yíng)銷人員，都應(yīng)該首先理解一個(gè)事實(shí)，那就是你不是搜索引擎的客戶，搜索引擎不會(huì)義務(wù)給你帶來流量。到搜索引擎上去搜索信息的那些用戶，搜索引擎的宗旨就是為他們服務(wù)，讓他們滿意。這些用戶一般并不是在找產(chǎn)品和服務(wù)，更沒有找你的公司，他們找的是能解決他們自身問題的信息。網(wǎng)站向客戶銷售產(chǎn)品和服務(wù)的最好過程，也就是給訪客提供解決其問題的有用問題，在訪問游覽你的網(wǎng)站過程中，建立信譽(yù)，順便讓他發(fā)現(xiàn)你的產(chǎn)品，當(dāng)訪客需要你的時(shí)候，他就有可能買你的產(chǎn)品和服務(wù)。2》有了大量?jī)?nèi)容，你才能夠在客戶的心里建立良好的信譽(yù)和權(quán)威地位。電子商務(wù)和真實(shí)的世界的最大區(qū)別是：網(wǎng)站是冷冰冰的?？床灰娒坏?。你沒辦法通過商店的規(guī)模、裝修，銷售人員的笑臉來建立信任，你就必須通過其它方式消除信任障礙。3》有了大量的內(nèi)容，其它站長(zhǎng)才行自動(dòng)鏈接到你的網(wǎng)站。所以在優(yōu)化一個(gè)網(wǎng)站的時(shí)候，最重要的不是關(guān)健詞的密度，不是網(wǎng)頁(yè)標(biāo)簽，更不是你網(wǎng)站好不好看，最重要的是有大量原創(chuàng)有價(jià)值的內(nèi)容。只有在在這個(gè)基礎(chǔ)上才能談到其它具體的技巧。域名與SEO1》來自其它信任度高的網(wǎng)站鏈接Google關(guān)于TrustRank(信任級(jí)別)的最初說法。人工選出信任度最高的一批種子網(wǎng)站。這是一級(jí)信任網(wǎng)站---二級(jí)---三級(jí)。離核心越遠(yuǎn)，信任度越低。這有點(diǎn)像PR值。都是以鏈接為標(biāo)志，最核心的被信任網(wǎng)站只有100個(gè)，它們是人工選出來的，所以域名信任度并不是取決于鏈接的數(shù)目，而是鏈接的質(zhì)量。2》域名歷史這包括最初注冊(cè)時(shí)間，以及第一次被GOOGLE抓取到的頁(yè)面時(shí)間。很顯然，域名注冊(cè)的越早，信任度越高。3》網(wǎng)站內(nèi)容是否原創(chuàng)及更新情況最核心的100多個(gè)最信任網(wǎng)站是被選出來的，我們可以想像對(duì)內(nèi)容原創(chuàng)性要求一定是占很大比重，而且是要經(jīng)常更新。算法可以被糊弄，人可沒辦法糊弄，所以有些采集站會(huì)被看作是被信任提高的網(wǎng)站除了以上三個(gè)以外，還有一些細(xì)節(jié)：網(wǎng)站要有隱私權(quán)政策。提供完整的聯(lián)系方法，包括電話和通訊地址。沒有大量高質(zhì)量?jī)?nèi)容之前，至少要把網(wǎng)站做到40-50頁(yè)以上。鏈向幾個(gè)同行業(yè)內(nèi)權(quán)威網(wǎng)站。把域名多注冊(cè)幾年，而不是每年續(xù)費(fèi)。使用獨(dú)立IP地址網(wǎng)站上沒有死鏈，404錯(cuò)誤服務(wù)器反應(yīng)快速。網(wǎng)頁(yè)HTML代碼經(jīng)過W3C驗(yàn)證，至少減少嚴(yán)重代碼錯(cuò)誤。主機(jī)與SEO1》主機(jī)故障可能造成無法索引搜索引擎蜘蛛來訪你的網(wǎng)站時(shí)，如果主機(jī)死了，無法打開網(wǎng)頁(yè)的話，搜索引擎并不會(huì)馬上反這一頁(yè)刪除，過一段時(shí)間他會(huì)再