服務器處理網頁

服務器處理是對蜘蛛抓取的網頁進行處理，是提高搜索準確度和用戶體驗的重要節(jié)，和爬行抓取相同，都是搜索引擎后臺處理的一部分。搜索引擎蜘蛛抓取的網頁數據是不能直接參與排名的。因為數據過于龐大，如果直利用檢索器檢索，大量相關網頁的排名計算量非常大，根本不能在一兩秒內提供給用戶案，所以搜索引擎會對抓取的網頁進行預處理，得出關鍵詞的索引，相當于對網頁上各關鍵詞進行一個預排名，用戶檢索時就能更快地獲得搜索結果。服務器處理網頁的工作通常包括網頁結構化、分詞、去噪去重、索引、超鏈分析、

據整合等，下面分別來介紹這些內容。

1.網頁結構優(yōu)化

提取網頁有用信息，去除HTML代碼及腳本，剩下的文字信息就是服務器需要分析處理的數據。

搜索引擎蜘蛛抓取到的網頁是整個網頁所有的信息都包含在其中，導航、分類列表友情鏈接，甚至廣告都會被抓取到搜索引擎，這樣的內容并不能直接用來進行預排名處理所以搜索引擎會去除網頁的HTML代碼，剩下的文字內容，如正文文字、Meta標簽文字錨文本、圖片視頻注釋等，都可以進行排名的處理，這樣對排名的干擾也就更小了。

<div class="headlinetop">

<a

blank">

<h3>蘋果全球十四大最著名零售店</h3>

<p>騰訊科技訊(云松）北京時間3月12日消息，據國外媒體報道，近日，全球著名雜志《福布斯》發(fā)布了蘋果公司在……</p></a></dlv>

以上代碼經過服務器網頁結構化后就剩下：“蘋果全球十四大最著名零售店 騰訊科技訊(云松）北京時間3月12日消息，據國外媒體報道，近日，全球著名雜志《福布斯》發(fā)布了蘋果公司在……”。

2.分詞

通常在中文搜索引擎中使用，由于中文和英文語系的意義表達不同，中文的意思表達一般是詞匯，有的一個字為一個詞匯，也可以多個字組成一個詞匯，而且中文詞匯之間是沒有間隔做區(qū)分的。因此在中文搜索引擎中，需要根據詞典或者日常使用習慣對語句按詞匯進行劃分，以建立以詞匯為索引的信息數據庫。

例如，上面的網頁“蘋果全球十四大最著名零售店”，搜索引擎調用詞典分詞為“蘋果”“全球”“十四”“大”“最”“著名”“零售店”，然后根據一定的條件，建立由這些詞為索引的網頁數據，再進行一系列的排名程序。但在實際應用中，不只會用詞典為依據，還會加入日常搜索的統計數據和該網頁自身詞匯組成來分詞。

因為中文詞匯非常多，所以搜索引擎在判斷網頁詞匯的時候需要借用詞典進行分詞，而搜索引擎分詞的準確性取決于詞典的準確性和完整性。主要搜索引擎都會建立獨立的詞典，這個詞典不是一成不變的，會不斷加人新詞匯，也會將常用的詞匯進行靠前排列，在調用時也就更快捷。調用的過程就是將抓取到的網頁文字逐一按詞到詞典中去匹配，也就相當于我們查詞典的過程。

需要注意的是服務器分詞的時候，用正向和逆向兩種順序掃描網頁中的文字，以詞典中含有的長短詞對網頁文字進行多次分詞。例如，“中國地圖”在按詞典分詞時，服務器正向掃描分為“中國”“地圖”，這是最短的詞匯，如果按照最大匹配可以分為“中國地圖”，然后建立與詞對應索引項。圖2.8和圖2.9所示為“中國地圖”百度分詞的兩種結果。

依據統計數據的分詞是對詞典分詞的一種補充和優(yōu)化。由于詞典對新詞的匹配度很低，搜索引擎不能很好地對新關鍵詞的網頁進行分詞并建立索引，這就大大降低了搜索引擎搜索新關鍵詞的能力。作為對詞典分詞的補充，服務器能根據網頁中每個字的前后字出現頻率(頻率越高說明這幾個字成詞）形成詞匯的統計數據庫，分詞時調用并進行匹配。例如，搜索“鞋子理論是什么”，由于習近平主席提出的“鞋子理論”近日受到廣泛關注，網頁中“鞋子理論”四個字出現在一起的頻率非常高，因此在統計數據庫中就形成了一個詞條，用以網頁分詞的匹配。圖2.10所示為“鞋子理論是什么”的百度分詞結果。

Baid百度快照

您查詞的關建詞是：鞋子理論是什么，如果打開速度餒，司以雪試快過題，如需想保存快現，(伍讀和問面1信p/gock 591rx.c0m/ar1ce/2013-03-25/0000678650s 3mbrg0作通無關，下時元內可

圖2.10“鞋子理論是什么”百度分詞結果

值得注意的是每種搜索引擎分詞的結果并不完全相同，滿足用戶需求的能力也有所不同，這主要取決于搜索引擎的詞典的豐富程度與準確度。因此網頁在不同搜索引擎的分詞結果并不完全相同，也是影響搜索結果的一個因素。SEO人員在針對分詞上所能做的就是盡量使常用搜索詞組合在一起，這樣在搜索引擎分詞時就可以將常用詞化為同一個詞建索引，也就能獲得更高的匹配度。