降噪去重

去除影響網頁主要信息的無意義以及重復的內容。由于網頁信息中通常含有較多的重復內容，如廣告、頭部和底部信息等；以及文字內容中無意義的符號、字詞等，這極大浪費了搜索引擎資源，所以服務器會去除網頁中這些無意義的內容。

在以文字為主的網頁中，很多無意義的文字，如“的”“了”“啊”“of”“a”“the”等這些字占了大量的篇幅，但是卻幾乎沒有人會搜索這些字詞。

搜索引擎為了降低無意義內容干擾，會去除這些內容，就是這些內容不會作為網頁關鍵詞建立索引。

互聯網資源龐大，網站之間相互轉載內容，所以會產生很多重復內容；在相同網站中相同的模板，讓很多網頁中含有相同的內容，有的甚至占據了大量的篇幅。所以搜索引象在爬行網頁后，會檢測是否是重復網頁，如果是通常不會收錄；而相同網站中也有較多網頁含有重復的內容，如相同的列表、廣告、版權說明等。搜索引擎對于這些網頁的做法就是篩選，將抓取的內容與數據庫中的內容進行對比，如果相似度太高會不予收錄，或去除相同的部分進行收錄。

但是由于互聯網中的網頁數量十分龐大，搜索引擎并不能對每個網頁進行全面的檢測，另外很多內容是允許轉載的，因此用戶仍能搜索到很多相同的結果。但是對網頁的降噪是必須的流程，不僅可以減少資源浪費，還可以提高排名的準確性。