搜索引擎就是一種程序，自動從因特網(wǎng)搜集信息，經(jīng)過一定整理以后，提供給用戶進行查詢的系統(tǒng)。搜索引擎可以分為：百度蜘蛛： Baiduspider ， 360蜘蛛：360spider   ，谷歌蜘蛛：geoglebot等。

       搜索引擎的工作原理一般來說可以分為四步來完成，抓取，過濾，存取，排序。
      1.抓取，搜索引擎順著網(wǎng)頁中的超鏈接在互聯(lián)網(wǎng)中發(fā)現(xiàn)，搜索網(wǎng)頁信息，然后再抓取里面的內容。從抓取的方式來看，可以分為深度抓取和廣度抓取。深度抓取就是搜索引擎沿著網(wǎng)站的內部結構進行抓取，比如先抓取頁，再抓取欄目頁，然后再抓取詳情頁，就象樹形結構一樣，先到主干，然后到樹枝，再到枝稍。一般結構超過三層，就不利于搜索引擎抓取了。不利于搜索引擎抓取和內容有JS，圖片，視頻，iframe框架，以及層級多的嵌套。

     2.過濾，搜索引擎抓取了網(wǎng)頁上的信息以后，就會把數(shù)據(jù)存放入臨時數(shù)據(jù)庫。然后搜索引擎把一些低質量的頁面，比如采集來的，沒有豐富內容的，文不對題的頁面過濾掉。把它們當作垃圾一樣，處理掉了。
     3.存儲，搜索引擎對一些高質量的，對用戶有價值的，符合用戶體驗的內容就把它們存放在數(shù)據(jù)庫中。以方便用戶進行搜索查詢進，隨時可以調取。
     4.排序，檢索器根據(jù)用戶輸入的查詢的關鍵詞在索引庫中快速檢出文檔，進行文檔與查詢的相關度評價，對將要輸出的結果進行排序。當我們看到在搜索引擎看到的只是一種強果，搜索引擎根據(jù)各種算法，把某個關鍵詞的展現(xiàn)在頁的位。

http://m.ezekroy.com/youhuazixun/1876.html 如何根據(jù)搜索引擎工作原理來進行網(wǎng)站優(yōu)化