搜索引擎是seo從業人員每天都要打交道的，所以想做好優化就必需要了解搜索引擎的工作原理，首先要明白搜索引擎由哪些部分構成，因為這些都跟搜索引擎的工作流程相關連，今天就對搜索引擎的構成部份進行淺析。

 
一、爬蟲

我們一般稱為蜘蛛，它的來訪非常的重要，爬蟲會抓取出網絡上的頁面、程序或者腳本，采集網站可以訪問的頁面內容從而進行緩存。搜索引擎最重要的是響應時間，如果你在搜索內容的時候，需要一分鐘后才能反饋給你結果，用戶的體驗感會大打折扣，搜索引擎為了滿足速度的需求，都采取緩存的做法。

對于爬蟲來說，更青睞網站運營時間長、持續高質量內容產出、有抓取深度的站點比較感興趣。那么爬蟲什么時候會來抓取頁面，baiduspider會檢測你的網頁文章的更新頻率，對每一個URL集合計算出最適合爬蟲抓取的時間，然后在訪問抓取。爬蟲也有自己的工作目標，它要對抓取的網頁進行描述和定義、要對網頁進行過濾、還有URL的索引策略。

二、用戶搜索界面

目前搜索引擎市場份額最大的仍是百度，隨著信息量的不斷增加，技術的不斷成熟，搜索界面也變得越加規范化。用戶在搜索的時候經常會涉及到這幾個方面：

1、展現提示詞：用戶在搜索框輸入任何文字的時候都會展示提示詞，而且中文搜索中若用戶輸入拼音，系統照樣可以識別提示；
2、相關搜索提示詞：當用戶搜索一個關鍵詞的時候，系統會根據用戶的搜索詞給出更多的提示詞，換一個關鍵詞搜索到的內容有可能就大不相同；

三、預處理

要說搜索引擎最復雜的是什么，那一定是預處理了，排名的算法幾乎都是在這個環節產生。在搜索引擎抓取到一個頁面的時候，要將網頁中的代碼、非正文內容等進行去除，留下關鍵詞，利用代碼和關鍵詞密度等等分析出重要的詞組，進行分詞儲存在數據庫中與URL一一對應。搜索引擎還要去除重復與轉載網頁、對重要信息進行分析。概括來說，搜索引擎是控制蜘蛛爬取，對數據進行篩選報錯，處理好URL的對應關系，將其保存在索引數據庫當中，方便在用戶搜索內容時快速提取展示。

四、文本挖掘

文本挖掘的方法有很多，常用的就是全文搜索、關鍵詞提取、文本摘要、中文分詞等等。搜索引擎有個文檔集，進行文檔挖掘可以對文本進行分析識別數字、日期名字等等，也可以做特征提取比如文本摘要、關鍵詞提取和特征選擇，或者進行分類、檢索、聚類、自動問答等等。

寫在文末：對于seoer來說，排名優化的第一步就是解決收錄問題，我們每天都在更新，可有時就是不收錄。所以如果想網站快速被收錄，那么我們就要懂得蜘蛛的爬行原理和規律，同時也要知道什么樣內容、頁面更容易被搜索引擎收錄，如何提高蜘蛛對內容的發現時間等。