發(fā)布者：深圳網(wǎng)站建設(shè)
來源：m.mdjzl.com
時間： 2020-01-15 00:00
Spider 就是大家常說的爬蟲、蜘蛛或是機器人，是處于整個搜索引擎最上游的一個模塊，只有Spider抓取回的頁面或者URL才會被索引和參與排名。要注意的一點是：只要是Spider抓到的URL都可能會參與排名，但參與排名的網(wǎng)頁并不一定就被Spider抓取到了，比如有些網(wǎng)站屏蔽了Spider。
Spider和普通用戶的區(qū)別
所有的搜索引擎都表示自己的Spider對網(wǎng)站的抓取行為和普通用戶的訪問行為沒有太大的區(qū)別。但是站在站長的角度來說還是一定的區(qū)別的。網(wǎng)頁上有很多東西普通用戶看不到也分辨不清，但是Spider可以；網(wǎng)頁上也有很多東西普通用戶可以看到并分辨清楚，但是Spider不可以?？梢哉fSpider有著普通用戶訪問行為的大部分特性，但也有不少差異：
Spider可以很容易地分辨出網(wǎng)頁中是否有隱藏內(nèi)容，是否被掛了黑鏈等，但是不能完全了解網(wǎng)頁中圖片的內(nèi)容，也不能很好的讀取javascript、iframe、和flash中的內(nèi)容，普通用戶卻可以；
Spider不支持cookie，但是普通用戶的瀏覽器一般是支持的；
Spider不會主動注冊登入網(wǎng)站，但是普通用戶是可以的，原則上Spider不會抓取和分析網(wǎng)站robots中已經(jīng)屏蔽的內(nèi)容，但是普通用戶是可以正常訪問的；
Spider對于有多個動態(tài)參數(shù)網(wǎng)站的抓取，可能會陷入死循環(huán)，但是普通用戶是不會的；
Spider對于列表中前幾頁的新內(nèi)容抓取可能不好，但是普通用戶可能對感興趣然后依次瀏覽；
Spider暫時還不能真正判斷文章是不是原創(chuàng)，但是普通用戶可以通過很多種方式來確定文章是原創(chuàng)還是采集轉(zhuǎn)載等。
SEO工作都在充分了解到Spider與普通用戶的區(qū)別后，可以更方便地優(yōu)化網(wǎng)站，使得網(wǎng)站內(nèi)容被充分抓取，網(wǎng)站整體在搜索引擎中有良好的表現(xiàn)。
我的客戶
