百度、谷歌、360、搜狗等搜索引擎蜘蛛的IP段。包括江湖中傳言的降權(quán)蜘蛛、沙盒蜘蛛、高權(quán)重蜘蛛等,請大家務(wù)必記住:搜索引擎的蜘蛛是有分布式抓取策略的。但各位不要因果倒置,是先有什么樣的網(wǎng)站,后有什么樣的蜘蛛。
附:查看一個IP是否屬于搜索引擎的方法(針對windows系統(tǒng))。
第一步:按組合鍵【win】+r,快速打開運(yùn)行窗口
第二步:輸入cmd,進(jìn)去命令行窗口
第三步:輸入nslookup(若提示無法識別這個命令,需先安裝。安裝很簡單,自行百度。)
最后一步:直接輸入IP地址,如果是百度的IP,會返回類似的結(jié)果:baiduspider-220-181-108-88.crawl.baidu.com
用windows的nslookup命令查詢IP是否屬于百度蜘蛛IP
220.181.108.75~220.181.108.123(百度蜘蛛電信段IP)
123.125.71.12~123.125.71.117(百度蜘蛛聯(lián)通段IP)
220.181.107.*
220.181.38.177
220.181.19.*
159.226.50.*
202.108.11.*
202.108.22.*
202.108.23.*
202.108.249.*
202.108.250.*
61.135.145.*
61.135.146.*
123.125.68.*這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進(jìn)入沙盒了,或被者降權(quán)。
220.181.68.*每天這個IP 段只增不減很有可能進(jìn)沙盒或K站。
220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪,準(zhǔn)備抓取你東西。
121.14.89.*這個ip段作為度過新站考察期。
203.208.60.*這個ip段出現(xiàn)在新站及站點(diǎn)有不正常現(xiàn)象后。
210.72.225.*這個ip段不間斷巡邏各站。
125.90.88.* 廣東電信也屬于百度蜘蛛IP 主要造成成分,是新上線站較多,還有使用過站長工具,或SEO綜合檢測造成的。
220.181.108.95這個是百度抓取首頁的專用IP,如是220.181.108段的話,基本來說你的網(wǎng)站會天天隔夜快照,絕對錯不了的,我保證。
220.181.108.92 同上98%抓取首頁,可能還會抓取其他 (不是指內(nèi)頁)220.181段屬于權(quán)重IP段此段爬過的文章或首頁基本24小時放出來。
123.125.71.106 抓取內(nèi)頁收錄的,權(quán)重較低,爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)或采集文章。
220.181.108.91屬于綜合的,主要抓取首頁和內(nèi)頁或其他,屬于權(quán)重IP 段,爬過的文章或首頁基本24小時放出來。
220.181.108.75重點(diǎn)抓取更新文章的內(nèi)頁達(dá)到90%,8%抓取首頁,2%其他。權(quán)重IP 段,爬過的文章或首頁基本24小時放出來。
220.181.108.86專用抓取首頁IP 權(quán)重段,一般返回代碼是304 0 0 代表未更新。
123.125.71.95 抓取內(nèi)頁收錄的,權(quán)重較低,爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)或采集文章。
123.125.71.97 抓取內(nèi)頁收錄的,權(quán)重較低,爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)或采集文章。
220.181.108.89專用抓取首頁IP 權(quán)重段,一般返回代碼是304 0 0 代表未更新。
220.181.108.94專用抓取首頁IP 權(quán)重段,一般返回代碼是304 0 0 代表未更新。
220.181.108.97專用抓取首頁IP 權(quán)重段,一般返回代碼是304 0 0 代表未更新。
220.181.108.80專用抓取首頁IP 權(quán)重段,一般返回代碼是304 0 0 代表未更新。
220.181.108.77 專用抓首頁IP 權(quán)重段,一般返回代碼是304 0 0 代表未更新。
123.125.71.117 抓取內(nèi)頁收錄的,權(quán)重較低,爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)或采集文章。
220.181.108.83專用抓取首頁IP 權(quán)重段,一般返回代碼是304 0 0 代表未更新。
注:以上IP尾數(shù)還有很多,123.125.71.*段IP代表抓取內(nèi)頁收錄的權(quán)重比較低??赡苡捎谀悴杉恼禄蚱次恼聲簳r被收錄但不放出來。(意思也就是說待定)。
220.181.108.*段IP主要是抓取首頁占80%,內(nèi)頁占30%,這此爬過的文章或首頁,絕對24小時內(nèi)放出來和隔夜快照的,這點(diǎn)我可以保證!
一般成功抓取返回代碼都是 200 0 0返回304 0 0代表網(wǎng)站沒更新,蜘蛛來過,如果是 200 0 64別擔(dān)心這不是K站,可能是網(wǎng)站是動態(tài)的,所以返回就是這個代碼。
101.226.166.*(101.226.166.195~101.226.166.254,共60個)
101.226.167.*(101.226.167.195~101.226.167.254,共60個)
101.226.168.*(101.226.168.195~101.226.168.254,共60個)
101.226.169.*(101.226.169.195~101.226.169.230,共36個)
180.153.236.*(180.153.236.11~26;180.153.236.35~180.153.236.74;180.153.236.101~180.153.236.196,共152個)
182.118.20.*(182.118.20.201~182.118.20.254,共39個)
182.118.21.*(182.118.21.201~182.118.21.*254,共54個)
182.118.22.*(182.118.22.141~182.118.22.149;182.118.22.211~182.118.22.250,共64個)
182.118.25.*(182.118.25.131~182.118.25.245;)
182.118.28.*
61.55.185.*
101.199.*.*
220.181.126.*
182.118.26.110 ~ 182.118.26.239(時效性UA IP段,主要針對網(wǎng)站內(nèi)容更新的爬?。?/p>
220.181.126.*、101.199.*.*據(jù)說為360舉報(bào)IP。也就是說,假如你的網(wǎng)站日志出現(xiàn)這個IP段,你的網(wǎng)站被舉報(bào)了。如果是違法站,那就自求多福吧。
123.126.113.79-123.126.113.191
220.181.89.190
220.181.89.189
218.30.103.155
61.135.189.75
220.181.94.228
61.135.189.74
220.181.89.157
220.181.89.165
220.181.89.183
220.181.89.194
218.30.103.80
216.239.33.*
216.239.35.*
216.239.37.*
216.239.39.*
216.239.51.*
216.239.53.*
216.239.55.*
216.239.57.*
216.239.59.*
64.233.161.*
64.233.189.*
66.102.11.*
66.102.7.*
66.102.9.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.71.*
66.249.72.*
72.14.207.*
202.101.43.*、222.73.247.*、66.249.65.* 這三個ip段是最為常規(guī)出現(xiàn)的
66.249.16.*出現(xiàn)的站點(diǎn)均為新站或站點(diǎn)出現(xiàn)無法訪問情況后再次出現(xiàn)的ip段
210.72.225.*這個ip段不間斷巡邏各站
203.208.60.*這個ip段出現(xiàn)在新站及站點(diǎn)有不正?,F(xiàn)象后
42.156.136.*-42.156.139.*
42.120.160.* 42.120.161.*
202.106.186.*
202.108.36.*
202.108.44.*
202.108.45.*
202.108.5.*
202.108.9.*
220.181.12.*
220.181.13.*
220.181.14.*
220.181.15.*
220.181.28.*
220.181.31.*
222.185.245.*
61.135.152.*
65.54.188.*
65.54.225.*
65.54.226.*
65.54.228.*
65.54.229.*
207.46.98.*
207.68.157.*