百度回信了,還是那千篇一律的那幾條:
-----------------------------------------------------------------------------------------
尊敬的用戶:
您好!
非常感謝您的來信詢問。百度使用自動的spider程序抓取互聯(lián)網(wǎng)上的網(wǎng)頁,大多數(shù)情況下,網(wǎng)站都能被百度自動收錄。雖然百度希望盡可能多的抓取互聯(lián)網(wǎng)上的網(wǎng)頁,但為了確保用戶的搜索體驗以及某些不確定的原因,仍會有少數(shù)網(wǎng)站無法被百度收錄,如果您的網(wǎng)站未被收錄,通常是由以下原因引起的:
1. 您的網(wǎng)站所在服務(wù)器不穩(wěn)定,被百度暫時性去除,穩(wěn)定之后,問題會得到解決。
2. 您的網(wǎng)站有設(shè)計缺陷,導(dǎo)致spider無法正常抓取。
3. 您的網(wǎng)頁不符合用戶的搜索體驗。
4. 網(wǎng)頁是復(fù)制自互聯(lián)網(wǎng)上的高度重復(fù)性的內(nèi)容。
5. 網(wǎng)頁做了很多針對搜索引擎而非用戶的處理,使得用戶從搜索結(jié)果中看到的內(nèi)容與頁面實際內(nèi)容完全不同,或者使得網(wǎng)頁在搜索結(jié)果中獲得了不恰當?shù)呐琶,從而?dǎo)致用戶產(chǎn)生受欺騙感覺。
6. 您的網(wǎng)頁內(nèi)容有不符合國家法律和法規(guī)規(guī)定的地方。
7. 您網(wǎng)站的robots協(xié)議禁止百度抓取。
8. 其他技術(shù)性問題。
您也可以到百度網(wǎng)站登陸上免費提交您的網(wǎng)址:http://www.baidu.com/search/url_submit.html
您所反饋的問題已經(jīng)轉(zhuǎn)發(fā)給相關(guān)的工程師繼續(xù)分析,分析結(jié)果將成為改善搜索結(jié)果質(zhì)量的重要參考。
感謝使用百度。希望您繼續(xù)支持與關(guān)注百度。
謝謝!
-----------------------------------------------------------------------------------------------------------------------------------
我的第一反應(yīng)是,百度沒有認真的檢查我的網(wǎng)站,完全是在敷衍我!但是轉(zhuǎn)而一想,也許是我哪里沒做對?
于是對照一條一條檢查:
1. 您的網(wǎng)站所在服務(wù)器不穩(wěn)定,被百度暫時性去除,穩(wěn)定之后,問題會得到解決。
服務(wù)器不穩(wěn)定不存在,原先火山都能收錄,現(xiàn)在西部數(shù)碼不穩(wěn)定?
2. 您的網(wǎng)站有設(shè)計缺陷,導(dǎo)致spider無法正常抓取。
網(wǎng)站采用DZ論壇,我沒作大的發(fā)動,也不會有設(shè)計缺陷。
3. 您的網(wǎng)頁不符合用戶的搜索體驗。
同上,不存在這個問題。
4. 網(wǎng)頁是復(fù)制自互聯(lián)網(wǎng)上的高度重復(fù)性的內(nèi)容。
自己是論壇,是發(fā)的帖子,也不存在高度重復(fù)的問題。
5. 網(wǎng)頁做了很多針對搜索引擎而非用戶的處理,使得用戶從搜索結(jié)果中看到的內(nèi)容與頁面實際內(nèi)容完全不同,或者使得網(wǎng)頁在搜索結(jié)果中獲得了不恰當?shù)呐琶,從而?dǎo)致用戶產(chǎn)生受欺騙感覺。
從來沒有做SEO處理。
6. 您的網(wǎng)頁內(nèi)容有不符合國家法律和法規(guī)規(guī)定的地方。
正規(guī)備案,正規(guī)網(wǎng)站。
7. 您網(wǎng)站的robots協(xié)議禁止百度抓取。
我不會自己禁止抓取。
8. 其他技術(shù)性問題。
其他問題問題我就查不出來了,你百度都查不出來。
----------------------------------------------------------------------------------------------------------------------------------
但是,問題總要解決呀!我又反復(fù)對照上述問題,看到第7條的時候,我想我去看看robots。結(jié)果打開一看,大吃一驚:
#
# robots.txt for Discuz! Board
# Version 6.0.0
#
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /attachments/
Disallow: /customavatars/
Disallow: /images/
Disallow: /forumdata/
Disallow: /include/
Disallow: /ipdata/
Disallow: /templates/
Disallow: /plugins/
Disallow: /mspace/
Disallow: /wap/
Disallow: /admincp.php
Disallow: /ajax.php
Disallow: /digest.php
Disallow: /logging.php
Disallow: /member.php
Disallow: /memcp.php
Disallow: /misc.php
Disallow: /my.php
Disallow: /pm.php
Disallow: /post.php
Disallow: /register.php
Disallow: /rss.php
Disallow: /search.php
Disallow: /seccode.php
Disallow: /topicadmin.php
Disallow: /space.php
這不是禁止訪問所有的目錄嗎?這是怎么回事呢?
原因我是找不出來了,但是,百度回信說的沒錯。
我立即做了一個空的robots.txt放上去!
經(jīng)驗教訓(xùn)是,什么事情都不能夠隨意下結(jié)論,不然,冤枉了百度,呵呵!
接下來,我要去看看我的日志,有沒有機器人來過!
2008-03-16 16:04:14 GET /index.php - - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 20281
2008-03-16 16:04:35 GET /space.php 195/mythreads - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 7782
2008-03-16 16:04:56 GET /space.php uid=7 - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 14450
2008-03-16 16:05:28 GET /space.php 99/myblogs/1159632000/1162310400 - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 9551
2008-03-16 16:06:02 GET /stats.php type=team - 61.135.162.212 HTTP/1.1 Baiduspider+(+http://www.baidu.com/search/spider.htm) - 200 13140
百度機器人來了很多次,呵呵!我還怪百度!
要是早點檢查的話,該早就收錄了!
呵呵!