WordPress不愧是世界上最受歡迎的建站系統(tǒng)，但很多新手對robots.txt文件的重要性不是很了解，這次就用這篇文章普及一下WordPress站點robots.txt文件編寫知識。
如何利用Robots.txt優(yōu)化WordPress新站點
WordPress不愧是世界上最受歡迎的建站系統(tǒng)，但很多新手對robots.txt文件的重要性不是很了解，這次就用這篇文章普及一下WordPress站點robots.txt文件編寫知識。
Robots協(xié)議(也稱為爬蟲協(xié)議、機器人協(xié)議等)的全稱是“網(wǎng)絡爬蟲排除標準”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。
搜索引擎蜘蛛爬巡網(wǎng)站時，首先會尋找站點根目錄有沒有 robots.txt文件，如果有這個文件就根據(jù)文件的內(nèi)容確定收錄范圍，如果沒有就按默認訪問以及收錄所有頁面。另外，當搜索蜘蛛發(fā)現(xiàn)不存在robots.txt文件時，會產(chǎn)生一個404錯誤日志在服務器上，從而增加服務器的負擔，因此為站點添加一個robots.txt文件還是很重要的。
知道Robots協(xié)議的作用后，下面具體說一下WordPress站點如何編寫robots.txt文件。
WordPress站點默認在瀏覽器中輸入：http://你的域名/robots.txt，會顯示如下內(nèi)容：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
以上短短的內(nèi)容由WordPress自動生成的，意思是告訴搜索引擎不要抓取后臺程序文件。
但這是遠遠不夠的，以本站為例，比較完整的WordPress站點robots.txt文件內(nèi)容如下：
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
Sitemap: https://enews.enkj.com/sitemap.xml
使用方法：新建一個名稱為robots.txt文本文件，將上面的內(nèi)容放進去（最后一項修改為自己sitemap地址），然后上傳到網(wǎng)站根目錄即可。
下面分別解釋一下wordpress robots.txt各項的作用：
1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/
用于告訴搜索引擎不要抓取后臺程序文件頁面。
2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*
禁止搜索引擎抓取評論分頁等相關鏈接。
3、Disallow: /category/*/page/和Disallow: /tag/*/page/
禁止搜索引擎抓取收錄分類和標簽的分頁。
4、Disallow: /*/trackback
禁止搜索引擎抓取收錄trackback等垃圾信息
5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed
禁止搜索引擎抓取收錄feed鏈接，feed只用于訂閱本站，與搜索引擎無關。
6、Disallow: /?s=*和Disallow: /*/?s=*\
禁止搜索引擎抓取站內(nèi)搜索結果
7、Disallow: /*?*
禁止搜索抓取動態(tài)頁面
8、Disallow: /attachment/
禁止搜索引擎抓取附件頁面，比如毫無意義的圖片附件頁面。
上面只是wordpress robots.txt基本的寫法，當然還有很多寫法，不過這些已經(jīng)夠用了。
建站是一個有趣而又枯燥的過程，望大家堅持！
河南億恩科技股份有限公司(www.itdijia.com)始創(chuàng)于2000年，專注服務器托管租用，是國家工信部認定的綜合電信服務運營商。億恩為近五十萬的用戶提供服務器托管、服務器租用、機柜租用、云服務器、網(wǎng)站建設、網(wǎng)站托管等網(wǎng)絡基礎服務，另有網(wǎng)總管、名片俠網(wǎng)絡推廣服務，使得客戶不斷的獲得更大的收益。
服務器/云主機 24小時售后服務電話：
0371-60135900
虛擬主機/智能建站 24小時售后服務電話：
0371-55621053
網(wǎng)絡版權侵權舉報電話：
0371-60135995
服務熱線：
0371-60135900
