手機版 | 登陸 | 注冊 | 留言 | 設首頁 | 加收藏
當前位置: 網站首頁 > 行業資訊 > 文章

程序中的robots.txt在什么情況下可以修改

時間:2016-05-09    點擊: 次    來源:網絡    作者:佚名 - 小 + 大

robots.txt是什么:

robots.txt是一個純文本文件,在這個文件中網站管理者可以聲明該網站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內容。

當一個搜索機器人(有的叫搜索蜘蛛)訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。

另外,robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。

什么情況下可以修改:

當你在程序中新增加文件夾的時候,而且該文件夾不想被搜索引擎抓取時,就可以修改了,使用記事本打開,然后在最下面添加Disallow: /文件夾名稱/即可。

一般情況下我們個人網站考慮不讓搜索引擎抓取是出于保護隱私、增加安全性、做搜索引擎優化而進行的,按照這樣的思路,哪些文件夾設置為拒絕抓取就一目了然了

上一篇:系統所需要的運行環境有哪些購買什么樣的空間

下一篇:用手機訪問網站會自動跳轉到手機版

版權聲明 | 關于阿布之家|阿布家.. | 廣告服務 | 免責聲明 | 聯系我們 | 網站幫助
粵ICP備17156927號-1  |   QQ:155096168  |  地址:廣東省廣州市番禺區康樂路康樂園  |  電話:--  |  
腾讯分分彩正规合法吗