什么是robots.txt文件?
搜索引擎機(jī)器人通過鏈接抵達(dá)互聯(lián)網(wǎng)上的每個(gè)網(wǎng)頁(yè)，并抓取網(wǎng)頁(yè)信息。搜索引擎機(jī)器人在訪問一個(gè)網(wǎng)站時(shí)，會(huì)首先檢查該網(wǎng)站的根目錄下是否有一個(gè)叫做robots.txt的純文本文件。當(dāng)我們的網(wǎng)站有一些內(nèi)容不想被搜索引擎收錄，我們可以通過設(shè)置robots.txt文件告知搜索引擎機(jī)器人。
如果網(wǎng)站上沒有禁止搜索引擎收錄的內(nèi)容，則不用設(shè)置robots.txt文件，或設(shè)置為空。
robots.txt文件有什么必要？
從SEO的角度，robots.txt文件是一定要設(shè)置的，原因：
1、網(wǎng)站上經(jīng)常存在這種情況：不同的鏈接指向相似的網(wǎng)頁(yè)內(nèi)容。這不符合SEO上講的“網(wǎng)頁(yè)內(nèi)容互異性原則”。采用robots.txt文件可以屏蔽掉次要的鏈接。
2、網(wǎng)站改版或URL重寫優(yōu)化時(shí)原來不符合搜索引擎友好的鏈接需要全部屏蔽掉。采用robots.txt文件刪除舊的鏈接符合搜索引擎友好。
3、一些沒有關(guān)鍵詞的頁(yè)面，屏蔽掉更好。
4、一般情況下，站內(nèi)的搜索結(jié)果頁(yè)面屏蔽掉更好。
相關(guān)閱讀20條
增值電信業(yè)務(wù)經(jīng)營(yíng)許可證：蘇B2-20220230 在線數(shù)據(jù)處理與交易許可證：蘇B2-20220230
蘇公網(wǎng)安備 32010502010503號(hào)
Copyright ? 2016-現(xiàn)在 中介網(wǎng) ningtui.com All rights reserved 南京寧推網(wǎng)絡(luò)科技有限公司 版權(quán)所有 蘇ICP備2021053574號(hào)-1
