Robots.txt е текстов файл, който се качва в главната директория (public_html) на вашия сайт. Паяците търсят първо този файл и го обработват, преди да индексират сайта ви. Robots.txt казва на паяка кои страници може да обходят.
Защо да ползвате Robots.txt?
Полезно е да се ползва този файл, ако има секции от сайта, които не искате търсачките да обхождат – напр. част от сайта, която разработвате в момента и предпочитате да тествате онлайн, но искате да остане скрита за паяците.
Ако не работите по този начин и нямате проблем с това паяците да обхождат целия ви сайт, най-добре да не използвате robots.txt.
Как да оформите вашия robots.txt файл може да научите от книгата на Дан Тийс – Robots.txt. Най-простия вариант на robots.txt файла е:
User-agent: * Disallow:
|