Robots.txt – как да го използваме

Robots.txt е текстов файл, който се качва в главната директория (public_html) на вашия сайт. Паяците търсят първо този файл и го обработват, преди да индексират сайта ви. Robots.txt казва на паяка кои страници може да обходят.

Защо да ползвате Robots.txt?

Полезно е да се ползва този файл, ако има секции от сайта, които не искате търсачките да обхождат – напр. част от сайта, която разработвате в момента и предпочитате да тествате онлайн, но искате да остане скрита за паяците.

Ако не работите по този начин и нямате проблем с това паяците да обхождат целия ви сайт, най-добре да не използвате robots.txt.

Как да оформите вашия robots.txt файл може да научите от книгата на Дан Тийс – Robots.txt. Най-простия вариант на robots.txt файла е:

User-agent: *
Disallow:

About Катя Иванова

Уча и практикувам SEO вече повече от 12 г. Благодарение на Google винаги има нови неща за научаване :) SEO е стратегия за онлайн бизнеса. SEO помага да се оценят възможностите и да се проучи потребителското поведение. Харесва ми, защото ми позволява да се запознавам с много различни хора и бизнеси. SEO ми харесва най-вече заради резултатите. Страхотно удоволствие е да видиш как трафикът и продажбите растат благодарение на усилията на екипа ти.

Вашият коментар

Вашият имейл адрес няма да бъде публикуван. Задължителните полета са отбелязани с *