Авторский знак. Seosait21.ru Есть у человека надежда. Пока не поздно. Вгрызайся и изучай.
Нажимай и поддержи.

Пн Вт Ср Чт Пт Сб Вс
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31


Чувашия-это моя Россия

Файл robots.txt.

Файл robots.txt является текстовым файлом и располагается в корневом каталоге Вашего сайта. В файле robots.txt записываются специальные инструкции для поисковых роботов. Специальные инструкции запрещают к индексации некоторые разделы или страницы на сайте, указывают на правильное отображение домена, рекомендуют поисковым роботам соблюдать какой-то интервал между скачиванием документов с сервера и т.д и т.п. .

Все это сказывается на ранжировании Вашего сайта в выдаче в сети интернета.

При оформлении файла robots.txt будьте предельно внимательны. И по завершению оформления файла и загрузки его в корневую директорию сайта( каталог) обязательно протестируйте его по этому адресу: Анализ robots.txt.

Поговорим о типичный ошибках, которые допускают при оформлении файла robots.txt.

Одна из самых распространённых ошибок в robots.txt – перепутаные между собой инструкции:


User-agent: /
Disallow: Yandex

Правильно писать.

User-agent: Yandex
Disallow: /

или

User-agent: *
Disallow: /

Некоторые размещают все запрещаемые к индексации каталоги в одну инструкцию Disallow.:


Disallow: /css/ /cgi-bin/ /images/

Правильно писать.

Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/

Файл не должен содержать заглавные буквы:

должен называться robots.txt, а не Robots.txt или ROBOTS.TXT.

Robots.txt 
или
ROBOTS.

Правильно писать.

robots.txt

Применение файла robot.txt вместо положенного robots.txt.

Пустая строка в User-agent:


User-agent:
Disallow:

Правильно писать.

User-agent: *
Disallow:

В адресной строке Url в директиве Host надо писать без аббревиатуры протокола передачи гипертекста, то есть без http:// и без закрывающего слеша /:


User-agent: Yandex
Disallow: /cgi-bin
Host: http://www.site.ru/

Правильно писать.

User-agent: Yandex
Disallow: /cgi-bin
Host: www.site.ru

Ошибкой будет перечисление каждого файла в директории:


User-agent: *
Disallow: /sait1/seo1.html
Disallow: /sait1/seo2.html
Disallow: /sait1/seo3.html
Disallow: /sait2/start1.html
Disallow: /sait2/start2.html

Правильно писать.

User-agent: *
Disallow: /sait1/
Disallow: /sait2/

Не надо применять дополнительные директивы в секции *:


User-agent: *
Disallow: /css/
Host: www.azamatkepere.ru

Правильно писать.

User-agent: *
Disallow: /css/

User-agent: Yandex
Disallow: /css/
Host: www.azamatkepere.ru

Отсутствие инструкции Disallow:


User-agent: *
Host: www.azamatkepere.ru

Правильно писать.

User-agent: *
Disallow:
Host: www.azamatkepere.ru

Отсутствие слешей при указании директории:


User-agent: Yandex
Disallow: sait

Правильно писать.

User-agent: Yandex
Disallow: /sait/

Эта всего мала, основная часть ошибок, совершаемых при оформлении файла robots.txt. Будьте ответственны и аккуратны при создании файла robots.txt .

Ниже приведу форму в помощь для создания файла robots.txt. Будет легко и просто, избежите ошибок при оформлении файла robots.txt. Заполняйте все необходимые поля формы последовательно так, как написано в форме( шаг за шагом, не спешите) и Вы увидите наполнение Вашего файла robots.txt директивами( указаниями).

Адрес Вашего сайта: http://
Для каких поисковых систем будете создавать следующие правила:
User-agent:
Введите директории и файлы, которые запрещаете индексировать и посещать поисковым системам:
Disallow:
Главное зеркало сайта:
Host:
Местонахождение карты сайта в формате XML:
Sitemap:
Вставить:
Результат - Robots.txt:

Выделите, нажмите Ctrl-C и вставьте текст в текстовый редактор, нажав Ctrl-V.

Сохраните файл как robots.txt в корневом каталоге Вашего сайта.

Удачи Вам при создании своего собственного сайта.

назад дальше вперед


seosait21.ru
HTML

seosait21.ru
CSS

seosait21.ru
Web-диз.
HTML ссылка CSS ссылка ...

seosait21.ru
JavaScript

seosait21.ru
PHP

seosait21.ru
JQuery
JavaScript ссылка PHP ссылка JQuery ссылка

seosait21.ru
SEO.

seosait21.ru
MySQL

seosait21.ru
XML
... ... ...
ПОНРАВИЛОСЬ?
ПОДЕЛИСЬ с ДРУЗЬЯМИ: