Как сделать robots.txt для MediaWiki

Материал из HtmlWiki.ru
Перейти к навигации Перейти к поиску

Robots.txt – текстовый файл, который находится в корневом каталоге сайта. В нем содержатся инструкции для поисковых систем. В данном файле указывается какие страницы сайта можно индексировать, а какие запрещено. В файле robots.txt можно указать информацию как для каждой поисковой системы в отдельности, так и для всех поисковиков сразу.
Для создания файла robots.txt, в котором поисковикам запрещено индексировать всё содержимое сайта, достаточно добавить в файл следующие строки:

User-agent: *
Disallow: /


Для данного сайта я сделал следующий файл robots.txt:

User-agent: *

Disallow: /index.php?
Disallow: /index.php?diff=
Disallow: /index.php?oldid=
Disallow: /index.php/%D0%A8%D0%B0%D0%B1%D0%BB%D0%BE%D0%BD
Disallow: /index.php?title=%D0%A8%D0%B0%D0%B1%D0%BB%D0%BE%D0%BD
Disallow: /index.php/%D0%9A%D0%B0%D1%82%D0%B5%D0%B3%D0%BE%D1%80%D0%B8%D1%8F:
Disallow: /index.php/%D0%A4%D0%B0%D0%B9%D0%BB:
Disallow: /index.php/%D0%A2%D0%B5%D0%BC%D0%B0:
Disallow: /index.php/%D0%A1%D0%BB%D1%83%D0%B6%D0%B5%D0%B1%D0%BD%D0%B0%D1%8F:

Host: htmlwiki.ru

Sitemap: http://htmlwiki.ru/sitemap/sitemap-index-htmlwiki.xml


Файл доступен по адресу http://htmlwiki.ru/robots.txt

Подробное описание создания файла robots.txt для англоязычных сайтов есть на официальном сайте MediaWiki.