Привет читающим)
В данной статье мы ознакомимся с правильной настройкой файла robots.txt для Joomla.
robots.txt - это файл к которому поисковый бот (робот) обращается в первую очередь.
Он дает указания поисковым роботам, что можно индексировать, а что нельзя.
По умолчанию у Вас в корне должен быть данный файл, если его нет, то создайте обычный текстовый документ с названием robots.
Могу поспорить, что у вас в корне есть такие папки (каталоги):
- administrator;
- cache;
- cli;
- components;
- images;
- includes;
- installation;
- language;
- libraries;
- logs;
- media;
- modules;
- plugins;
- templates;
- tmp.
Для того, чтобы запретить роботу индексировать ваши каталоги, компоненты, плагины и т.д достаточно написать в robots.txtслово Disallow: /каталог/.
В начале должен стоять указатель для робота - "User-agent:", если после двоеточия поставить звездочку - "*", User-agent: * - это будет указание для всех поисковых ботов, которые будут приходить на Ваш сайт. Если же Вы хотите указать, что делать конкретному роботу, вот список названий:
- Гугл – User-agent: Googlebot;
- Рамблер – User-agent: StackRambler;
- Яндекс – User-agent: Yandex;
- Yahoo – User-agent: Slurp или Yahoo! Slurp;
- MSN – User-agent: MSNBot;
Теперь рассмотрим как должен полностью выглядеть этот файл.
Смотрим в корень сайта и указываем какие каталоги нужно закрыть от индексации.
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Host: yousite.com
Sitemap: http://Ваш_сайт/sitemap.xml
Host- Указываем ваш основной домен.
Sitemap - Указываем путь к карте сайта.
Disallow: /images/ - если закрыть от индексации, изображения не будут в поиске.
На этом все, удачи в продвижении:)
