Настраиваем robots.txtНастройка файла robots.txt для Joomla 2.5

При индексации сайта поисковиками, Яндекс умудряется найти страницы, которых в природе не существует и в тоже время папку с изображениями игнорирует. Разберем пример сайта построенном на  CMS Joomla 2.5 с магазином VirtueMart 2...

Строчка с Allow: /images/, нужна в том случае, если поисковик несколько месяцев не индексирует картинки с сайта. Проверить можно по адресу http://images.yandex.ru  указав в поле  site:имя_сайта.ru
Disallow: /*askquestion* - Включая в магазине отображение кнопки "Задать вопрос", на каждую карточку товара создается дополнительная неканоническая страница, и все эти страницы будут запрещены к индексированию, что может негативно сказаться на оптимизации и продвижении сайта.
В целом, принцип очень прост, видим в ВебМастере запрещенные страницы к индексированию, которых очень много, и отсекаем их в файле robots.txt
По этому принципу попали под Disallow - *orderDesc*, *search*, *rss.html, *atom.html, *?sl*.
У Вас это могут быть другие адреса, указывайте только те, которые попадают под запрет.
Адрес карты сайта добавляем из компонента Xmap, ссылка на карту сайта в xml.

Пример файла:

User-agent: *
Allow: /images/
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /vmfiles/
Disallow: /*askquestion*
Disallow: /*orderDesc*
Disallow: /*search*
Disallow: /*rss.html
Disallow: /*atom.html
Disallow: /*?sl*
Sitemap: http://имя_сайта/index.php?option=com_xmap&view=xml&tmpl=component&id=1


Если в адресе страниц сайта отображается index.php, то пример будет не корректным и запрет на индексацию не получится. В этом случае надо везде перед именем файла или папки поставить (*).

User-agent: *
Allow: /images/
Disallow: */administrator/
Disallow: */cache/
Disallow: */cli/
Disallow: */components/
Disallow: */includes/
Disallow: */language/
Disallow: */libraries/
Disallow: */logs/
Disallow: */media/


Все запреты и разрешения обязательно проверяйте по адресу
http://webmaster.yandex.ru/robots.xml

Яндекс.Метрика
© 2014-2017 "Сашкин Дом" Все права защищены
"Сашкин Дом" - недорогие сайты и сопровождение