Темы

Если не можете найти ответа на свой вопрос, то создайте нужную тему.

Уведомления

Здесь получаете уведомления со всех тем, в которых проявлялась активность.

Связь с администрацией

Пишите, если необходима помощь администрации или решение других вопросов.

Оптимальный robots.txt для индексации роботов (1 просматривает)

Sado Yasashii

Владелец RG
Команда форума
Администратор
Регистрация
08.05.2019
Сообщения
551
Реакции
113
Возраст
31
Думаю у многих возникает вопрос, что прописывать для индексации ботам.

На нашем сайте прописан robots.txt в таком виде: https://www.raidgame.net/robots.txt
Может лишний раз заморочился зря. Как вы считаете? Какой вариант будет лучше сделать для XenForo 2.1.x? Может вы и мне посоветуете пересмотреть текущий вариант. На официальном сайте вообще идёт в таком виде: https://xenforo.com/robots.txt

Ваше мнение?
 

Septor

Новичок
Пользователь
Регистрация
08.09.2019
Сообщения
23
Реакции
8
Не знаю структуру категорий форума, но так вроде всё нормально. Хотя, яндекс пишут игнорирует этот файл, по крайней мере раньше так было.
Лучше ещё будет в файл .htaccess, в каждую нужную категорию, прописать запреты в стиле:
Код:
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
тогда точно поисковики не обойдут запрет...
Вот тут или где ещё, можно взять списки ботов...
 

Unsubdued

Новичок
Пользователь
Регистрация
20.08.2020
Сообщения
5
Реакции
4
Sado Yasashii, я бы еще добавил /misc/contact/, хотя тут лучше на уровне сервера блокировать.
 

Пользователи, которые смотрят:

Верх Низ