Темы

Если не можете найти ответа на свой вопрос, то создайте нужную тему.

Уведомления

Здесь получаете уведомления со всех тем, в которых проявлялась активность.

Связь с администрацией

Пишите, если необходима помощь администрации или решение других вопросов.

Оптимальный robots.txt для индексации роботов (1 просматривает)

Sado Yasashii

Владелец RG
Команда форума
Администратор
Регистрация
08.05.2019
Сообщения
674
Реакции
145
Возраст
31
Думаю у многих возникает вопрос, что прописывать для индексации ботам.

На нашем сайте прописан robots.txt в таком виде: https://www.raidgame.net/robots.txt
Может лишний раз заморочился зря. Как вы считаете? Какой вариант будет лучше сделать для XenForo 2.1.x? Может вы и мне посоветуете пересмотреть текущий вариант. На официальном сайте вообще идёт в таком виде: https://xenforo.com/robots.txt

Ваше мнение?
 

Septor

Пользователь
Регистрация
08.09.2019
Сообщения
23
Реакции
8
Не знаю структуру категорий форума, но так вроде всё нормально. Хотя, яндекс пишут игнорирует этот файл, по крайней мере раньше так было.
Лучше ещё будет в файл .htaccess, в каждую нужную категорию, прописать запреты в стиле:
Код:
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
тогда точно поисковики не обойдут запрет...
Вот тут или где ещё, можно взять списки ботов...
 

Unsubdued

Новичок
Регистрация
20.08.2020
Сообщения
5
Реакции
4
Sado Yasashii, я бы еще добавил /misc/contact/, хотя тут лучше на уровне сервера блокировать.
 

Пользователи, которые смотрят:

shape1
shape2
shape3
shape4
shape4-2
shape5
shape6
Верх Низ