Темы

Если не можете найти ответа на свой вопрос, то создайте нужную тему.

Уведомления

Здесь получаете уведомления со всех тем, в которых проявлялась активность.

Связь с администрацией

Пишите, если необходима помощь администрации или решение других вопросов.

Оптимальный robots.txt для индексации роботов (1 просматривает)

Sado Yasashii

Владелец RG
Администратор
Регистрация
08.05.2019
Сообщения
799
Реакции
201
Возраст
32

Думаю у многих возникает вопрос, что прописывать для индексации ботам.

На нашем сайте прописан robots.txt в таком виде: https://www.raidgame.net/robots.txt
Может лишний раз заморочился зря. Как вы считаете? Какой вариант будет лучше сделать для XenForo 2.1.x? Может вы и мне посоветуете пересмотреть текущий вариант. На официальном сайте вообще идёт в таком виде: https://xenforo.com/robots.txt

Ваше мнение?
 

Septor

Пользователь
Регистрация
08.09.2019
Сообщения
23
Реакции
8
Septor не предоставил никакой дополнительной информации.

Не знаю структуру категорий форума, но так вроде всё нормально. Хотя, яндекс пишут игнорирует этот файл, по крайней мере раньше так было.
Лучше ещё будет в файл .htaccess, в каждую нужную категорию, прописать запреты в стиле:
Код:
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
тогда точно поисковики не обойдут запрет...
Вот тут или где ещё, можно взять списки ботов...
 

Crash Test

Новичок
Регистрация
20.08.2020
Сообщения
3
Реакции
4

Sado Yasashii, я бы еще добавил /misc/contact/, хотя тут лучше на уровне сервера блокировать.
 

Пользователи, просматривающие эту тему

shape1
shape2
shape3
shape4
shape4-2
shape5
shape6
Верх Низ