Темы

Если не можете найти ответа на свой вопрос, то создайте нужную тему.

Уведомления

Здесь получаете уведомления со всех тем, в которых проявлялась активность.

Связь с администрацией

Пишите, если необходима помощь администрации или решение других вопросов.

  • Как загружать моды?
    Для загрузки модов или переводов - Прочтите инструкцию!
  • Разделы модов: Dragon Age 2 и Skyrim временно скрыты от всех пользователей по причине доработки, обновления и пополнения базы. По окончанию всё будет доступно с уже расширенной базой.

Оптимальный robots.txt для индексации роботов (1 просматривает)

Sado Yasashii

Владелец RG
Администратор
Регистрация
08.05.2019
Сообщения
777
Реакции
180
Возраст
32

Думаю у многих возникает вопрос, что прописывать для индексации ботам.

На нашем сайте прописан robots.txt в таком виде: https://www.raidgame.net/robots.txt
Может лишний раз заморочился зря. Как вы считаете? Какой вариант будет лучше сделать для XenForo 2.1.x? Может вы и мне посоветуете пересмотреть текущий вариант. На официальном сайте вообще идёт в таком виде: https://xenforo.com/robots.txt

Ваше мнение?
 

Septor

Пользователь
Регистрация
08.09.2019
Сообщения
23
Реакции
8
Septor не предоставил никакой дополнительной информации.

Не знаю структуру категорий форума, но так вроде всё нормально. Хотя, яндекс пишут игнорирует этот файл, по крайней мере раньше так было.
Лучше ещё будет в файл .htaccess, в каждую нужную категорию, прописать запреты в стиле:
Код:
SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot
тогда точно поисковики не обойдут запрет...
Вот тут или где ещё, можно взять списки ботов...
 

Unsubdued

Новичок
Регистрация
20.08.2020
Сообщения
5
Реакции
4

Sado Yasashii, я бы еще добавил /misc/contact/, хотя тут лучше на уровне сервера блокировать.
 

Пользователи, которые смотрят:

shape1
shape2
shape3
shape4
shape4-2
shape5
shape6
Верх Низ