Оптимальный robots.txt для индексации роботов (1 Viewer)

[Sado Yasashii]

Думаю у многих возникает вопрос, что прописывать для индексации ботам.

На нашем сайте прописан robots.txt в таком виде: https://www.raidgame.net/robots.txt
Может лишний раз заморочился зря. Как вы считаете? Какой вариант будет лучше сделать для XenForo 2.1.x? Может вы и мне посоветуете пересмотреть текущий вариант. На официальном сайте вообще идёт в таком виде: https://xenforo.com/robots.txt

Ваше мнение?

Click to read more...

 

[Septor]

Не знаю структуру категорий форума, но так вроде всё нормально. Хотя, яндекс пишут игнорирует этот файл, по крайней мере раньше так было.
Лучше ещё будет в файл .htaccess, в каждую нужную категорию, прописать запреты в стиле:

SetEnvIfNoCase User-Agent "^Googlebot" search_bot
SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Yahoo" search_bot
SetEnvIfNoCase User-Agent "^Aport" search_bot
SetEnvIfNoCase User-Agent "^msnbot" search_bot
SetEnvIfNoCase User-Agent "^spider" search_bot
SetEnvIfNoCase User-Agent "^Robot" search_bot
SetEnvIfNoCase User-Agent "^php" search_bot
SetEnvIfNoCase User-Agent "^Mail" search_bot
SetEnvIfNoCase User-Agent "^bot" search_bot
SetEnvIfNoCase User-Agent "^igdeSpyder" search_bot
SetEnvIfNoCase User-Agent "^Snapbot" search_bot
SetEnvIfNoCase User-Agent "^WordPress" search_bot
SetEnvIfNoCase User-Agent "^BlogPulseLive" search_bot
SetEnvIfNoCase User-Agent "^Parser" search_bot

тогда точно поисковики не обойдут запрет...
Вот тут или где ещё, можно взять списки ботов...

 

[Crash Test]

Sado Yasashii, я бы еще добавил /misc/contact/, хотя тут лучше на уровне сервера блокировать.