Форум Maxi-Forum.ru intimSHOP.ru

Вернуться   Форум Maxi-Forum.ru > Форум Web - мастерская > Скрипты > FAQ по настройке форумов

Ответ
 
Опции темы
Старый 30.03.2008, 00:08   #1
Мужчина Nicesoft
Администратор


Правильный robots.txt для vBulletin

Извечная проблема многих веб мастеров, когда они видят какие страницы утаскивают в индекс поисковые системы.

Прежде всего, необходимо создать robots.txt который будет запрещать роботам ходить по ссылкам не представляющего никакого интереса для пользователя (гостей).

Пример правильного robots.txt:

Код HTML:
User-agent: *
Disallow: /forum/attachment.php
Disallow: /forum/calendar.php
Disallow: /forum/cron.php
Disallow: /forum/editpost.php
Disallow: /forum/faq.php
Disallow: /forum/login.php
Disallow: /forum/member.php
Disallow: /forum/memberlist.php
Disallow: /forum/misc.php
Disallow: /forum/newreply.php
Disallow: /forum/newthread.php
Disallow: /forum/online.php
Disallow: /forum/poll.php
Disallow: /forum/postings.php
Disallow: /forum/private.php
Disallow: /forum/printthread.php
Disallow: /forum/profile.php
Disallow: /forum/register.php
Disallow: /forum/report.php
Disallow: /forum/reputation.php
Disallow: /forum/sendmessage.php
Disallow: /forum/search.php
Disallow: /forum/showgroups.php
Disallow: /forum/showpost.php
Disallow: /forum/subscription.php
Disallow: /forum/usercp.php
Таким образом мы закрываем все ненужное нам в индексе и ПС.
Nicesoft вне форума   Ответить с цитированием
Старый 04.04.2008, 12:08   #2
Мужчина Nicesoft
Администратор


Еще один небольшой совет, в последнее время многие веб-мастера жалуются на бота Yahoo который за раз посылает 50 а то 200 ботов на индексацию форума. В итоге все сошлись во мнение что лучшим решением будет, просто забанить его через robots.txt. Делается это так:

Код HTML:
User Agent: Slurp
Disallow: /
Nicesoft вне форума   Ответить с цитированием
Ответ

Метки
robots.txt, vbulletin

Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.




Часовой пояс GMT +4, время: 14:40.

Powered by vBulletin® Version 3.8.1
Copyright ©2000 - 2020, Jelsoft Enterprises Ltd. Перевод: zCarot
Rambler's Top100