Страницы, которые необходимо скрыть от индексации

Warning: strtotime() [function.strtotime]: It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected 'Europe/Moscow' for 'MSK/4.0/no DST' instead in /var/www/nic/data/www/iweber.ru/libraries/joomla/utilities/date.php on line 56

Warning: date() [function.date]: It is not safe to rely on the system's timezone settings. You are *required* to use the date.timezone setting or the date_default_timezone_set() function. In case you used any of those methods and you are still getting this warning, you most likely misspelled the timezone identifier. We selected 'Europe/Moscow' for 'MSK/4.0/no DST' instead in /var/www/nic/data/www/iweber.ru/libraries/joomla/utilities/date.php on line 198

Идеальным вариантом индексации является тот вариант, при котором обеспечивается максимальный доступ к важной и полезной информации и не затрагиваются «технически» составляющие и дублирующийся контент. Как же можно провести оптимизацию сайта «отрезав все лишнее» без изменения общей структуры?

RSS-потоки. Лучше всего их закрыть от индексации, так как поисковые системы не умеют их правильно распознавать. На сегодняшний день заход робота по ссылке с RSS сопровождается несколькими сотнями ошибок, повторяющимися каждый раз при посещении сайта. Чтобы этого избежать при проведении оптимизации необходимо закрывать всю директорию, в которой содержится RSS-рассылка.

Однако если выбранная поисковая система правильно учитывает RSS, то не стоит закрывать его от индексации.

Дублирующий контент. Считается, что в оптимизации сайта под поисковые системы, места для дублирующегося контента просто нет, поэтому страницы с подобным контентом необходимо закрывать от индексации.

К дублирующемуся контенту также относятся и технические подписи на страницах, к примеру, контакты с различными пояснениями, которые содержат шаблоны для ucoz.

Все технические части (рейтинги, блоки счетчиков и др.) нужно закрывать на всех страницах. Оптимизация сайта предполагает, что технические страницы, не содержащие полезной информации, не попадают в индекс. Но скрыть их при помощи нетривиальных адресов недостаточно, так как их еще нужно закрыть от индексации. Случайно «заглянувший» робот может пройти по всем ссылкам и натворить кучу дел, с которыми еще долго придется разбираться. Иногда таких роботов засылают специально. Лучше всего закрывать их при помощи специальных тегов, которые воспринимаются поисковой системой как набор ключевых слов.