RSS[v2.0]
Пух :
08.03.2002-27.12.2011
Нюня: хз-06.02.2012
 
 
 
 
 


Приручаем поисковых роботов(секрет про роботс текст)
Автор: KuLoLo   |   Просмотров: 7804   |   Почитать » Статьи

Все пользователи сети интернет любят поисковые системы. Они позволяют им ориентировать огромных пространствах сети, помогают найти именно то что им необходимо. Но для владельцев интернет сайтов они могут также стать и головной болью, т.к. поисковые роботы заходя на сайт, имеют одну единственную цель: проиндексировать ваш сайт как можно быстрее и добавить в свою базу данных. Почему головной болью? Да потому что поисковые роботы делают свою работу достаточно быстро и усердно, скачивая страницы вашего сайта с большой интенсивностью. Если на вашем 5 страниц, то нет проблем, все проходит быстро и безболезненно. А если тысячи, десятки тысяч? На практике это выглядит так: неожиданно в какое то определенное время суток, сайт начинает генерировать большую нагрузку, сервер держит эту нагрузку, до тех пор пока ему позволяют лимиты или возможности, а потом либо сервер падает, либо просто перестает отдавать страницы, а вы получаете от хостинг компании грозные требования прекратить нагружать сервер, переехать на более высокий тариф, и т.д. Что делать в данной ситуации? Заблокировать роботов? Не наш метод. Все просто, роботов можно приручить и сделать их добрыми и пушистыми и заставить их считаться с вами. Для этого нужно обратиться к документации и протоколу управления роботами. Каждый уважающая себя поисковая система уважает разработанные стандарты и следует им. При посещении сайта поисковый робот в первую очередь обращается к файлу robots.txt, который должен находится в корне сайта, этот файл и управляет действиями поискового робота. Итак создаем в корне вашего сайта файл robots.txt и внутри него пишем:
User-agent: *
Crawl-delay: 10

Параметр Crawl-delay указывает поисковому роботу чтобы он загружал страницы вашего сайта с интервалом не менее 10 секунд, другими словами просто выдерживал паузу во время индексации страниц вашего сайта. И ваш сайт спокойно индексируется в пределах допустимой нагрузки. Вы можете менять интервал по своему усмотрению, делая его больше или меньше. Но имейте ввиду делая интервал слишком большим, вы замедляете темпы индексации сайта, и индексация проходит гораздо дольше. Все как говорится должно быть в меру.

С уважением, Антон Валик

 
Уважаемый посетитель, Вы зашли на сайт как незарегистрированный пользователь. Мы рекомендуем Вам зарегистрироваться либо войти на сайт под своим именем.


Распечатать     Получать свежие статьи на e-mail


Другие новости по теме:



  • Комментарии
  • Facebook
  • ВКонтакте
  • Полезная информация
Добавление комментария
Ваше Имя:
Ваш E-Mail:
Введите два слова, показанных на изображении:

 

  #2 написал: coellipheme
Зарегистрирован: --   |   ICQ: --   |  
    цитировать  |    |    |  


Группа: Гости
Публикаций: 0
Комментариев: 0
Р’ чужой стране путеС?ественник - РјРµС?РѕРє СЃ деньгами, который РІСЃРµ РЅРѕСЂРѕРІСЏС‚ поскорее опорожнить.


  #1 написал: arolepriere
Зарегистрирован: --   |   ICQ: --   |  
    цитировать  |    |    |  


Группа: Гости
Публикаций: 0
Комментариев: 0
Продаю спамер для chpoking.ru.
+полуавтоматическая регистрация
+сбор онлайн юзеров
+быстрая рассылка сообщений
+антибан

Подробности в аську 381151097







Жив, цел, орёл!



Меню Навигации

Календарь
«    Февраль 2016    »
ПнВтСрЧтПтСбВс
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
 


Облако Тэгов
2012, HTML, pr, RSS, SEO, skype, Twitter, Windows, бесплатно, бесплатные, блог, видео, вконтакте, вывод, деньги, дизайн, для, заработок, интернет, к, как, конкурс, красиво, люди, мифы, много, новость, новый, отзывы, первый, почему, сайт, сео, СЕОшники, скачать, способы, ТИЦ, Топ, что, яндекс

Показать все теги



Архив Новостей
Февраль 2016 (1)
Февраль 2015 (1)
Декабрь 2014 (1)
Ноябрь 2012 (1)
Июль 2012 (1)
Июнь 2012 (5)


Счётчики

мультик смешарики все серии подряд онлайн,квест жесть 2 москва

 
Реклама

Наш Опрос
Вы ещё зайдёте к нам?

да smile
нет what


Показать все опросы






   
2011-2016 © Все права защищены и охраняются законом об авторских и смежных правах.