Поисковый робот: различия между версиями

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску
Интерактивная навигация по истории
(Показать все непатрулированные изменения)
[непроверенная версия][непроверенная версия]
← Предыдущая правка
Содержимое удалено Содержимое добавлено
ВизуальныйВики-текст
Нет описания правки
дополнение
 
(не показано 30 промежуточных версий 24 участников)
Строка 1: Строка 1:
'''Поиско́вый ро́бот''' («веб-пау́к», краулер) — [[компьютерная программа|программа]], являющаяся составной частью [[поисковая система|поисковой системы]] и предназначенная для перебора страниц [[Интернет]]а с целью занесения информации о них в базу данных поисковика. По принципу действия паук напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, которой принадлежит, и отправляется по ссылкам на следующие страницы. Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «''дятлы''» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.
'''Поиско́вый ро́бот''', или '''веб-кра́улер''' ({{lang-en|Web crawler}}; также встречается название «''веб-пау́к''»), '''алгоритмы автоматического интернет-сёрфинга''' ([[англ.]] ''Internet surfing'', ''surfing'' «катание (скольжение) на (по) волнах(-м)») — [[компьютерная программа|программа]], являющаяся составной частью [[поисковая система|поисковой системы]] и предназначенная для перебора страниц [[Интернет]]а с целью занесения информации о них в [[База данных|базу данных]] поисковика.


Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются [[Поисковый алгоритм|поисковыми алгоритмами]].
По принципу действия, «паук» напоминает обычный [[браузер]]. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, и отправляется по ссылкам на следующие страницы. Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются алгоритмами [[Информационный поиск|информационного поиска]]. В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.


Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «''дятлы''» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.
В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.


Также многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для [[индексация в поисковых системах|индексирования]]. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается практически единственной возможностью указать на его существование. Ещё одним способом быстрой индексации сайта является добавление на сайт систем веб-аналитики, принадлежащих поисковым сервисам. Например, таких как [[Google Analytics]], [[Яндекс.Метрика]] и [[Рейтинг@Mail.ru]] от Google, Яндекса и Mail.Ru соответственно.
Также многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для [[индексация в поисковых системах|индексирования]]. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается практически единственной возможностью указать на его существование. Ещё одним способом быстрой индексации сайта является добавление на сайт систем [[Веб-аналитика|веб-аналитики]], принадлежащих поисковым сервисам. Например, таких как [[Google Analytics]], [[Яндекс.Метрика]] и [[Рейтинг@Mail.ru]].


Ограничить индексацию сайта можно с помощью файла [[robots.txt]]. Полная защита от индексации может быть обеспечена другими механизмами, например установкой пароля на странице либо требованием заполнить регистрационную форму перед тем, как получить доступ к содержимому.
Ограничить индексацию сайта можно с помощью файла [[robots.txt]]. Полная защита от индексации может быть обеспечена другими механизмами, например, установкой пароля на странице либо требованием заполнить регистрационную форму перед тем, как получить доступ к содержимому.


== См. также ==
== См. также ==
⚫
* [[Бот (программа)]]
* [[Поисковый индекс]]
* [[Поисковый индекс]]
* [[Полнотекстовый поиск]]
* [[Полнотекстовый поиск]]
* [[Нормализация URL]]
* [[Нормализация URL]]
⚫
* [[Бот (Интернет)]]


== Ссылки ==
== Ссылки ==
* {{cite web
* {{cite web
| author =
|author =
| authorlink =
|authorlink =
| datepublished =
|datepublished =
| url = http://help.yandex.ru/webmaster/?id=995296
|url = http://help.yandex.ru/webmaster/?id=995296
| title = Яндекс.Вебмастер: Как работает робот
|title = Яндекс.Вебмастер: Как работает робот
| format =
|format =
| work =
|work =
| publisher = Яндекс
|publisher = Яндекс
| accessdate = 2009-04-25
|accessdate = 2009-04-25
| lang = ru
|lang = ru
| description =
|description =
| archiveurl = http://www.webcitation.org/619VqleX7
|archiveurl = https://www.webcitation.org/619VqleX7?url=http://help.yandex.ru/webmaster/?id=995324
| archivedate = 2011-08-23
|archivedate = 2011-08-23
|deadlink = no
}}
}}
* {{cite web
* {{cite web
| author =
|author =
| authorlink =
|authorlink =
| datepublished =
|datepublished =
| url = http://www.google.ru/intl/ru/webmasters/bot.html
|url = http://www.google.ru/intl/ru/webmasters/bot.html
| title = Googlebot: Google's Web Crawler
|title = Googlebot: Google's Web Crawler
| format =
|format =
| work =
|work =
| publisher = Google
|publisher = Google
| accessdate = 2009-04-25
|accessdate = 2009-04-25
| lang = ru
|lang = ru
| description =
|description =
| archiveurl = http://www.webcitation.org/619VtPx7c
|archiveurl = https://www.webcitation.org/619VtPx7c?url=http://www.google.com/support/webmasters/bin/answer.py?hl=en-GB
| archivedate = 2011-08-23
|archivedate = 2011-08-23
|deadlink = yes
}}
}}


⚫
{{rq|source|style|image}}
* [http://nig.org.ua/2012/03/pishem-pauk/ Пример реализации простейшего поискового робота]

⚫
{{rq|stub|source|style|image}}
{{web-stub}}
{{web-stub}}


Текущая версия от 06:18, 19 декабря 2022

Поиско́вый ро́бот, или веб-кра́улер (англ. Web crawler; также встречается название «веб-пау́к»), алгоритмы автоматического интернет-сёрфинга (англ. Internet surfing, surfing «катание (скольжение) на (по) волнах(-м)») — программа, являющаяся составной частью поисковой системы и предназначенная для перебора страниц Интернета с целью занесения информации о них в базу данных поисковика.

По принципу действия, «паук» напоминает обычный браузер. Он анализирует содержимое страницы, сохраняет его в некотором специальном виде на сервере поисковой машины, и отправляется по ссылкам на следующие страницы. Порядок обхода страниц, частота визитов, защита от зацикливания, а также критерии выделения значимой информации определяются алгоритмами информационного поиска. В большинстве случаев переход от одной страницы к другой осуществляется по ссылкам, содержащимся на первой и последующих страницах.

Владельцы поисковых машин нередко ограничивают глубину проникновения паука внутрь сайта и максимальный размер сканируемого текста, поэтому чересчур большие сайты могут оказаться не полностью проиндексированными поисковой машиной. Кроме обычных пауков, существуют так называемые «дятлы» — роботы, которые «простукивают» проиндексированный сайт, чтобы определить, что он доступен.

Также многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для индексирования. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается практически единственной возможностью указать на его существование. Ещё одним способом быстрой индексации сайта является добавление на сайт систем веб-аналитики, принадлежащих поисковым сервисам. Например, таких как Google Analytics, Яндекс.Метрика и Рейтинг@Mail.ru.

Ограничить индексацию сайта можно с помощью файла robots.txt. Полная защита от индексации может быть обеспечена другими механизмами, например, установкой пароля на странице либо требованием заполнить регистрационную форму перед тем, как получить доступ к содержимому.

См. также

[править | править код]

Ссылки

[править | править код]
Источник — https://ru.wikipedia.org/ruwiki/w/index.php?title=Поисковый_робот&oldid=127343938