Ретрекер

Файл:Scheme2.svg

Ретрекер (retracker, также встречается термин псевдотрекер) — технология оптимизации обмена битторрент (bittorrent) трафиком внутри локальных сетей. Ретрекер позволяет установить прямое соединение по протоколу битторрент между абонентами, каждый из который использует внутренний (локальный) IP-адрес. Технически ретрекер представляет собой простейший bittorrent трекер, как правило, анонимный, работающий внутри адресного пространства локальной сети интернет провайдера. Использование ретрекера позволяет пирам обмениваться трафиком на повышенной скорости, используя внутреннюю адресацию локальной сети провайдера, так как доступ к локальной сети у многих российских интернет провайдеров разрешен на более высокой скорости, нежели доступ в интернет. Кроме того, использование ретрекера снижает нагрузку на магистральные каналы связи за счет того, что абонентам не нужно скачивать по отдельности одни и те же данные.

Для того, чтобы bittorrent клиент смог воспользоваться преимуществами ретрекера, нужно добавить в список announce url торрента announce url ретрекера. Некоторые трекеры делают это автоматически, добавляя адреса авторизованных ретрекеров на основании анализа IP адреса пользователя. В других случаях пользователям приходится добавлять announce url ретрекера в торрент-файлы самостоятельно, или с помощью специальных программ — торрент-патчеров. Некоторые провайдеры предпринимают попытки установки прозрачного прокси, перехватывающего обращения по HTTP портам к популярным трекерам. Такой прокси изменяет torrent файлы при скачивании и добавляет к ним локальный ретрекер. Также распространенной практикой является добавление основным трекером во все торрент-файлы адреса «retracker.local», который отображается на IP действующего ретрекера DNS серверами провайдера. Существуют также и другие решения проблемы локального обмена битторрент-трафиком.

Важно не путать ретрекеры с обычными локальными трекерами локальных сетей. Ретрекер не ставит задачи обмена торрент-файлами, систематизации торрент-файлов, поиска и так далее. Ретрекер служит исключительно средством повышения скорости обмена данными между пирами.

История ретрекеров

Впервые идея ретрекера была описана и реализована абонентом под псевдонимом unxed сети Корбина телеком (Санкт-Петербург) 24 августа 2007 года. 21 сентября 2007 с подобной инициативой выступила администрация трекера rutracker.org. При этом администрация rutracker.org крайне негативно отозвалась о попытках пользователей локальных сетей организовывать собственные ретрекеры, и предложила свой собственный вариант централизованной установки ретрекеров на технических площадках провайдеров. Первый ретрекер от rutracker.org заработал в пиринговом пространстве домашней сети TiERA в Санкт-Петербурге 5 февраля 2008.

Подход rutracker.org в корне не устраивал пользователей, провайдеры которых не желали устанавливать у себя ретрекеры официально. Поэтому в качестве альтернативы «официальным провайдерским» ретрекерам в сентябре 2008 года опять же в сети Корбина телеком в Санкт-Петербурге силами пользователей этой сети была запущена система локальных ретрекеров (re-tracker.ru). С октября 2008 года подобная система начала функционировать в московской сети компании Корбина телеком, покрыв почти полностью городскую локальную сеть.

Впоследствии администрация трекера rutracker.org отказалась от практики добавления индивидуальных адресов ретрекеров на основе диапазона IP клиента. Вместо этого во все торренты добавляется адрес retracker.local (таким образом, желающие провайдеры могут сделать переадресацию этого адреса на свой ретрекер через свои сервера dns).

К сожалению, адрес retracker.local поддерживается далеко не во всех локальных сетях, и, кроме того, не работает, если пользователь использует dns сервера, отличные от dns серверов своего провайдера. Поэтому проблема создания пользовательских ретрекеров в локальных сетях до сих пор остается актуальной.

Система локальных (пользовательских) ретрекеров

Система локальных ретрекеров устроена следующим образом: торрент-файл, который скачивает пользователь, перехватывается программой Torrent Patcher, после этого измененный файл передается торрент-клиенту, например µTorrent. Во время патчинга добавляются списки ретрекеров. Также программа поддерживает «безопасный» способ добавления ретрекеров посредством Magnet-ссылки (работает только на µTorrent версии 1.8.1 и выше). После этого торрент клиент делает запрос на трекеры и на локальные ретрекеры, после запроса на локальные он получает список локальных пиров и это даёт возможность передавать данные по протоколу bittorrent на скорости локальной сети провайдера. При этом сами локальные ретрекеры обычно устанавливают у себя пользователи-энтузиасты.

Преимущества

Преимущества создания ретрекеров на базе компьютеров абонентов (в отличие от ретрекеров, установленных на площадке провайдера):

• возможность работы ретрекера с любым интернет-трекером (а не только с теми, с кем «договорится» провайдер)
• независимость от желания или нежелания провайдера установить ретрекер
• независимость от желания или нежелания администрации крупных трекеров включать адрес ретрекера в торрент-файлы, выдаваемые пользователям данной сети

Недостатки

Недостатки подобного подхода:

• пользователи вынуждены добавлять к торрентам адреса ретрекеров вручную либо устанавливать специализированные патчеры торрентов
• в случае отказа всех пользовательских ретрекеров одновременно (что, конечно, весьма маловероятно) система перестанет работать, а bittorrent-клиенты абонентов будут генерировать бессмысленный трафик

Поддержка ретрекеров через адрес retracker.local

Оригинальная реализация идеи ретрекера была опубликована 10 марта 2009 на сайте nag.ru . Смысл ее сводится к тому, чтобы либо на стороне трекеров, либо на стороне битторрент-клиентов автоматически добавлять во все торренты адрес вида http://retracker.local/. Таким образом, каждый провайдер через настройки своих dns серверов сможет самостоятельно указать адрес своего сервера-ретрекера (а если провайдер не имеет сервера-ретрекера, возможно использование пользовательских ретрекеров через редактирование файла hosts). С 18 сентября 2009 года популярный трекер rutracker.org добавляет в торренты для российских адресов http://retracker.local .

Преимущества

• Трекеру не требуется содержать базу адресов, тратить ресурсы на обработку и прочее.
• Позволяет не иметь проблем при смене внешних адресов провайдером, всё автоматически начнёт действовать.
• Даже в случае падения основного трекера локальный продолжит работу и пользователи смогут продолжить скачку.

Недостатки

• Использование зоны .local вызывает конфликт с сервисами Zeroconf — mDNS (например Avahi) и противоречит Draft RFC «Multicast DNS» .
• Некоторые торент-клиенты, например Deluge, Vuze обращаются только к первому ответившему трекеру, таким образом либо retracker.local использован не будет, либо будет использован только он.
• Использование абонентом сторонних DNS сервисов (OpenDNS, Google Public DNS и др.) приведет к необходимости ручного указания абонентом IP адреса ретрекера в файле hosts.

Другие решения проблемы локального обмена bittorrent трафиком

На сайте bittorrent.org был опубликован проект расширения протокола битторрент для автоматического обнаружения локальных трекеров. Популярный bittorrent-клиент µTorrent поддерживает это расширение протокола включением опции isp.bep22 в разделе «Дополнительно» окна настроек. В последней на 24.09.2009 версии программы 1.8.4 эта опция по умолчанию выключена, как и в текущих бета версиях 2.0.

Санкт-Петербургский интернет провайдер Ozerki.net использует собственную технологию добавления адреса ретрекера в торрент файлы. Согласно сообщению администратора сети, трафик с торрент-трекеров с помощью фаервола iptables перенаправляется на прокси-сервер на базе Squid, который в свою очередь обрабатывает все скачиваемые пользователями торрент-файлы программой-патчером.

13 ноября 2009 года санкт-петербургский интернет-провайдер SmartHome объявил о запуске своей реализации перехвата и добавления адреса ретрекера, опубликовав полное описание технологии на форуме nag.ru, а также анонсировал поддержку расширения isp.bep22 в локальной сети.

Возможности, подобные использованию ретрекеров, предоставляет функция «Local Peer Discovery», присутствующая в bittorrent клиенте µTorrent начиная с версии 1.7 build 1065, выпущенной 5 апреля 2007. Так как эта функция использует multicast пакеты, блокируемые большинством интернет провайдеров для защиты от вирусных эпидемий, область ее применения ограничивается небольшими локальными сетями, состоящими из одного сегмента.

Интересные факты

• Популярный bittorrent клиент µTorrent имеет встроенный анонимный трекер, который может использоваться в качестве ретрекера. Включить его можно в меню «Настройки», «Дополнительно», «bt.enable_tracker» — true. Адрес трекера будет http://ваш_IP:порт_uTorrent/announce

Ссылки

• Система локальных ретрекеров (есть свой патчер торрентов, доступны исходные коды для .NET 2.0)
• pCache — система кэширования p2p трафика
• Псевдотрекер — свободная реализация ретрекера и патчера торрентов, доступны исходные коды на языках php/perl.

См. также

• Мультитрекер