Рунет в марте 2006 года: домены, хостинг, география сайтов

Домены и веб-сервис
Хостинг
География

Данные

Использованные при анализе данные получены при сканировании головных страниц сайтов рунета, расположенных в поддоменах второго уровня доменов .RU и .SU. Таким образом, сайты в доменах .com,.info и так далее в исследование не попали, равно как и сайты на доменах третьего и более уровней.

Сканирование проводилось 10 марта 2006 года с машины расположенной в RTComm, нельзя исключить возможности того, что часть Рунета с этой площадки недоступна.

Домены и веб-сервис

На 10 марта 2006 года в доменах .RU и .SU были зарегистрированы почти 490 тысяч доменов (по данным stat.nic.ru). В рамках исследования, имелась доступ только к информации DNS, которая оказалась следующей:
ХарактеристикаКоличество
Делегировано доменов (записей NS в DNS)425 596
Хост www.domain.ru или domain.ru имеет адрес (запись A в DNS)399 815
www.domain.ru или domain.ru отвечают по HTTP387 470
IP-адресов на которых работают WWW-сервисы51 591
Как видим, у 91% делегированных доменов есть свой работающий WWW-сервис. Это довольно высокий показатель, скажем в 1999-м живые сайты были примерно у половины доменов, а в сентябре 2005 года - у 81% делегированных доменов. 90% этот показатель достиг в декабре 2005 года и с тех пор меняется мало.

В среднем, на одном IP-адресе, отвечающем по HTTP, расположено около 8 доменов. Два года назад этот показатель был равен 6. Такой рост "количества сайтов на одном адресе" может быть связан с несколькими тенденциями:

  • захват доменов "впрок" и парковка их на одном сервере
  • все больший перевес виртуального (дешевого) хостинга, переезд сайтов-визиток с бесплатных доменов в .RU
  • Создание большого количества зеркал (разных написаний одного и того же домена) под проект.
Какие из этих тенденций являются основными, еще предстоит определить.

Кто отвечает по HTTP

Используемое для веба программное обеспечение распределилось таким образом:
Тип сервераДоля
Apache81%
в т.ч. Apache 2.x9.4%
в т.ч. Apache 1.x63.1%
в т.ч. Russian Apache18%
nginx9.8%
Microsoft IIS7.0%
в т.ч. IIS-64.2%
в т.ч. IIS-52.7%

Как отвечают по HTTP

HTTP-коды распределились таким образом (проценты от всех HTTP-ответов):
Код ответаДоляКомментарий
200-20695.5%Нормальный HTTP-ответ
4032.9%Сайт закрыт паролем
4xx0.8%Другие ошибки
4040.6%На сайте нет даже первой страницы
3xx0.2%Бесконечный цикл редиректов
Удивляет большое количество закрытых паролем сайтов. Доля неработающих по разным причинам сайтов невелика, однако их более 6 тысяч. Это больше, чем вообще сайтов в Рунете шесть лет назад.

Типы содержания (content-type) распределены так:
Тип ответаДоля
HTML99.75%
WAP0.18%
Остальные типы не стоят внимания
Все абсолютно предсказуемо. Раз интернет, значит подавляющее количество сайтов - HTML-ные. Единичные сайты имеют графическую или flash стартовую страницу, около сотни - текстовую (не HTML).

Около 3% сайтов выдают в качестве главной страницы HTML-код, который не содержит никакого видимого пользователем текста и гиперссылок. Только картинка или flash-заставка или просто пустой HTML.

Хостинг

Определения

Точного определения "хостинга" не существует, поэтому придется придумать свое. "Хостер" характеризуется тем, что предоставляемые им ресурсы имеют близкие IP-адреса (из одного блока адресов). Следовательно, хостинговую сеть легко отличить по тому, что много разных WWW-серверов имеют похожие IP.

Если поделить все адресное пространство на блоки по 256 адресов ("сеть класса C"), то для выделения хостеров можно использовать такие критерии.

  • В блоке много WWW-серверов (независимо от количества используемых адресов)
  • В блоке много IP-адресов, используемых под WWW.
  • Анализ всех адресов WWW-серверов (в доменах второго уровня под .RU и .SU) показал, что второй критерий показательным не является (изменение его в широких пределах не приводило к заметному изменению количества WWW-серверов, выделяемых как "хостящиеся").

    В свою очередь, первый критерий весьма значим. Можно провести две условные границы:

    • В блоке /24 ("класс С") более 900 WWW-серверов. Этот критерий выделяет массовый виртуальный хостинг (64 блока в которых находится 206 тыс. сайтов). Увеличение уровня отсечки на десятки процентов не приводит к заметному падению числа выделяемых блоков.
    • В блоке /24 порядка 100 серверов. Этот лимит не имеет заметного порогового значения, с уменьшением порога увеличивается количество выделяемых в качестве "хостеров" серверов и сетей. В качестве порогового удалось найти порог "80", при изменении его на 10% количество выделяемых "хостинговых" WWW-серверов меняется менее чем на 3%.

    Второй порог позволяет построить "рейтинг услуг хостинга" (чтобы быть полностью корректным, "рейтинг услуг хостинга для доменов 2-го уровня в TLD .RU и .SU").

    В качестве "хостеров" в данном исследовании рассматриваются автономные системы, в которых расположены хостинговые сети (автономная система, в первом приближении, это собственное адресное пространство хостера).

    Другими словами, те хостинговые компании, которые арендуют адресное пространство у более крупных провайдеров (аплинков), либо просто являются дилерами под своей торговой маркой, в исследование не попали. Вместо этого "хостерами" названы их аплинки. Это сделано намеренно - игроки рынка без собственного адресного пространства несамостоятельны, не могут быстро сменить датацентр, внешние каналы и так далее.

    Хостеры

    В соответствии с описанными выше критериями, можно построить следущую таблицу ("Top10 хостеров"):
    Количество доменовАвтономная системаХостинговая компания
    51 117AS8342РТКомм.РУ
    50 012AS25532.masterhost
    20 983AS30943Utransit (бывш. Valuehost)
    17321AS20848РБК
    14 860AS8402Корбина
    13 505AS2118Релком
    12 878AS6903Zenon N.S.P.
    11 881AS3216Golden Telecom
    9 398AS30968Infobox
    8 781AS20597Eltel
    312 871Всего на хостингах
    Изменение уровня "отсечки", по которому выделяются хостинговые сети, вдвое в любую из сторон не меняет порядка следования компаний в рейтинге, хотя и меняет абсолютные показатели. Подсчет рейтинга по всем сетям поднимает GoldenTelecom на две позиции (за счет WWW-серверов, расположенных у клиентов данного провайдера).

    Хочется особо подчеркнуть: это рейтинг хостеров по единственному показателю - количеству размещенных доменов второго уровня в .RU и .SU. По другим метрикам (количеству доменов вообще, трафику, количеству клиентов и так далее) рейтинг будет другим. Первое место РТКомм.РУ объясняется большим количеством хостеров-клиентов (без своего адресного пространства) у этого оператора, ибо массовых услуг хостинга сам РТКомм не оказывает.

    Если рассматривать только работающие (доступные) WWW-серверы, то рейтинг не изменяется, что неудивительно т.к. подавляющее количество (более 95%, см. выше) WWW-серверов отвечает на запросы.

    География хостинга

    По отобранным на предыдущем этапе WWW-серверам можно построить их географическое распределение:
    Регионколичество
    доменов
    Россия290 363
    в том числе 
     Москва 238 213
     Санкт-Петербург 39 265
     Екатеринбург 3 311
     Новосибирск 1 907
     Пермь 757
     Уфа 691
     Нижний Новгород 652
     Самара 573
     Челябинск 496
     Ростов 416
    США10 602
    Великобритания6 797
    Германия1 105
    Норвегия1 068
    Украина919
    Люксембург760
    Канада362
    Дания270
    Франция180
    Никаких неожиданностей, Москва-Питер-далее везде для России, основной зарубежный хостинг в США и Англии.

    География

    Не менее показательно географическое распределение WWW-серверов, не попавших в крупные хостерские сети (для зарубежных хостинговых компаний непопадание означает то, что они не ориентированы на российский рынок и 80 российских доменов в одном блоке /24 у них не набирается). В данную таблицу вошли те страны, где расположено более 200 таких (.RU/SU) WWW-серверов,
    Регионколичество доменов
    Россия6 5556
    в том числе 
     Москва34 304
     Санкт-Петербург 5 940
     Екатеринбург 2 516
     Новосибирск 1 733
     Ростов 1 264
     Челябинск 1 150
     Самара 1 074
     Красноярск 854
     Краснодар 823
     Нижний Новгород 751
     Казань 751
    США 1 1539
    Германия3 187
    Великобритания1 141
    Нидерланды619
    UA 461
    в том числе 
     Киев 405
     Харьков 18
     Одесса 10
    Чехия439
    Франция343
    Канада329
    Швейцария297
    Италия283
    Австрия253
    Швеция252
    Дания247
    Польша243
    Для российских регионов попадание в этот рейтинг означает одно из двух
    • Условия доступа в интернет таковы, что держать WWW-сервер не на хостинге экономически оправданно
    • Заметных хостеров (попавших в рейтинг хостеров) в регионе нет.
    Для зарубежных стран хочется считать, что данный рейтинг отражает "непромышленный" перенос доменов заграницу, вместе с эмигрантами и/или бизнесом.

    Благодарности

    Географические рейтинги построены с помощью географической базы данных, разрабатываемой в компании «Ашманов и Партнеры»

    Автор благодарит Александра Гагина за неизменно превосходные идеи.

    Неоценимый вклад в объяснение причин лидирования РТКомм в рейтинге хостеров внес Владимир Ермаков (в прошлом сотрудник РТКомм.РУ).

    Indexed: Ap:2010-11-01 20:49 |  G:2016-04-19 06:34 |  MSN:2011-07-23 00:04 |  R:2011-06-16 01:12 |  Yah:2016-05-16 13:48 |  Я:2013-08-30 06:14