Рунет в марте 2008 года: домены, хостинг, география сайтов

Содержание

  1. История исследования
  2. Краткое содержание
  3. Данные
  4. Домены и веб-сервис
  5. Хостинг
  6. География: помимо хостинга
  7. Заключение

История исследования

В 1998-1999-м годах автор выпускал регулярное исследование российского интернета «Russian Internet Survey» (RU-Survey). В 2000-м году это исследование было передано в компанию Рамблер, где оно вошло в состав проекта Руметрика. В Рамблере был проведен только один раунд RU-Survey (летом 2001 года), после чего развитие данной части Руметрики прекратилось.

Уже в 2001-м году проводить RU-Survey в полном объеме было тяжело: в рамках исследования делалась попытка выкачать головные страницы всех сайтов Рунета. Сейчас, по прошествии нескольких лет, сделать это усилиями частного лица практически невозможно: Рунет растет очень быстрыми темпами. Поэтому, в рамках обновленного проекта Черный Квадрат автор ограничился только сайтами, расположенными в поддоменах 2-го уровня в доменах .RU и .SU.

Начиная с марта 2006 года исследование Рунета проводится в новом формате: по другому набору сайтов (только главные страницы сайтов в доменах второго уровня в TLD .RU и .SU).
Текущее исследование - третье в данном формате, предыдущие два проводили в 2006, и 2007 годах.

Краткое содержание

В данной статье рассмотрены следующие параметры российского интернета:

  • общее количество доменов, количество работающих сайтов;
  • программное обеспечение, обслуживающее WWW-сайты;
  • хостинг: Top10 компаний, география хостинга;
  • сайты не на массовом хостинге: сколько их, география.

Данные

Использованные при анализе данные получены при сканировании головных страниц сайтов рунета, расположенных в поддоменах второго уровня доменов .RU и .SU.

Сканирование проводилось 16-19 марта 2008 года с машины расположенной в RTComm, нельзя исключить возможности того, что небольшая часть Рунета с этой площадки недоступна.

Домены и веб-сервис

По данным stat.nic.ru, на 15 марта 2008 года в доменах .RU и .SU было зарегистрировано 1 328 тысяч доменов, годовой прирост составил 67%, что заметно больше прироста за предыдущий год (с марта 2006 по март 2007 количество зарегистрированных доменов выросло на 61%).

В рамках нашего исследования мы анализировали информацию DNS, которая оказалась следующей:

Характеристика Количество
на март 2008
Количество
на март 2007
Количество
на март 2006
Прирост
за год 03.2007-03.2008
(в скобках за 03.2006-03.2007)
Делегировано доменов (записей NS в DNS) 1 176 594 698 759 425 509 68% (64%)
Хост www.domain.ru или domain.ru имеет адрес (запись A в DNS) 1 079 875 652 414 399 815 66% (65%)
www.domain.ru или domain.ru отвечают по HTTP 1 001 806 639 174 387 470 57% (65%)
IP-адресов на которых работают WWW-сервисы 79 156 68 188 51 591 14% (34%)

Прежде чем анализировать данные в табличке, необходимо напомнить определения:

  • Зарегистрированный домен - оплачен, внесен в базу данных регистратора, но может не использоваться.
  • Делегированный домен - имеет как минимум записи в DNS, указывающие на Name Servers для данного домена. Как правило, на адреса из этого домена может ходить почта, он может быть приведен в "полностью действующее состояние" в течение единиц часов. Делегирование означает, что домен пытаются как-то использовать.
  • Домен с A-записями в DNS - домен в используемом состоянии, мы вправе ожидать хождения почты и наличие сайта.
  • Домен отвечает по HTTP - есть работающий сайт.

Сравнивая результаты за два последних года, мы видим достаточно любопытную картину:

  • Доступность сайтов
    1. В 2006-м году количество работающих сайтов прирастало быстрее, чем количество делегированных доменов. В свою очередь, количество делегированных доменов прирастало быстрее, чем количество зарезервированных. Другими словами, имевшиеся домены пытались приспособить к какому-то делу.
    2. В 2007-м году картина заметно отличается. Количество делегированных доменов прирастает чуть быстрее, чем количество регистраций (можно считать это "горячим резервом), а вот количество попыток использования (A-запись) - уже чуть медленнее. Количество же реально работающих сайтов растет сильно медленнее количества доменов.
    3. В результате, в марте 2007 года 80.5% всех доменов имело "живой сайт", а в марте 2008 доля живых сайтов упала на 5 процентных пунктов до 75.4%.
    Другими словами, очень заметное количество доменов просто резервируется впрок, причем доля таких за год заметно выросла. Особенно это заметно для домена .SU: на 15 марта 2008 года из 42 тысяч доменов .SU делегировано было только 27 тысяч (естественно, это связано с резким снижением цены в конце 2007 года: количество зарегистрированных доменов .SU за год выросло впятеро, при этом до начала декабря рост был в пределах обычного, затем за первые 10 дней декабря-2007 количество доменов .SU увеличилось вдвое, а за следующие три месяца - еще вдвое).
  • Довольно заметно выросла и доля сайтов, имеющих A-запись, но не отвечающих на WWW-запросы. В 2006-м году таких было 3%, в 2007-м - 2%, а в 2008-м - уже более 7%. В абсолютных цифрах рост еще больше (Рунет растет), с 13 тысяч сайтов в марте 2007 до почти 80 тысяч в марте 2008. Этот рост нельзя отнести к нестабильности какого-то крупного хостера в дни проведения исследования 2008-го года: данные для черного квадрата собираются еженедельно и каких-то крупных скачков доступности в последние недели не было.
  • Темпы прироста количества различных IP-адресов упали за год еще вдвое, за 2006-й год выросли на треть, а за последние 12 месяцев - на одну шестую. Это свидетельствует о том, что основным видом хостинга в Рунете остается виртуальный, когда на одном IP-адресе располагаются тысячи и десятки тысяч сайтов (самые используемые 100 IP-адресов обслуживают 264 тысячи сайтов, а первая тысяча IP - 590 тысяч сайтов).

Кто отвечает по HTTP

Используемое программное обеспечение распределилось следующим образом
Тип сервера Доля в марте 2008 Доля в марте 2007 Доля в марте 2006
Apache 72% 58% 81%
в т.ч. Apache 2.x 15.9% 11.3% 9.4%
в т.ч. Apache 1.x 28% 47.3% 63.1%
в т.ч. Russian Apache 5.1% 11.4% 18%
nginx 18.5% 22.7% 9.8%
IIS 8.0% 5.8% 7.0%
в т.ч. IIS6 7.3% 4.3% 4.2%
в т.ч. IIS5 0.7% 1.45% 2.7%

К этой таблице нужно относиться с учетом того, что Рунет вырос, падение доли меньше чем в 1.6 раза соответствует росту количества инсталляций.

  • Apache неожиданно увеличил свою долю, причем основной рост связан с "Apache без указания версии". Заметный вклад в это внесли службы парковки доменов, в частности Sedoparking (около 7% всех сайтов).
  • Microsoft IIS. Рост доли IIS был несколько неожиданным, существенную его часть обеспечил один сервер на котором припарковано более 35 тысяч сайтов.
  • nginx несмотря на падение доли, нарастил общее количество обслуживаемых сайтов, хотя и не очень значительно.
  • Russian Apache к моему большому облегчению падает не только в доле, но и количественно.

Хостинг

Будем использовать то же определение, что и в двух предыдущих исследованиях,чтобы сравнивать одинаковые показатели:

Точного определения «хостинга» не существует, поэтому придется придумать свое. «Хостер» характеризуется тем, что предоставляемые им ресурсы имеют близкие IP-адреса (из одного блока адресов). Следовательно, хостинговую сеть легко отличить по тому, что много разных WWW-серверов имеют похожие IP.

Критерий выделения «хостинговой сети» тоже совпадает с прошлогодним: 80 и более WWW-серверов в одном блоке IP-адресов «класса C».

И еще одна цитата из прошлогоднего исследования:

В качестве «хостеров» в данном исследовании рассматриваются автономные системы, в которых расположены хостинговые сети (автономная система, в первом приближении, это собственное адресное пространство хостера).
Другими словами, те хостинговые компании, которые арендуют адресное пространство у более крупных провайдеров (аплинков), либо просто являются дилерами под своей торговой маркой, в исследование не попали. Вместо этого «хостерами» названы их аплинки. Это сделано намеренно - игроки рынка без собственного адресного пространства несамостоятельны, не могут быстро сменить датацентр, внешние каналы и так далее.

Согласно полученным в исследовании данным, 87.8% всех сайтов (879 651 сайт) расположено на хостингах (в нашем определении). Год назад эта доля была несколько ниже: 84.2%. Таким образом, как и в прошлом году, рынок хостинга рос быстрее Рунета.

Top-10 хостинговых компаний марта 2008 года:

Количество доменов Автономная система Хостинговая компания Позиция в рейтинге в 2007
(если входила в Top-10)
Рост за год Примечания
111 102 AS25532 .masterhost 1 -20%  
109 542 AS12306 Plus Line AG - - Основной вклад в позиции PlusLine внесла служба парковки имен Sedoparking.
62 291 AS8342 РТКомм.РУ 2 +31%  
42 339 AS8560 1&1 - - Германский хостер (от виртуального хостинга до dedicated) с черезвычайно привлекательными тарифами. Выборочная проверка показала, что на мощностях 1&1 расположено много реальных сайтов, это не массовый паркинг.
42 087 AS39561 Агава 5 +36%  
39 984 AS16083 Stack - - Около 90% вклада этой автономной системы внес один IP-адрес (тот самый, который создал рост Microsoft IIS), на котором расположено более 35 тысяч сайтов разновидностей "псевдосайт" и "спам-каталог". По всей видимости, это одна физическая машина...
30 323 AS41126 Центрохост - - Центрохост - часть РБК-Хостинга. Понятно, что правильнее было бы все хостинги РБК объединить, но в первой двадцатке списка автономных систем ничего другого от РБК не засветилось, вполне вероятно что они до сих пор не имеют своих автономных систем и подобного.
26 433 AS30968 Infobox 9 +48%  
24 416 AS44112 SpaceWeb - - Почему-то в mnt-by: записи про автономную систему написано PETERHOST-MNT :)
23 320 AS30943 Utransit 3 -28%  

 

В отличие от 2006-2007 годов, когда список лидеров два года подряд был очень похожим, в 2008-м году на рынке хостинга произошли очень большие изменения:

  • Лидер не изменился, это компания Masterhost, но она не просто росла медленнее рынка, а падало абсолютное количество размещенных там сайтов. В прошлом году Мастерхост обслуживал более 20% рунета, в этом году - только 11%. После феноменального прошлогоднего роста случился весьма заметный отток клиентов.
  • Рейтинг (top-10) обновился наполовину, среди прошлогодних участников Top-10 только Infobox рос почти со скоростью роста рынка (чуть медленнее), остальные или росли медленнее рынка, или и вовсе показывают падение.
  • В рейтинге впервые два иностранных (немецких) участника. И если один из них, Plus Line AG показывает популярность служб парковки доменов, то второй (1 und 1, 4-я позиция рейтинга) - это хостинг реальных сайтов.
  • К сожалению, консолидация хостинговых компаний под маркой РБК-Хостинг в рейтинге не видна. По всей видимости, до общей технологической базы (включающей и одну автономную систему) консолидация еще не добралась.

Изменения в рейтинге впрямую связаны с теми проблемами, которые испытывает отечественный хостинг:

  • Интернет-трафик в регионах все еще запретительно дорог, что не дает быстро переводить хостинговые мощности за пределы Москвы и Петербурга.
  • Московские (и, по слухам, Питерские) датацентры столкнулись с невозможностью быстрого расширения: сервера ставить некуда, а строительство новых датацентров - дело небыстрое и сдерживается запретительными тарифами на подключение к электросетям.
  • Помимо этого, аварии электроснабжения и теплоотвода на крупнейших московских ДЦ не могли не заставить клиентов задуматься.
  • В последние полгода стали резко расти цены за размещение оборудования, клиентам стало труднее получать дешевый трафик (и все это одновременно с невозможностью расширения).

Одновременно с этим, цены на хостинг в Европе довольно быстро падают и уже стали дешевле московских (например, по цене размещения 1U в мастерхосте, а кроме места есть еще и порт и трафик, можно арендовать неплохой сервер с 10-мегабитным каналом и без оплаты трафика в Амстердаме).

В результате, даже автор этих строк расширяться будет в Европу, при том что всегда мог добыть персональные условия в московских ДЦ.

И еще одна цитата из прошлогоднего исследования:

Хочется особо подчеркнуть: это рейтинг хостеров по единственному показателю - количеству размещенных доменов второго уровня в .RU и .SU. По другим метрикам (количеству доменов вообще, трафику, количеству клиентов и так далее) рейтинг будет другим.

География хостинга

В таблицу географического распределения хостинга включены регионы России с числом сайтов более 1000 и все страны c числом российских сайтов более 8000 (отсечка по странам сделана так, чтобы попала Украина, ниже ее в списке не случилось ничего достаточно интересного).

Регион Кол-во доменов в 2008 г. Доля в 2008 г. (%) Доля в 2007 г. (%) Доля в 2006 г.(%)
Всего в хостинговых сетях 879 651 87.80 84.20 80.75
Россия 648 018 64.7 74.7 74.9
в том числе  
Москва 515 023 51.4 60.9 61.5
Санкт-Петербург 110 451 11.04 10.8 10.1
Екатеринбург 6 966 0.70 0.84 0.85
Нижний Новгород 2 394 0.24 0.18 0.17
Новосибирск 2 318 0.24 0.30 0.49
Ленинградская область 1 994 0.20 н.д. н.д.
Уфа 1 001 0.10 0.14 0.18
Германия 157 718 15.7 0.93 0.29
США 43 633 4.36 3.22 2.74
Великобритания 9 656 0.96 3.88 1.75
Украина 8 087 0.81 0.28 0.24

Как и рейтинг хостинговых компаний, рейтинг хостинга по странам изменился за год черезвычайно сильно:

  • Очень сильно, на 10 процентных пунктов, упала доля России. Сайты начали активно мигрировать за границу.
  • Судя по тому, что отток из Москвы был меньше, чем отток из России в-целом, а второй крупный центр хостинга - Санкт-Петербург - даже слегка увеличил свою долю, недостающая часть оттока взялась из российских регионов. За исключением падения доли Москвы, аналогичная картина была и в прошлом году - рост иностранного хостинга происходил за счет российских регионов, где своего крупного хостинга не было.
  • Утекают российские сайты прежде всего в Германию, доля которой выросла в 17 раз (а общий объем, соответственно, почти в 30). Причина этого обсуждалась выше - там очень дешево, каналы в Европу сейчас довольно быстрые и почти нет разницы где размещать сайт. При этом, как так же указывалось выше, около половины оттока в Германию - это паркинг доменов. Помимо Германии, выросла и доля США, где легче получить хотя бы англоязычную поддержку.
  • Доля Великобритании резко упала, равно как и общее количество размещенных там российских сайтов. Одна из возможных причин - передислокация какого-то крупного хостера, работавшего на российский рынок.
  • Из прочего, отметим Украину, нарастившую втрое долю своего присутствия на российском рынке хостинга.

География: помимо хостинга

Сайты, не попавшие в хостинговые сети в нашем определении - это либо сайты, размещаемые прямо в офисах компаний, либо очень маленькие хостинговые площадки (менее 80 сайтов в одной сети /24). Всего такие сайты попали в 21 389 разных сетей класса C (хостинг гораздо менее распределен, хостинговых сетей всего 1 036). В таблице ниже приведено географическое распределение таких сайтов (в таблицу включены страны и регионы с долей более 0.1%)

Регион Кол-во доменов
(март 2008)
Доля в марте 2008 г.
(от всех доменов)
Доля
в марте 2007 г.
Доля
в марте 2006 г.
Россия 74 231 7.42 10.7 16.9
в том числе  
Москва 38 895 3.88 5.6 8.9
Санкт-Петербург 7 812 0.78 1.09 1.53
Екатеринбург 2 752 0.27 0.40 0.65
Новосибирск 1 803 0.18 0.27 0.45
Красноярск 1 105 0.11 0.15 0.22
Челябинск 1 045 0.10 0.19 0.30
США 25 437 2.54 2.58 2.98
Германия 8 214 0.82 0.85 0.82
Нидерланды 2 142 0.21 0.17 0.16
Украина 1 730 0.17 0.16 0.12
в том числе Киев 1 242 0.12 0.14 0.10
Великобритания 1 317 0.13 0.23 0.29

Как и в прошлом году, мы видим две тенденции:

  • Хостинг "у себя" (не на хостинговой компании) в России непопулярен. Количество сайтов, размещенных в российских регионах не у хостеров, - практически не растет. Доля их, соответственно, падает за счет роста Рунета.
  • Хостинг "за рубежом, но не у хостеров" практически не меняет своей доли (из заметных в рейтинге стран, значимо доля упала только у Великобритании, но это 0.1% от всего рунета). При анализе этого факта необходимо учитывать, что размещение сайта на зарубежном хостере, который малоизвестен в россии (менее 80 сайтов) приведет к тому, что он попадет в обсуждаемую сейчас таблицу, а не в таблицу с крупными хостингами.

Заключение

  1. Количество сайтов в Рунете продолжает расти. Ежегодный прирост составляет 60-66% (для разных показателей цифры несколько разные). За прошедшие 12 месяцев прирост общего количества доменов чуть выше среднего (68%), что может быть объяснено удешевлением регистрации в домене .SU, который вырос за год впятеро.
  2. Количество работающих сайтов выросло менее значительно, чем за предыдущий период исследования (57% против 65%), таким образом часть доменов просто резервируется на всякий случай.
  3. Наиболее серьезные изменения произошли на рынке хостинга:
    • Среди Top-10 лидеров хостинга половина - новые. Среди пяти компаний, участников Топ-10 и в прошлом и в этом году, только у одной выросла рыночная доля. Еще у двух компаний - прирост количества размещенных доменов, но росли они медленнее рынка. У двух оставшихся - падение общего числа размещенных доменов, измеряемое десятками процентов.
    • Среди новичков рейтинга - две германские компании. Одна из них попала на второе место рейтинга за счет размещенного на ее мощностях сервиса паркинга доменов. Вторая - за счет реального хостинга.
    • Из вышесказанного следует, что начался массовый отток клиентов хостинговых компаний за пределы России. На середину марта 2008 года более четверти всех сайтов располагается за пределами РФ, год назад таких было около 15%. В абсолютных цифрах разница еще больше, ибо 15% год назад - это около 100 тысяч сайтов, а четверть сегодня - это 250 тысяч сайтов.
    • По всей видимости, причины оттока клиентов экономические и технические. Во-первых, лидеры рынка подняли цены и московский хостинг перестал быть экономически привлекательным, европейские предложения гораздо интереснее. Во-вторых, весь 2007-й год наблюдались проблемы в крупнейших московских датацентрах (со свободным местом, с электропитанием, с охлаждением), что не прибавляло клиентам ощущения стабильности.
  4. Вместе с тем, доля сайтов, размещенных на хостингах (а не в офисах и небольших площадках) продолжает уверенно расти и приблизилась к 90%.

Обсудить этот текст, задать вопросы, похвалить и поругать автора можно в комментариях к анонсу в блоге автора.

Indexed: Ap:2010-11-01 20:49 |  G:2016-09-26 22:13 |  MSN:2011-07-23 00:04 |  R:2011-06-16 01:09 |  Yah:2016-09-26 10:38 |  Я:2013-08-30 06:14