Рунет в марте 2006 года: домены, хостинг, география сайтов

Данные

Использованные при анализе данные получены при сканировании головных страниц сайтов рунета, расположенных в поддоменах второго уровня доменов .RU и .SU. Таким образом, сайты в доменах .com,.info и так далее в исследование не попали, равно как и сайты на доменах третьего и более уровней.

Сканирование проводилось 10 марта 2006 года с машины расположенной в RTComm, нельзя исключить возможности того, что часть Рунета с этой площадки недоступна.

Домены и веб-сервис

На 10 марта 2006 года в доменах .RU и .SU были зарегистрированы почти 490 тысяч доменов (по данным stat.nic.ru). В рамках исследования, имелась доступ только к информации DNS, которая оказалась следующей:

Характеристика	Количество
Делегировано доменов (записей NS в DNS)	425 596
Хост www.domain.ru или domain.ru имеет адрес (запись A в DNS)	399 815
www.domain.ru или domain.ru отвечают по HTTP	387 470
IP-адресов на которых работают WWW-сервисы	51 591

Как видим, у 91% делегированных доменов есть свой работающий WWW-сервис. Это довольно высокий показатель, скажем в 1999-м живые сайты были примерно у половины доменов, а в сентябре 2005 года - у 81% делегированных доменов. 90% этот показатель достиг в декабре 2005 года и с тех пор меняется мало.

В среднем, на одном IP-адресе, отвечающем по HTTP, расположено около 8 доменов. Два года назад этот показатель был равен 6. Такой рост "количества сайтов на одном адресе" может быть связан с несколькими тенденциями:

захват доменов "впрок" и парковка их на одном сервере
все больший перевес виртуального (дешевого) хостинга, переезд сайтов-визиток с бесплатных доменов в .RU
Создание большого количества зеркал (разных написаний одного и того же домена) под проект.

Какие из этих тенденций являются основными, еще предстоит определить.

Кто отвечает по HTTP

Используемое для веба программное обеспечение распределилось таким образом:

Тип сервера	Доля
Apache	81%
в т.ч. Apache 2.x	9.4%
в т.ч. Apache 1.x	63.1%
в т.ч. Russian Apache	18%
nginx	9.8%
Microsoft IIS	7.0%
в т.ч. IIS-6	4.2%
в т.ч. IIS-5	2.7%

Как отвечают по HTTP

HTTP-коды распределились таким образом (проценты от всех HTTP-ответов):

Код ответа	Доля	Комментарий
200-206	95.5%	Нормальный HTTP-ответ
403	2.9%	Сайт закрыт паролем
4xx	0.8%	Другие ошибки
404	0.6%	На сайте нет даже первой страницы
3xx	0.2%	Бесконечный цикл редиректов

Удивляет большое количество закрытых паролем сайтов. Доля неработающих по разным причинам сайтов невелика, однако их более 6 тысяч. Это больше, чем вообще сайтов в Рунете шесть лет назад.

Типы содержания (content-type) распределены так:

Тип ответа Доля

HTML 99.75%

WAP 0.18%

Остальные типы не стоят внимания

Все абсолютно предсказуемо. Раз интернет, значит подавляющее количество сайтов - HTML-ные. Единичные сайты имеют графическую или flash стартовую страницу, около сотни - текстовую (не HTML).

Около 3% сайтов выдают в качестве главной страницы HTML-код, который не содержит никакого видимого пользователем текста и гиперссылок. Только картинка или flash-заставка или просто пустой HTML.

Хостинг

Определения

Точного определения "хостинга" не существует, поэтому придется придумать свое. "Хостер" характеризуется тем, что предоставляемые им ресурсы имеют близкие IP-адреса (из одного блока адресов). Следовательно, хостинговую сеть легко отличить по тому, что много разных WWW-серверов имеют похожие IP.

Если поделить все адресное пространство на блоки по 256 адресов ("сеть класса C"), то для выделения хостеров можно использовать такие критерии.

В блоке много WWW-серверов (независимо от количества используемых адресов)

В блоке много IP-адресов, используемых под WWW.

Анализ всех адресов WWW-серверов (в доменах второго уровня под .RU и .SU) показал, что второй критерий показательным не является (изменение его в широких пределах не приводило к заметному изменению количества WWW-серверов, выделяемых как "хостящиеся").

В свою очередь, первый критерий весьма значим. Можно провести две условные границы:

В блоке /24 ("класс С") более 900 WWW-серверов. Этот критерий выделяет массовый виртуальный хостинг (64 блока в которых находится 206 тыс. сайтов). Увеличение уровня отсечки на десятки процентов не приводит к заметному падению числа выделяемых блоков.
В блоке /24 порядка 100 серверов. Этот лимит не имеет заметного порогового значения, с уменьшением порога увеличивается количество выделяемых в качестве "хостеров" серверов и сетей. В качестве порогового удалось найти порог "80", при изменении его на 10% количество выделяемых "хостинговых" WWW-серверов меняется менее чем на 3%.

Второй порог позволяет построить "рейтинг услуг хостинга" (чтобы быть полностью корректным, "рейтинг услуг хостинга для доменов 2-го уровня в TLD .RU и .SU").

В качестве "хостеров" в данном исследовании рассматриваются автономные системы, в которых расположены хостинговые сети (автономная система, в первом приближении, это собственное адресное пространство хостера).

Другими словами, те хостинговые компании, которые арендуют адресное пространство у более крупных провайдеров (аплинков), либо просто являются дилерами под своей торговой маркой, в исследование не попали. Вместо этого "хостерами" названы их аплинки. Это сделано намеренно - игроки рынка без собственного адресного пространства несамостоятельны, не могут быстро сменить датацентр, внешние каналы и так далее.

Хостеры

В соответствии с описанными выше критериями, можно построить следущую таблицу ("Top10 хостеров"):

Количество доменов	Автономная система	Хостинговая компания
51 117	AS8342	РТКомм.РУ
50 012	AS25532	.masterhost
20 983	AS30943	Utransit (бывш. Valuehost)
17321	AS20848	РБК
14 860	AS8402	Корбина
13 505	AS2118	Релком
12 878	AS6903	Zenon N.S.P.
11 881	AS3216	Golden Telecom
9 398	AS30968	Infobox
8 781	AS20597	Eltel
312 871	Всего на хостингах

Изменение уровня "отсечки", по которому выделяются хостинговые сети, вдвое в любую из сторон не меняет порядка следования компаний в рейтинге, хотя и меняет абсолютные показатели. Подсчет рейтинга по всем сетям поднимает GoldenTelecom на две позиции (за счет WWW-серверов, расположенных у клиентов данного провайдера).

Хочется особо подчеркнуть: это рейтинг хостеров по единственному показателю - количеству размещенных доменов второго уровня в .RU и .SU. По другим метрикам (количеству доменов вообще, трафику, количеству клиентов и так далее) рейтинг будет другим. Первое место РТКомм.РУ объясняется большим количеством хостеров-клиентов (без своего адресного пространства) у этого оператора, ибо массовых услуг хостинга сам РТКомм не оказывает.

Если рассматривать только работающие (доступные) WWW-серверы, то рейтинг не изменяется, что неудивительно т.к. подавляющее количество (более 95%, см. выше) WWW-серверов отвечает на запросы.

География хостинга

По отобранным на предыдущем этапе WWW-серверам можно построить их географическое распределение:

Регион		количество доменов
Россия		290 363
в том числе
	Москва	238 213
	Санкт-Петербург	39 265
	Екатеринбург	3 311
	Новосибирск	1 907
	Пермь	757
	Уфа	691
	Нижний Новгород	652
	Самара	573
	Челябинск	496
	Ростов	416
США		10 602
Великобритания		6 797
Германия		1 105
Норвегия		1 068
Украина		919
Люксембург		760
Канада		362
Дания		270
Франция		180

Никаких неожиданностей, Москва-Питер-далее везде для России, основной зарубежный хостинг в США и Англии.

География

Не менее показательно географическое распределение WWW-серверов, не попавших в крупные хостерские сети (для зарубежных хостинговых компаний непопадание означает то, что они не ориентированы на российский рынок и 80 российских доменов в одном блоке /24 у них не набирается). В данную таблицу вошли те страны, где расположено более 200 таких (.RU/SU) WWW-серверов,

Регион		количество доменов
Россия		6 5556
в том числе
	Москва	34 304
	Санкт-Петербург	5 940
	Екатеринбург	2 516
	Новосибирск	1 733
	Ростов	1 264
	Челябинск	1 150
	Самара	1 074
	Красноярск	854
	Краснодар	823
	Нижний Новгород	751
	Казань	751
США		1 1539
Германия		3 187
Великобритания		1 141
Нидерланды		619
UA		461
в том числе
	Киев	405
	Харьков	18
	Одесса	10
Чехия		439
Франция		343
Канада		329
Швейцария		297
Италия		283
Австрия		253
Швеция		252
Дания		247
Польша		243

Для российских регионов попадание в этот рейтинг означает одно из двух

Условия доступа в интернет таковы, что держать WWW-сервер не на хостинге экономически оправданно
Заметных хостеров (попавших в рейтинг хостеров) в регионе нет.

Для зарубежных стран хочется считать, что данный рейтинг отражает "непромышленный" перенос доменов заграницу, вместе с эмигрантами и/или бизнесом.

Благодарности

Географические рейтинги построены с помощью географической базы данных, разрабатываемой в компании «Ашманов и Партнеры»

Автор благодарит Александра Гагина за неизменно превосходные идеи.

Неоценимый вклад в объяснение причин лидирования РТКомм в рейтинге хостеров внес Владимир Ермаков (в прошлом сотрудник РТКомм.РУ).