Рунет в марте 2007 года: домены, хостинг, география сайтов

Содержание

1. История исследования
2. Краткое содержание
3. Данные
4. Домены и веб-сервис
5. Хостинг
6. География: помимо хостинга
7. Заключение

История исследования

В 1998-1999-м годах автор выпускал регулярное исследование российского интернета «Russian Internet Survey» (RU-Survey). В 2000-м году это исследование было передано в компанию Рамблер, где оно вошло в состав проекта Руметрика. В Рамблере был проведен только один раунд RU-Survey (летом 2001 года), после чего развитие данной части Руметрики прекратилось.

Уже в 2001-м году проводить RU-Survey в полном объеме было тяжело: в рамках исследования делалась попытка выкачать головные страницы всех сайтов Рунета. Сейчас, по прошествии нескольких лет, сделать это усилиями частного лица практически невозможно: Рунет растет очень быстрыми темпами. Поэтому, в рамках обновленного проекта Черный Квадрат автор ограничился только сайтами, расположенными в поддоменах 2-го уровня в доменах .RU и .SU.

Первое исследование Рунета, близкое по идеологии к RU-Survey, но по ограниченному набору сайтов увидело свет год назад - в марте 2006 года. Сегодня мы проводим второй этап в том же формате.

Краткое содержание

В данной статье рассмотрены следующие параметры российского интернета:

• общее количество доменов, количество работающих сайтов;
• программное обеспечение, обслуживающее WWW-сайты;
• как отвечают на WWW-запросы: сколько ошибок, какие типы сайтов;
• хостинг: Top10 компаний, география хостинга;
• сайты не на массовом хостинге: сколько их, география.

Все параметры сравниваются с прошлогодними, это главное отличие от предыдущего исследования, которое делалось «с чистого листа»

Данные

Использованные при анализе данные получены при сканировании головных страниц сайтов рунета, расположенных в поддоменах второго уровня доменов .RU и .SU.

Сканирование проводилось 12-14 марта 2007 года с машины расположенной в RTComm, нельзя исключить возможности того, что небольшая часть Рунета с этой площадки недоступна.

Домены и веб-сервис

По данным stat.nic.ru, на 15 марта 2007 года в доменах .RU и .SU было зарегистрировано 793 тысячи доменов (рост за год на 61%). В рамках исследования, имелась доступ только к информации DNS, которая оказалась следующей:

Характеристика	Количество на март 2007	Количество на март 2006	Прирост за год
Делегировано доменов (записей NS в DNS)	698 759	425 509	64%
Хост www.domain.ru или domain.ru имеет адрес (запись A в DNS)	652 414	399 815	65%
www.domain.ru или domain.ru отвечают по HTTP	639 174	387 470	65%
IP-адресов на которых работают WWW-сервисы	68 188	51 591	32%

Мы видим достаточно любопытную картину:

• Количество делегированных доменов и количество сайтов с IP-адресом растет быстрее количества зарегистрированных (оплаченных) доменов. Следовательно, покупатели доменов пытаются их как-то использовать.
• При этом, неработающих сайтов стало заметно меньше, чем годом ранее (2% в 2007-м против 3% в 2006-м). Это может быть связано как с повышением качества хостинга, так и с общим пониманием владельцами доменов, что любой домен способен приносить деньги, даже если не используется по прямому назначению.
• Количество различных IP-адресов выросло сильно меньше, это косвенно свидетельствует о все большей распространенности виртуального хостинга. Год назад на один IP-адрес приходилось чуть менее 8 сайтов, в марте 2007 уже более 9.

Кто отвечает по HTTP

Используемое программное обеспечение распределилось следующим образом

Тип сервера	Доля в марте 2007	Доля в марте 2006
Apache	58%	81%
в т.ч. Apache 2.x	11.3%	9.4%
в т.ч. Apache 1.x	47.3%	63.1%
в т.ч. Russian Apache	11.4%	18%
nginx	22.7%	9.8%
IIS	5.8%	7.0%
в т.ч. IIS6	4.3%	4.2%
в т.ч. IIS5	1.45%	2.7%

К этой таблице нужно относиться с учетом того, что Рунет вырос, падение доли меньше чем в 1.6 раза соответствует росту количества инсталляций.

• Поздравим Игоря Сысоева, автора nginx. Его web-сервер увеличил «рыночную» долю в 2.3 раза, что соответствует росту числа установок почти в 4 раза. Nginx рос за счет, в первую очередь Apache. Понятно, что сам Apache никуда не делся, в большинстве случаев его просто спрятали от внешнего мира за nginx, используемый как frontend-сервер.
• Apache: доля упала, но меньше чем рост Рунета, следовательно число общих установок выросло. Apache 2.x постепенно наращивает свою долю, хотя и очень медленно (альфа-версии Apache 2.0 датируются 2000-м годом).
• Russian Apache стабилизировался по числу установок, горе автору: 60 тысяч www-серверов требуют хоть какой-то поддержки.
• Оставшиеся 13.5% - это прочие, среди них нет каких-то лидеров, заметных на фоне даже IIS.

Как отвечают по HTTP

Можно с удовлетворением отметить, что за год ничего существенно не изменилось. Ну разве только добавилось несколько тысяч сайтов, зацикливающих веб-роботов.

Типы содержания (content-type) распределены так:

Тип ответа	Доля в марте 2007 г.	Доля в марте 2006 г.
HTML	99.8%	99.75%
WAP	0.13%	0.18%
Остальные типы не стоят внимания

Доля WAP-сайтов (среди www.domain.ru) упала общее количество чуть-чуть выросло, других изменений нет.

Хостинг

Будем использовать прошлогоднее определение, чтобы сравнивать одинаковые показатели:

Точного определения «хостинга» не существует, поэтому придется придумать свое. «Хостер» характеризуется тем, что предоставляемые им ресурсы имеют близкие IP-адреса (из одного блока адресов). Следовательно, хостинговую сеть легко отличить по тому, что много разных WWW-серверов имеют похожие IP.

Критерий выделения «хостинговой сети» тоже совпадает с прошлогодним: 80 и более WWW-серверов в одном блоке IP-адресов «класса C».

И еще одна цитата из прошлогоднего исследования:

В качестве «хостеров» в данном исследовании рассматриваются автономные системы, в которых расположены хостинговые сети (автономная система, в первом приближении, это собственное адресное пространство хостера). Другими словами, те хостинговые компании, которые арендуют адресное пространство у более крупных провайдеров (аплинков), либо просто являются дилерами под своей торговой маркой, в исследование не попали. Вместо этого «хостерами» названы их аплинки. Это сделано намеренно - игроки рынка без собственного адресного пространства несамостоятельны, не могут быстро сменить датацентр, внешние каналы и так далее.

Количество доменов	Автономная система	Хостинговая компания	Позиция в рейтинге в 2006	Рост за год	Примечания
138 136	AS25532	.masterhost	2	+176%
47 445	AS8342	РТКомм.РУ	1	-7%	В данные не включена компания Agava, получившая свою AS. С ней рост был бы +53%
31 983	AS40966+AS30943	Utransit	3	+56%
31 013	AS39561	Агава			В прошлом году была посчитана внутри РТКомм.РУ
20 608	AS3216	Golden Telecom	8	+73%
18 292	AS2118	Релком	6	+35%
17 776	AS30968	Infobox	9	+89%
16 210	AS8402	Корбина	5	+9%
15 804	AS20597	Eltel	10	+80%
14 612	AS35569	Peterhost
538 213		Всего на хостингах		+72%

По сравнению с прошлым годом, состав участников рейтинга практически не изменился, за небольшими исключениями: РБК в Топ10 больше не входит (было 4-е место), но появились компании Агава (сразу на 4-м месте) и Peterhost.

Однако количественные изменения весьма велики:

• Компания .masterhost совершила феноменальное расширение пользовательской базы, почти втрое, это при росте рынка на 72%.
• Ближайший конкурент (будем условно считать им РТКомм.РУ+Агава, чтобы корректно сравнивать показатели за два года) отстал почти в два раза, хотя в прошлом году обходил на четверть корпуса.
• Общий рынок хостинга рос быстрее Рунета: клиенты поняли, что оборудованные датацентры и круглосуточные дежурства операторов надежнее, чем сервер в подсобке.

И еще одна цитата из прошлогоднего исследования:

Хочется особо подчеркнуть: это рейтинг хостеров по единственному показателю - количеству размещенных доменов второго уровня в .RU и .SU. По другим метрикам (количеству доменов вообще, трафику, количеству клиентов и так далее) рейтинг будет другим.

География хостинга

Построим географическое распределение хостингов (определение хостинговой сети - такое же, как в предыдущем разделе):

Регион	Кол-во доменов в 2007 г.	Доля в 2007 г. (%)	Доля в 2006 г.(%)	Изменение доли за год (%)
Всего в хостинговых сетях	538 213	84.20	80.75	3.46
Россия	477 700	74.7	74.9	-0.20
в том числе
Москва	388 985	60.9	61.5	-0.62
Санкт-Петербург	68 750	10.8	10.1	0.62
Екатеринбург	5 346	0.84	0.85	-0.02
Тула	3 084	0.48	н.д.	н.д.
Новосибирск	1 947	0.30	0.49	-0.19
Нижний Новгород	1138	0.18	0.17	0.01
Пермь	951	0.15	0.20	-0.05
Уфа	894	0.14	0.18	-0.04
Челябинск	616	0.10	0.13	-0.03
Самара	602	0.09	0.15	-0.05
Ростов	569	0.09	0.11	-0.02
Великобритания	24 769	3.88	1.75	2.12
США	20 612	3.22	2.74	0.49
Германия	5 941	0.93	0.29	0.64
Норвегия	1 983	0.31	0.28	0.03
Люксембург	1 844	0.29	0.20	0.09
Украина	1 770	0.28	0.24	0.04
Канада	880	0.14	0.09	0.04
Нидерланды	556	0.09	0.09	0.00
Франция	470	0.07	0.05	0.03
Дания	454	0.07	0.07	0.00

Изменения географического рейтинга относительно небольшие. Можно отметить среди прочего:

• Появление Тулы на четвертом месте в рейтинге российских городов. Хочется надеяться, что это - начало заметного регионального тренда, ситуация когда трафик в двухстах километрах от Москвы стоит почти как на Луне - ненормальна.
• Великобритания вышла на первое место среди зарубежных хостеров для России, на втором месте - США. Судя по цифрам изменений, иностранцы подъедают российские регионы за пределами первой десятки, нет ни одной иностранной державы, доля которой (в хостинге Рунета) упала.

География: помимо хостинга

Построим теперь таблицу географического распределения сайтов, не попавших под наше определение хостера. В таблицу включены страны и регионы с долей более 0.1%:

Регион	Кол-во доменов (март 2007)	Доля в марте 2007 г. (от всех доменов)	Доля в марте 2006 г.	Количество в марте 2006 г.
Россия	68 700	10.7	16.9	65 556
в том числе
Москва	35 894	5.6	8.9	34 304
Санкт-Петербург	6 962	1.09	1.53	5940
Екатеринбург	2 554	0.40	0.65	2 516
Новосибирск	1 740	0.27	0.45	1 733
Челябинск	1 192	0.19	0.30	1 264
Ростов	1 073	0.17	0.33	1 150
Самара	966	0.15	0.28	1 074
Красноярск	930	0.15	0.22	854
Нижний Новгород	769	0.12	0.19	751
Краснодар	708	0.11	0.21	823
Казань	700	0.11	0.19	751
США	16 487	2.58	2.98	11 539
Германия	5 448	0.85	0.82	3 187
Великобритания	1 491	0.23	0.29	1 141
Нидерланды	1 112	0.17	0.16	619
Украина	1 042	0.16	0.12	461
в том числе Киев	870	0.14	0.10	405

Как мы видим, порядок следования стран и регионов в рейтинге практически не изменился. Нл если присмотреться не к порядку следования, а к абсолютным цифрам, мы увидим такие закономерности:

• численный прирост количества сайтов по российским регионам крайне невелик (несколько отличаются только Москва и Санкт-Петербург) или и вовсе отрицателен.
• прирост количества сайтов не в России - более-менее отвечает темпам прироста размеров рунета, доля колеблется, но не очень сильно.

Другими словами, размещать сайт «у себя» (а не на хостинге) сейчас нет никаких причин. Но и трогать сайт, уже расположенный «у себя» тоже нет причин.

Заключение

1. Исследование показало наличие стабильности: никаких резких движений за год не случилось.
2. Наиболее значимое «событие» — медленное вытеснение сайтов к хостинг-провайдерам и, в минимальной степени, за границу.

Обсудить этот текст, задать вопросы, похвалить и поругать автора можно в комментариях к анонсу в блоге автора.