Индексы цитирования сайтов Рунета

Цели, задачи и методы

На сегодняшний день авторитетность веб-сайта является очень важной его характеристикой: от авторитетности зависят позиции в выдаче поисковых систем, рекламные поступления сайтов и многое другое. Предложенная Google модель авторитетности сайта основывается на индексе цитирования: чем больше ссылаются на сайт, тем он авторитетнее и тем больший вес имеет ссылка с него на другой сайт.

Информацию об индексе цитирования можно получить непосредственно от поисковых систем:

• Google - доступны данные Google PageRank (PR) в виде целого числа от 0 до 10. Предположительно, значение PageRank непосредственно используется Google при ранжировании результатов. Google PageRank рассчитывается для каждой страницы (документа) интернет-сайта.
  Предположительно, величина PageRank является логарифмической т.е. увеличение ее на единицу означает рост цитируемости на порядок (возможно, двоичный).
• Yandex - доступна величина тИЦ (тематического Индекса Цитирования). По словам представителей Яндекса, тИЦ не влияет непосредственно на ранжирование в результатах поиска, с другой стороны в описании тИЦ указано, что попытки манипулирования им рассматриваются как манипулирование выдачей. тИЦ рассчитывается для отдельных сайтов (или для крупных разделов сайтов, описанных в Каталоге Яндекса). При расчете тИЦ используются только ссылки с сайтов, проиндексированных Яндексом.
  Судя по разбросу значений тИЦ, тематический индекс цитирования является суммой весов отдельных ссылок, не подвергнутой нелинейным преобразованиям.
• Webalta - доступна величина Webalta Rating (WR), правда принципы его расчета не опубликованы, что делает его неинтересным для настоящего исследования.

Задачами настоящего исследования были:

• Изучить распределение значений индексов цитирования для сайтов Рунета, покрываемых проектом Черный квадрат.
• Проверить гипотезу о том, что различные методики подсчета дают хорошо скоррелированные результаты.

Данные

• сайт имеет имя http://www.domain.ru(su) или http://domain.ru(su).
• сайт успешно ответил на HTTP-запрос к головной странице;
• сайт не является зеркалом другого сайта в доменах RU/SU.

Google PageRank в Рунете

Распределение величины Google PR для отобранных доменов выглядит следующим образом:

Google PageRank	Количество сайтов
9	1*
8	13
7	136
6	1 197
5	7 185
4	27 883
3	60 186
2	67 405
1	48 221
0	265 268

^* единственный сайт с PR=9 был создан специально для накачки PR как зеркало сайта php.net. После октябрьского пересчета Google индекса цитирования Google он имеет PR=3

Считается, что величина PageRank, отдаваемая Google в виде целого числа в диапазоне 0-10 — это логарифм истинного значения PageRank, используемого при ранжировании.

Анализ распределения PR по сайтам

Шум в области PR 0—2 объясняется, по всей видимости, округлениями величины PR после логарифмирования (см. ниже раздел об индексе цитирования Яндекса). Несмотря на шум, полином второго порядка (в логарифмических координатах) описывает получаемые данные с коэффициентом корреляции 0.98.

Яндекс.тИЦ

Распределение величин ТИЦ для рассматриваемых сайтов выглядит следующим образом:

Класс (logCY)	Диапазон значений ТИЦ	Количество сайтов
8	59 880—236 800	2
7	15 140—59 870	34
6	3 830—15 130	298
5	970—3 820	3 730
4	250—960	26 098
3	70—240	58 308
2	20—60	75 147
1	10	40 908
0	<10	272 969

Из таблицы видно, что логарифмирование исходно-линейного индекса цитирования приводит к шуму в области малых значений. В то же время, распределение сайтов по логарифмическим классам практически точно повторяет аналогичный график для PageRank (см. ниже).

Корреляция ТИЦ и PR

В области высоких значений индекса цитирования два графика распределения значимо расходятся (на диаграмме приведены графики полиномов второго порядка, описывающих, соответственно, распределение сайтов по PR и по ТИЦ, каждый из них имеет коэффициент корреляции с исходными данными на уровне 0.98). Как мы видим, количество сайтов с высоким ТИЦ падает быстрее, чем количество сайтов с высокими значениями PR. Это может объясняться рядом причин:

• Google строит индексы цитирования по всем WWW-страницам, а Яндекс - только по русскоязычному подмножеству. В результате, максимальный индекс цитирования по Яндексу будет меньше.
• Google учитывает все сайты одинаково (в соответствии с их весом, полученным при расчете PageRank). ТИЦ, согласно описанию учитывает тематическую близость. Тематическая близость, по всей видимости, определяется близостью рубрик каталога Яндекса. Таким образом, отсутствующий в каталоге сайт имеет меньше шансов получить высокий ТИЦ. При этом:
  • около половины сайтов с PR>4 отсутствуют в каталоге Яндекса;
  • но 3/4 сайтов с ТИЦ > 1000 присутствуют в каталоге.
  Другими словами, получить высокий ТИЦ труднее, чем высокий PR, а следовательно почетнее.

Медианные значения ТИЦ

Сравнивая данные индексов цитирования конкретного сайта с данной таблицей можно определить "международность" или "рунетность" данного сайта: у "более рунетного" сайта ТИЦ будет больше медианного.

Выводы

• Логарифмичность Google Toolbar PageRank можно считать доказанной.
• Высокий ТИЦ встречается в Рунете реже высокого PageRank, а значит высокий ТИЦ почетнее.

Благодарности