Рынок ссылок в Рунете: распределение бюджетов по тематикам

Содержание

1. Введение
2. Предпосылки и предположения
3. Данные и методика исследования
4. Результаты
5. Заключение

Введение

На сегодняшний день содержательные действия по «продвижению сайтов в поисковых системах» преимущественно сводятся к расстановке ссылок на продвигаемый сайт. Эти ссылки могут быть получены разными способами: простым или кольцевым обменом ссылками, размещением информации в каталогах сайтов, покупкой. Во многих случаях, единственным способом получить ссылку с авторитетного сайта с нужным текстом на сайт клиента является покупка платной ссылки.

Рынок ссылок в Рунете уже сформировался: есть продавцы (продают ссылки не менее десятков тысяч сайтов), есть покупатели (тоже не менее десятков тысяч сайтов), есть посредники. Размер рынка составляет, по оценке автора, миллионы долларов в месяц.

Естественно, в разных тематических областях наблюдается различная конкуренция. Большинство SEO-специалистов знают про наиболее дорогие запросы («кондиционеры», «пластиковые окна», «продвижение сайтов») и тематики (те же кондиционеры и пластиковые окна, недвижимость, автомобили), многие оптимизаторы сталкивались с конкуренцией по достаточно широкому кругу запросов. В то же время, систематических исследований тематики продвигаемых сайтов, насколько известно автору, не проводилось. В данной статье сделана попытка исправить это упущение. Считать деньги в чужом кармане — очень интересное занятие, поэтому анализ тематик проводился исходя из бюджетов на продвижение.

Предпосылки и предположения

Чтобы получить полные данные по ссылочной структуре Интернета (или только Рунета) необходимо выкачать все страницы всех сайтов (или только русскоязычных — для Рунета). Это большая задача, которая требует для решения заметных ресурсов (только для Рунета речь идет о первых миллиардах страниц, которые нужно выкачивать, хранить и анализировать). В то же время, для сравнения бюджетов будут вполне достаточны оценки, полученные по части страниц.

До относительно недавнего времени, основные ссылочные бюджеты тратились на «морды» (главные страницы сайтов). В последнее время это стало ощутимо меняться: активно продаются и покупаются и ссылки на внутренних страницах сайтов сформировался рынок. Однако «ссылки с морд» никуда не делись, что позволяет сформулировать следующее предположение:

Соотношение бюджетов, потраченных на ссылки с главных страниц адекватно отображает соотношение бюджетов на продвижение «в целом».

Для массовой оценки соотношения бюджетов нет необходимости анализировать все главные страницы всех сайтов:

Как и в предыдущих исследованиях, ограничимся главными страницами сайтов в доменах второго уровня в .RU и .SU

Стороннему наблюдателю неизвестны цены индивидуальных сделок по купле-продаже ссылок. В то же время существует несколько эмпирических формул расчета, основаных, например, на реальных ценах сделок в ссылочных биржах.

В нашем исследовании, как и раньше, будем использовать формулу Александра Кириллина, учитывающую три основных параметра: PageRank, ТИЦ и число ссылок с страницы.

Данные и методика исследования

Отбор исходных данных

В качестве исходных данных возьмем выкачку Черного Квадрата на 5 июня 2007 года, исключив оттуда две группы одинаковых дорвейных сайтов (партнерка sedoparking и крупнейший киберсквоттер). У нас останутся следующие данные:

• 598785 главных сайтов в доменах .RU/SU.
• Из них 309360 содержат хотя бы одну внешнюю индексируемую текстовую ссылку (всего 2651794 ссылок).

Если формально подсчитать ссылочный бюджет всех ссылок, он составит 11.3 млн. долларов.

Как и в предыдущих исследованиях, выберем (достаточно произвольные) критерии, позволяющие подозревать сайт в продажности:

• от 5 до 50 внешних ссылок;

• ненулевой PageRank или ТИЦ или оба (в противном случае расчет цены ссылки по выбранной методике дает нуль);
• степень разнообразия внешних ссылок (отношение числа доменов на которые ссылаемся к числу ссылок) более 0.5.

После наложения этого фильтра в выборке остаются:

• 54216 главных страниц сайтов;
• на которых содержится 629929 ссылок;
• эти ссылки ведут на 179701 страницу на 123702 сайтах;
• суммарный месячный ссылочный бюджет для этих ссылок равен 4.3 млн. долларов.

Страницы, на которые ведут вышеуказанные ссылки были выкачаны. Точнее говоря, удалось выкачать 168011 страниц (доступность 93.5%, что несколько выше чем средняя доступность сайтов Рунета), остальные дали ошибку при выкачке. В процессе выкачки обрабатывалось до 4-х редиректов (HTTP-редиректы и <metarefresh>).

Определения тематики страниц и ссылок

Для определения тематики страниц и ссылок была использована программа «Семантическое Зеркало», разработанная компанией «Ашманов и Партнеры». Эта программа классифицирует тексты на основании вхождения в них ключевых слов и словосочетаний. В использованных базах данных содержалось:

• более 2000 рубрик, объединенных в дерево;
• 275 тысяч терминов для классификации текстов страниц;
• 271 тысяча терминов для классификации текстов ссылок («сверхкоротких текстов» по определению авторов базы данных).

В общем случае, для каждого текста страницы или ссылки может быть определено несколько тематик, процедура распределения бюджета по тематикам описана ниже.

Распределение бюджетов по тематикам

Тематика ссылок
В наиболее общем случае, на страницу ведет несколько ссылок, каждая из которых может иметь одновременно несколько тематик (например ссылка с текстом «iPod Nano и MacBook Pro недорого» получит тематики «Электроника/MP3-плейеры» и «Компьютеры»). Каждая ссылка имеет свою стоимость (месячный бюджет), которая определяется параметрами страницы, где расположена ссылка.

Тематика страниц
Как и ссылки, страницы могут иметь несколько тематик (например, головная страница интернет-магазина с карточками спецпредложений в общем случае имеет несколько тематик, соответствующих продаваемым товарам).

Для части страниц тематика не может быть определена, например по той причине, что страницу не удалось выкачать. В этом случае тематика страницы составлялась сложением списков тематик ведущих на нее ссылок (таких страниц немного, см. раздел «полнота и точность» ниже).

Таким образом, для каждой пары ссылка-страница мы имеем:

• стоимость ссылки (в долларах в месяц);
• список тематик для текста ссылки;
• список тематик страницы;

• Тематики, определенные для текста ссылки получали вес 1.
• Тематики, определенные для текста страницы получали вес 3 (если тематика определена и для страницы и для ссылки, то она получает вес 4, соответственно).
• Стоимость ссылки распределялась по тематикам пропорционально весам.

Таким образом, сумма бюджетов по всем рубрикам равна суммарному ссылочному бюджету всех ссылок.

Для рубрик верхнего уровня бюджеты получались сложением бюджетов вложенных рубрик.

Результаты

Полнота и точность определения тематик

Полнота
Из 168 тысяч выкачаных страниц (из общего числа 190 тысяч), тематика была определена для 130 тысяч (полнота 77%). Из 630 тысяч ссылок тематика была определена для 447 тысяч (71%).

Как описано выше, тематика страницы может определяться как по ее тексту, так и по текстам входящих ссылок. Как оказалось, этот метод повышает полноту чуть более чем на 1% — если страницу не удалось выкачать, либо ее рубрику не получается определить, то и ссылки на нее стоят какие-то странные.

Таким образом полнота определения тематик составила 73%. если считать по количеству страниц.

Одновременно выяснилось, что на 27% страниц для которых тематика не определена ведет относительно немного недорогих ссылок. Если «взвесить» полноту на ссылочный бюджет, то картина меняется: 27% страниц с неизвестной тематикой отвечают за 14.5% ссылочного бюджета. Другими словами, полнота определения тематик «по ссылочному бюджету» — более 85%.

Точность
Для текстов ссылок авторы методики обещают уровень ошибок в пределах 2-3%, для длинных текстов точность еще выше. Можно предполагать, что уровень ошибок находится на уровне единиц процентов, выборочный ручной просмотр подтверждает данную гипотезу.

В случае продвижения сайта не по своей теме возникнет дополнительный шум, но отнести его к дефектам методики автор не может.

Тематики и бюджеты

Полученные результаты приведены в таблице ниже. Для каждой крупной тематики указан суммарный бюджет и количество продвигаемых в этой тематике сайтов. Для более мелких рубрик указан еще и максимальный бюджет одного сайта.

При анализе этих данных необходимо учитывать, что полученные бюджеты достаточно приблизительны по целому ряду причин:

• Рассматривались ссылочные бюджеты только с главных страниц, причем не всех сайтов. Реальные бюджеты сайтов будут выше за счет ссылок с неглавных страниц и с других главных.
• Сайт, продвигаемый по нескольким тематикам, разделит в нашей таблице свой бюджет между этими тематиками.
• На ряд сайтов ведут естественные ссылки за которые не платятся деньги, а их формальная стоимость (по формуле) может быть большой. Это наиболее существенно для тематик «Интернет» и «Компьютеры»
• Реальная стоимость ссылок может сильно отличаться от рассчитанной по формуле.
• Распознавание тематик документов и текстов ссылок может давать недостаточную полноту на отдельных рубриках (в результате будут занижены бюджеты по отдельным тематикам).

Другими словами, полученные автором цифры можно сравнивать между собой, но не стоит воспринимать как буквальное руководство к действию. По всей видимости, для наиболее конкурентных тематик оцененные нами бюджеты будут заниженными (из-за гонки бюджетов, участники рынка всерьез думают про экономию и меньше размещаются на дорогих главных страницах).

• Тематики — лидеры по бюджетам. Приведены все рубрики первого уровня и 3-6 рубрик второго уровня. В случае особенно выдающихся рубрик 3-го уровня (месячный бюджет на рубрику более 5-8 тыс $) приведены и они.
• Месячный бюджет на продвижение данной рубрики.
• Количество сайтов, для которых определилась тематика.
• Месячный бюджет на продвижение сайта — лидера по бюджету в данной рубрике. Многие сайты попали в несколько рубрик, бюджеты в этом случае разделены по процедуре, описанной выше.

Суммарный бюджет всех сайтов тематики и количество сайтов имеет смысл воспринимать как степень конкуренции между сайтами данной темы. Как правило, чем больше суммарный бюджет и количество сайтов, тем большие деньги тратит лидер (по бюджетам) в данной тематике.

Оптимизатор с опытом вряд-ли увидит в этой таблице много неожиданного. Для автора удивительными были, пожалуй, только абсолютные цифры: то что на пластиковые окна тратятся тысячи в месяц было известно, но не $7000 же. Еще удивляет, что «cтрахование» затерялось на фоне прочей экономики, а мобильные телефоны и сервисы — на фоне общекомпьютерно-электронной рубрики.

Заключение

Как мы видим, во многих тематиках бюджеты в тысячи долларов в месяц уже не редкость, ряд тематик вплотную подбирается к $10000 в месяц. Естественно, бюджет и результат — не синонимы, но, по всей видимости, продвигаемые сайты получают отдачу пропорциональную вложенным деньгам.

Хочется надеяться, что приведенная таблица поможет заказчикам SEO-услуг в планировании расходов, а SEO-специалистам — в выставлении счетов. На всякий случай еще раз напомню, что оценена себестоимость продвижения в случае покупки ссылок в розницу по средней цене.

Обсудить прочитанное, похвалить или поругать автора можно в комментариях к анонсу данной статьи в блоге автора.