Каталоги умирают?

Тенденции развития современного Интернет

на страницах сайта 

www.electrosad.ru

Несколько лет назад прошла информация от Google о прекращении ведения компанией своего каталога. Сначала появилась информация, что каталог остался существовать, по взаимному соглашению Google и DMOZ в каталоге Google стали использовать базы каталога DMOZ, а через некоторое время вместо странички каталога появилось предложение воспользоваться каталогом DMOZ.

 

 

Сейчас, при обращении к каталогу Google, выводится экран сообщения об ошибке, с надписью:

 

Рисунок 1

 

Которую можно перевести: «Требуемый URL/dirhp?hl=ru не был найден на этом сервере. Это все мы знаем.»

А, при вводе в Google поискового запроса "Каталог Google" в первой строке предлагаемых ссылок мы видим:

 

Рисунок 2

 

В остальных ссылках обсуждения причин ликвидации Каталога Google.

По всем признакам Google прекратил поддерживать свой каталог в любом виде и убрал все что оставалось с серверов.

 

DMOZ декларирует себя как каталог каталогов.

Он имеет иерархическую структуру и языковые ветки на 86 (в том числе Русском) языках и документацию на 17 (без русского языка). Отбор сайтов осуществляют редакторы - добровольцы со всего мира, имеющие определенные знания в тех или иных областях. Каталог DMOZ является открытым для всех ресурсов, и каждый, кто желает помочь развитию проекта, может стать его сотрудником.
 

 

Но похоже последнее время это только декларации, реальную ситуацию я описал в статье «Былая слава DMOZ и его «Русская ветка», Попытка разобраться».

 

Здесь можно сказать несколько слов о моих впечатлениях о современных каталогах

Внимательно наблюдал за DMOZ в течении последних 5-8 лет, и все время у меня нарастало чувство неудовлетворенности и желания помочь этому каталогу, по крайней мере в части его "Русской ветки". Но общение с редакторами только усилило впечатление.

Ранее широко известный и популярный каталог DMOZ (называющий себя ODP - Open Directory Project, принадлежит компании AOL LLC - бывшая America Online, Inc.) находится в стагнации, особенно это заметно на его русской ветке. Там царит анархия (отсутствие наследования структуры разделов основного каталога) и нежелание работать прикрытое правилами (предлагаемые сайты рассматриваются неделями и месяцами). Редакторское сообщество превратилось скорее в клуб избранных (элитный — потому что не смотря на множество вакансий редакторов они пустуют, и туда не допускаются чужаки). А редакторы Русской ветка совсем забыли о продвижении в мировой Интернет Российского сегмента. Каталог сайтов — как позиционирует себя DMOZ, наводнен не сайтами, а ссылками на статьи (иногда не первой свежести).

Возможно в результате этого в блоге редакторов DMOZ http://www.russiandmoz.ru/ размещено сообщение:

 

Временно на блоге “Русский DMOZ” отключено комментирование материалов. В настоящий момент невозможно задать вопросы редакторам или принять участие в дискуссиях.
О возобновлении работы актуальных рубрик будет объявлено дополнительно.

 

Это и мое общение с первопроходцем Российского Интернет — АПОРТ'ом и некоторыми другими популярными каталогами оставило самое негативное впечатление.

Все более усиливается ощущение, что имеет место тенденция потери значения каталогов.

 

Попробую оценить тенденции развития каталогов и как более совершенных их конкурентов - поисковых систем

 

Каталоги

Многие каталоги вначале были платными, но наиболее дальновидные владельцы через некоторое время сделали свои каталоги бесплатными (используя для получения дохода рекламу), в настоящее время начинает угасать интерес и к бесплатным каталогам.

Посмотрим статистику каталогов Интернет ресурсов.

Существующие глобальные каталоги:

  • Open Directory Project, также известный как DMOZ.
  • Каталог Yahoo!
  • AboutUs.org

Русскоязычные каталоги:

  • Каталог@mail.ru
  • Яндекс.Каталог
  • Wapalta
  • RIN
  • Tooby.Каталог
  • Aport.Каталог
  • Amiso

 

По статистике моего сайта переходы из каталогов распределяются следующим образом:

 

Каталог Доля
top.mail.ru 55.56%
 top100.rambler.ru 33.33%
top.hotlog.ru 11.11%
yaca.yandex.ru 0.00%
liveinternet.ru/rating/ru 0.00%

 

Обращает на себя внимание тот факт, что в моей статистике основная масса переходов осуществляется из каталогов — рейтингов, осуществляющих оценку интереса к сайтам, где сайт занимает не последнее место.

В каталоге Яндекс и Аппорт владельцами допускается бесплатная регистрация, но реально она не выполняется. Для того чтобы убедится в этом, надо просто попытаться зарегистрировать ресурс по бесплатной регистрации или посмотреть их статистику. Каталоги практически прекратили увеличиваться, и это при бурном росте Российского сектора Интернет.

 

Поисковые системы

В самом начале, когда поисковые системы только разрабатывались, основным источником информации для них служили каталоги. Поэтому все первые поисковые системы имели свои каталоги.

Прошло время, поисковые системы развились и завоевали свое место на просторах Интернет. Постепенно поисковые системы обзавелись продвинутыми технологиями и алгоритмами, которые собирают информацию не только по тегам страниц сайтов и статей, но и ведут полнотекстовый индекс и анализ содержимого сайтов и статей и выявляют несоответствие тегов содержанию. Насколько я знаю, теперь теги используются только в служебных целях, а индексируются сайты по содержимому. Так что теперь манипулировать тегами в целях накрутки рейтинга сайта - только трата времени.

По данным компании Net Applications, в январе 2011 года использование поисковых систем в мире распределялось следующим образом:

 

Поисковые системы Доля
Google  84,65 %
Yahoo! 6,69 %
Baidu  3,39 %
Bing 3,29 %
Ask 0,56 %
AOL 0,42 %

 

Русскоязычные поисковые системы (они работают на многих языках — украинском, белорусском, английском, татарском и др). Отличаются же они от «всеязычных» систем, индексирующих все документы подряд, тем, что в основном индексируют ресурсы, расположенные в доменных зонах с доминирующим русским языком.
Данные LiveInternet об охвате русскоязычных поисковых запросов разными поисковыми системами:

 

Поисковые системы Переход из поисковых систем, по данным статистики electrosad.ru
(сайт на русском языке)
Всеязычные:
  • Google - 37,2 %
  • Bing - 0,8 %
  • Yahoo - 0,2 %
    с поисковыми машинами: Inktomi, AltaVista, Alltheweb
yandex - 50.50%

google - 44.27%

mail - 2.41%

images.google - 1.21%

rambler - 0.6%

nigma - 0.4%

yahoo - 0.4%

qip - 0.2%

bing - 0.00%

images.yandex - 0.00%

icq.com - 0.00%

Англоязычные и международные:
  • AskJeeves - 5%
Русскоязычные
  • Яндекс - 48,1 %
  • Mail.ru - 5,9 %
  • Рамблер - 1,2 %
  • Нигма - 0,3 %

0.00% - не отсутствие переходов, это не более 10 переходов.

 

Как Вы видите данные моего сайта и LiveInternet коррелируют, разница определяется скорее спецификой состава посетителей.

 

Еще в те времена иногда у меня возникали вопросы, зачем нужны одновременно каталоги и поисковые системы?

 

Единственным объяснением было то, что многие сайты сначала создавались с нарушением правил W3C (часто вообще без тегов) и их индексирование (по тегам) не давало информации о сайте. Поэтому наличие каталогов с их строгой организацией, исчерпывающей информацией о ресурсе, и ответственность подавшего заявку за соответствие данных реальности могло восполнить этот пробел.

 

С тех лет поисковые системы модернизировались и теперь они могут не только читать теги, но и работать непосредственно с содержимым html страниц, и документами и их содержимым. Они обзавелись средствами поиска и структурирования, которые используются для того, чтобы помочь людям найти информацию, в которой они нуждаются.
Они используют в качестве средств поиска: агентов, пауков, кроулеров и роботов для сбора информации о сайтах и документах, находящихся в Сети Интернет. Это специальные программы, которые занимаются поиском страниц в Сети, извлекают гипертекстовые ссылки на этих страницах и автоматически индексируют информацию, которую они находят для построения базы данных. Каждый поисковый механизм имеет собственный набор правил, определяющих, как собирать и обрабатывать документы.

Например они:

  • следуют за каждой ссылкой на каждой найденной странице и затем, в свою очередь, исследуют каждую ссылку на каждой из новых страниц, и так далее;
  • игнорируют ссылки, которые ведут к графическим и звуковым файлам, файлам мультипликации; другие игнорируют ссылки к ресурсам типа баз данных WAIS;
  • обрабатывают мультимедийные файлы;
  • просматривают прежде всего наиболее популярные страницы;
  • могут обрабатывать содержание документов, находить и индексировать другие виды ресурсов (полнотекстный поиск), оценивать их посещаемость ;
  • и просто проверять наличие ресурса в сети.

Многие поисковые системы предоставляют пользователю возможность самостоятельно добавить сайт в очередь для индексирования. Обычно это существенно ускоряет индексирование сайта, а в случаях, когда никакие внешние ссылки не ведут на сайт, вообще оказывается единственной возможностью указать на его существование.

 

Здесь невозможно описать все, что могут делать поисковые системы, да наверное и не нужно. Сказанного достаточно, чтобы понять, что практически вся информация о ресурсах, файлах размещенных в Интернет может быть собрана в базах поисковых систем. Это делается автоматически и объем этих данных определяется только поисковыми алгоритмами и задачами поискового ресурса. Это менее затратное и более оперативное отслеживание ресурсов.

 

Все это и приводит к тому, что переходы с каталогов, на моем сайте, составляют в октябре 2011 года только 1,8% по отношению к переходам из поисковых систем.

 

Это лишний раз подталкивает к мысли о все меньшем влиянии каталогов на популярность сайтов. Реальная их популярность определяется попаданием в базы данных поисковых систем.

Заключение

Если сравнивать каталоги и поисковые системы, то последние, уже сейчас, превзошли каталоги по объему собираемой информации и оперативности.

Возможно исходя из изложенного Google и отказался от ведения каталога, а многие каталоги чахнут на глазах, примером последних является небезызвестный DMOZ или Аппорт. А другие так и стоят с пустыми разделами.

А когда я спрашиваю своих знакомых об использовании ими каталогов, часто слышу в ответ: а что это такое?

Похоже на каталогах их владельцам больше не заработать!

 

Каковы же перспективы каталогов?

Тенденция потери их значения в Интернет продолжается.

Логика подсказывает, зачем содержать затратную структуру обслуживающую каталог, если ее функции в автоматическом режиме много оперативнее и качественнее выполняют поисковые системы?

Думаю еще некоторое время могут существовать каталоги — рейтинги. Интерес к ним подогревается именно рейтингом — ведь кому хочется перебирать десятки сайтов если можно посмотреть только в наиболее посещаемых по нужной Вам теме.

Но и это же в силах поисковых систем, на их базе можно формировать страницы динамических тематических рейтингов и выдавать их результаты сайтам - участникам. Технической трудности здесь нет, только пока, насколько я знаю, это не приходило в голову разработчикам и владельцам поисковых систем.

 

В перспективе каталоги могут остаться только каталогами статей, ссылок и сайтов при тематических сайтах, например как сделал я, заменяя на них раздел или страницы ссылок моего сайта. Поскольку их обслуживание будет проще и они будут удобнее для посетителей сайтов.

 

Так же, можно прогнозировать перенос упора в SEO оптимизации, на размещение ссылок в наиболее известных поисковым системам сайтах. Это даст возможность продвигаемому сайту (через ссылающийся сайт) попасть в базы поисковых систем которые работают с ним.

Ну а популярность сайта, находящегося в базах поисковых систем, будет определяться только качеством и информативностью материалов размещенных в нем, что определяется количеством обращений к сайту через поисковую систему.

 

Липература, ссылки:

  1. Поисковый робот http://ru.wikipedia.org/wiki/поисковый робот
  2. Как работают механизмы поиска. Агенты, пауки, кроулеры, роботы http://www.bastau.com/websitepromotion-searchrobots-agentssp
  3. Поисковые системы и каталоги http://www.lessons-tva.info/favorite.html
ноябрь 2011г.
 

  Яндекс.Метрика

<<назад>> <<в начало>> <<на главную>>

Попасть прямо в разделы сайта можно здесь:

/Неизвестный процессор/Охлаждение ПК/Электроника для ПК/Linux/Проекты, идеи/Полезные советы/Разное/
/
Карта сайта/Скачать/Ссылки/Обои/Форум/Каталог/

При полном или частичном использовании материалов ссылка на "www.electrosad.ru" обязательна.
Ваши замечания, предложения, вопросы можно отправить автору через
гостевую книгу или почтой.

Copyright Sorokin A.D.©

2002 - 2012