Краткая история поиска и как Google вышел на первое место

После попытки любить Бинг

, заигрывая с повышенной конфиденциальностью DuckDuckGo

и (затвор) даже пытаясь понять, был ли Yahoo лучше, чем в прошлый раз, когда я использовал его (около 2004 года), я все еще не могу найти лучший вариант для онлайн-поиска, чем действующий чемпион Google.

Разрыв сокращается, но в конечном итоге Google по-прежнему остается коренным из-за релевантности результатов, скорости, с которой индексируются сайты и выполняются поиски, и их постоянного толчка, чтобы стать еще лучше.

После полдюжины (или более) неудачных попыток за эти годы найти лучшую альтернативу

Это заставило меня попытаться понять, что делает Google лучше, чем конкуренты в этом пространстве.

Вот что я нашел.

Краткая история поисковых систем

Во-первых, я чувствую, что, возможно, целесообразно взглянуть на некоторые технологии, которые управляют поисковыми системами.

и компании, которые привели нас сюда.

Сотворение Арчи (1990)

Арчи считается первой поисковой системой. Несмотря на кажущуюся примитивностью сейчас, Арчи был инструментом, который индексировал общедоступные FTP-сайты, пытаясь позволить пользователям находить конкретные файлы. Это было до появления всемирной паутины, поэтому вам нужно было получить доступ к серверам Archie с помощью локального клиента или через Telnet.

, который является сетевым протоколом, который позволяет соединять два компьютера в одной сети.

Арчи стимулировал инновации в дополнительных технологиях, которые работали аналогичным образом, таких как Вероника и Джугхед, VLib, Gopher и другие. Эти технологии были пионерами поисковой индустрии, хотя их быстро заменили более продвинутые технологии.

Странник Всемирной паутины (1993)

Созданный в 1993 году, World Wide Web Wanderer был первым ботом, созданным для индексации веб-сайтов и автоматической вставки их в базу данных. Wandex, как оказалось, начал как способ измерения размера сети, подсчитывая активные серверы по всему миру, чтобы измерить рост. Вместо этого он стал образцом для современных веб-пауков, которые несут ответственность за сканирование сети с целью индексации ее содержимого.

Excite (1993)

Excite был проектом шести студентов бакалавриата в Стэнфордском университете, который попытался использовать статистический анализ отношений на общем языке, чтобы улучшить релевантность в индексации. Excite — тогда известный как Architext — использовал журналистов для написания кратких обзоров веб-сайтов для повышения удобства использования по сравнению с более примитивными поисковыми системами и каталогами на основе ссылок.

Бум поисковой системы (1994)

1994 был, пожалуй, самым большим годом в истории поисковых систем. Через 12 месяцев мы увидели запуск Infoseek, AltaVista, WebCrawler, Yahoo! и Lycos.

• Infoseek: Пользователи могут отправлять свои веб-страницы в режиме реального времени и автоматически индексируют их на основе определенных пользователем категорий.
• AltaVista: Первая поисковая система, которая использовала неограниченную пропускную способность, позволяла выполнять поисковые запросы на естественном языке и использовать модификаторы поиска для утверждения результатов.
• WebCrawler: Первый сканер, который проиндексировал целые страницы, а не только заголовки или заголовки и описания.
• Lycos: Первая поисковая система для сортировки по релевантности. Lycos также постоянно располагал самой большой базой данных о сохраненных сайтах, и на пике (около 1996 г.) служба сканировала и проиндексировала более 60 миллионов веб-сайтов.

Поисковые системы в течение этого периода времени (и несколько лет спустя) активно использовали мета-теги, которые содержали элементы заголовка, описания и ключевых слов, добавленные веб-мастером на веб-сайт. Эти теги, а также плотность ключевых слов в тексте веб-сайта были основными факторами ранжирования, которые помогли паукам в правильной идентификации и индексации контента.

Это также открыло дверь для веб-спама, так как первые эксперты по SEO быстро научились манипулировать этой системой, вставляя ключевые слова в теги и контент неестественным образом, пытаясь разыграть систему.

Спроси / Спроси Дживса (1997)

Ask — и их служба Ask Jeeves — использовали редакторов-людей, чтобы попытаться включить популярные поисковые запросы пользователей в списки как партнерских, так и платных сайтов включения. Служба использовала автоматизацию в форме системы ранжирования DirectHit, которая пыталась ранжировать сайты по популярности, но они обнаружили, что этим слишком легко манипулировать, и несколько лет спустя прекратили использовать движок.

MSN / Bing (1998/2009)

MSN запустила собственную поисковую систему, чтобы оценить успех других продуктов Microsoft и перейти к поиску в Интернете. Поисковая система использовала Overture, Looksmart и другие платные каталоги для включения результатов поиска до тех пор, пока Google не доказал успех своей модели обратных ссылок.

Это доказательство концепции со стороны Google привело к тому, что в 2004 году MSN приняла аналогичную стратегию, хотя и не такую ​​удачную.

В 2009 году MSN переименовал в Bing и улучшил пользовательский интерфейс, включив в него встроенный поиск (предложения, которые появляются по мере ввода), контент, который отображается на странице результатов поиска (в отличие от необходимости нажимать ссылку на один из результатов поиска). ) и множество новых функций, разработанных для упрощения поиска и повышения его доступности.

Как Google стал лучшим (и почему он все еще есть)

К концу 90-х годов поисковые системы стали практически непригодными для использования из-за актуальности (или ее отсутствия) результатов поиска и распространенности веб-спама. До его запуска в 1998 году и в течение полувека после этого конкуренты действительно не имели ответа на растущие проблемы, вызванные веб-спамом и манипуляциями с поисковыми системами, которые в конечном итоге стали называться SEO (поисковая оптимизация).

Введите Google.

Google начал как проект — известный как BackRub — Ларри Пейджем и Сергеем Брином в 1996 году. Целью этого проекта было революционизировать поиск, используя ссылки в качестве основной метрики ранжирования для повышения релевантности. Теория, известная как нотация цитирования, вращалась вокруг идеи, что каждый сайт, связанный с другим сайтом, по существу выражал свою уверенность в контенте, предлагаемом на его страницах. Эти ссылки служили голосами, а якорный текст внутри ссылки служил способом индексирования сайтов на основе того, за что другие голосовали за эти голоса.

Технология была захватывающей, и это заставило Брина и Пейджа попытаться продать ее конкурентам в мире поиска за 750 000 долларов. К счастью, никто не был заинтересован. Возвращаясь к чертежной доске, Пейдж и Брин продолжали совершенствовать технологию, и к 2000 году Google стала крупнейшей поисковой системой в мире.

Как Google остается на вершине

Адаптивность может быть лучшим способом описать, как Google остается наиболее используемой поисковой системой в мире. Когда маркетологи и специалисты по поисковым системам учатся манипулировать системой, Google меняет ее. Когда новые технологии, такие как социальные сети, начинают играть активную роль в наших разговорах, Google находит способ интегрировать их в алгоритм для повышения релевантности. Когда меняются привычки поиска, Google меняется вместе с ними.

Google постоянно смотрит, анализирует и развивается. Используя огромное количество данных, которые они собирают от каждого из нас, использующих их продукты, они могут постоянно предоставлять более качественный, более актуальный и удобный для пользователя продукт, чем любой из их конкурентов.

Как выглядит будущее поиска

В то время как Google находится на вершине, и на горизонте, похоже, нет конкурентов, способных сместить их, в Интернете все быстро меняется. Вот что Google и другие компании делают для повышения релевантности наших результатов поиска как сейчас, так и в ближайшем будущем.

Понимание намерений пользователя Семантика

Поисковые системы, включая Google, использовались для предоставления результатов в зависимости от того, насколько хорошо запросы соответствовали веб-страницам. Теперь Bing, Google и Yahoo! все пытаются улучшить свои результаты, основываясь на понимании стоящих за ними намерений, известных как семантический поиск

,

Например, если пользователь ищет «Лучшие морепродукты» — результаты прошлых лет будут зависеть от того, какой веб-сайт считается наиболее авторитетным для этих ключевых слов. Теперь поисковые системы делают больший упор на понимание того, что именно вы ищете, чтобы они могли предоставить наиболее оптимизированные результаты. В этом случае пользователь, скорее всего, ищет лучшие рестораны морепродуктов поблизости или рецепты. Понимание того, что через триллионы возможных поисковых запросов все усложняется.

Больше внимания на месте

Приведенный выше пример запроса о морепродуктах является одной из основных причин, по которой местоположение становится настолько важным. Возможно, вы не ищете рестораны морепродуктов в Сан-Франциско, если вы живете в Сингапуре (но если вы это делаете, просто добавьте «в Сан-Франциско» к вашему запросу). Поиск по местоположению меняет все, так как все основные поисковые системы теперь используют ваше местоположение, чтобы предоставлять индивидуальные результаты для ваших поисков.

Улучшенный мобильный опыт

2015 год был первым в истории, когда мобильный трафик превысил трафик ноутбуков и настольных компьютеров, и все еще остается тенденция с быстрым восходящим движением. На самом деле, большая часть интернет-трафика со смартфонов связана с поиском. Из-за меняющегося времени, в которое мы живем, важно предоставить пользователям мобильных устройств безупречную мобильность.

Google делает это, выпуская новый мобильный алгоритм, который скрывает сайты, которые не отображаются должным образом на мобильных устройствах. Это алгоритмическое изменение относится только к мобильному трафику, но оно должно обогатить опыт мобильных пользователей и проложить путь для дальнейших мобильных инноваций.

Yahoo! еще одна крупная поисковая система с упором на мобильные устройства. Генеральный директор Марисса Майер (бывшая сотрудница Google) сместила акцент на Yahoo! для того, чтобы расставить приоритеты для мобильных устройств в качестве основного средства восстановления актуальности.

График знаний

Bing и Google в значительной степени вкладывают средства в использование своих огромных баз данных для быстрого предоставления информации по конкретным ключевым словам и фразам. Чтобы улучшить взаимодействие с пользователем, оба пытаются исключить дополнительные шаги, которые пользователь должен предпринять, чтобы найти информацию, и вместо этого полагаются на технологию графа знаний.

,

Например, фильмы, имена знаменитостей или запросы, связанные с местоположением, теперь содержат информацию о запросе в верхней части страницы. Для быстрого поиска это может избавить вас от дополнительных шагов, связанных с необходимостью углубиться в результаты или посетить несколько сайтов, чтобы найти информацию.

Это имеет большое значение для мобильных устройств, а также для голосового поиска (например, Siri или Google Now), поскольку большинство поисковых запросов — это быстрые попытки получить информацию, а не исчерпывающие поисковые запросы.

Поиск новых способов улучшения алгоритмов

Поисковые системы постоянно воюют друг с другом, а также неизвестные, которые прячутся прямо за углом. В стремлении быть лучшими, каждый из них должен быстро и с высокой отдачей получить результат. Таким образом, алгоритмы во всех основных поисковых системах постоянно меняются, пытаясь опередить кривую и найти новые метрики, которые могут привести к лучшим результатам.

Одним из наиболее интересных примеров этого может быть оценка доверия на основе знаний

на основе патента, принадлежащего Google. В то время как Google прямо отрицает любое намерение использовать этот патент в своем алгоритме поиска в ближайшем будущем, его последствия огромны. Если вы когда-либо получали неверную информацию после онлайн-поиска, эта новая система скоринга могла бы изменить все это путем ранжирования сайтов на основе результатов в хранилище знаний Google (хранилища фактов, извлеченных из проиндексированного контента) и их соответствия.

В конечном счете, попытка предсказать, как выглядят технологии поисковых систем за пределами следующего или двухлетнего периода, является высшим упражнением в тщетности. Тем не менее, это должно продолжать приближать нас на один шаг ближе к эпохе, когда мы встретимся с ответом на любой вопрос почти мгновенно.

Есть ли лучшая поисковая система, чем Google? Что делает это лучше? Какие технологии или изменения, связанные с поиском, вам больше всего нравятся в ближайшем будущем? Выключите звук в комментариях ниже. Я хотел бы услышать ваше мнение!

Изображение предоставлено: поисковая система через Shutterstock, Firefox Mobile от Johan Larsson через Flickr, оптимизация кода сайта через Shutterstock