Поисковики

Почти у всех периодически возникает необходимость разобраться в какой-то новой сфере, провести исследования или быстро найти очень узкоспециализированную информацию. Но поисковик не всегда нас понимает. Мы старательно пытаемся объяснить: вводим большие предложения на смену коротким словосочетаниям. Рыскаем по страницам и ссылкам. И, вероятно, через несколько часов обнаруживаем в каком-то документе pdf запрос, который надо было вводить с самого начала.

Бывает, не всегда легко выразить свою информационную потребность в поисковом запросе. Может не хватать нужной терминологии, или вы еще не совсем уверены, в том, что именно ищите, а увидев возможные варианты, сразу поймете что нужно. А может, то, что вы ищите, вообще сложно облечь в лаконичный поисковой запрос.

Мы собрали инструменты OSINT, которые сделают исследования в сети более быстрыми, полезными и, возможно, более приятными. Большинство собранных ресурсов на английском, бесплатные и без регистрации.

Помогут понять, что вообще искать

1. OneLook

Это словарик, который подбирает слова и фразы, как-то относящиеся к вашему запросу. Тут же можно быстро найти определения тех или иных слов результат придет из разных словарей.

2. Keyword Tool

Платформа показывает ключевые слова по введенному запросу на любом языке и по любой стране. В некоторых запросах даже видно, насколько они популярны, хотя эта услуга платная. Можно искать ключевые слова по Google, YouTube, Twitter, Instagram, Amazon, eBay, Play Store, Bing.

Ища по Google, можно, например, выбрать ключевые выражения, содержащие в себе вопросительные слова или предлоги. А слева есть фильтры, где можно искать по ключевым словам уже в получившейся выдаче.

3. Answer the Public

Тут вы вводите интересующее вас слово и получаете варианты запросов с ним, по которым ищут люди. Есть выбор языков, в том числе русский. Вот так выглядит раздел с запросами, содержащими вопросительные слова.



Единственный минус в бесплатной версии можно искать только около 3-4 запроса в день.

За ручку проведут к нужному источнику

Это справочные указатели сайтов. В них по тематическим папкам разложены сайты. Вам нужно выбрать интересующую тему и посмотреть, что старательно отобрали для вас редакторы платформы.

4. Dmoz

Поможет понять, какая информация вам нужна, предлагая свои варианты. Позволит найти точный сайт, проводя вас из папки в папку и сокращая область поиска.

5. Web Directory

Выбор здесь не очень большой, но может пригодиться. Каждая ссылка имеет краткое описание от редакторов платформы, что сокращает время на просматривание каждого ресурса.

Рассортируют выдачу по тематическим группам

6. Open Knowledge Map

Ресурс выдает все материалы с открытым доступом из BASE (поисковик по огромному количеству научных материалов) и PubMed (база данных медицинских и биологических публикаций). Можно отфильтровать по формату материалов аудио, книги, карты, патенты, отчеты, ПО, видео, научные тезисы и тд.

Фишкой ресурса является то, что он показывает выдачу по запросу в виде тематических кругов. Они соприкасаются и пересекаются. Чем ближе круги друг к другу, тем более родственными будут их темы. В центре находятся те, которые имеют самое сильное предметное сходство со всеми остальными кругами на карте. Справа можно искать по ключевым словам уже в пределах получившейся карты. Наведя мышкой на круг, можно увидеть, сколько документов есть по теме этого круга. Если нажать на круг, он увеличивается, и можно выбрать подходящий документ.



Более того, у платформы есть ПО, с которым можно визуализировать в такой же манере свой собственный набор документов.

Минусом можно назвать то, что платформа выдает только 100 наиболее релевантных результатов. Хотя для кого-то это, наоборот, плюс, так как сокращает время поиска.

7. Carrot²

Это поисковая система, которая распределяет результаты поиска по тематическим папкам и показывает в виде пайчарта и тримапа. Можно выбрать тип алгоритма кластеризации. Вот здесь:



Кстати, если при поиске, Carrot показывает вам вот это, то просто поменяйте страну в VPN и обновите страницу.



Ищите выбираете интересующую папку справа будут результаты.



Вот так выглядит Treemap, если поискать в Carrot информацию о метамодернизме:



Платформа удобна ещё тем, что ищет сразу по 15 поисковикам (в т.ч. Google, Яндекс, Bing).

8. BizNar

BizNar преподносится как ресурс для поиска бизнес информации: исследование рынка и различных индустрий. Платформа ищет по Deep web (не то же самое, что Dark web) выдаются результаты, которые не индексируются привычными поисковиками. Включает в себя поиск по патентам и социальным сетям.Также BizNar расфасовывает выдачу по тематическим папкам и в виде пайчарта (нажимаем visual слева).

После ввода запроса, слева внизу есть график, в каком году сколько материалов по теме было опубликовано. Можно выбрать год, и в выдаче отобразятся публикации только за этот период.

9. World Wide Science

Поиск по международным и национальным исследовательским базам. Запрос можно вводить на любом из предложенных языков (в том числе русском). Если захотите получать уведомления на почту о появлении новых материалов, нужно будет зарегистрироваться. Однако, эта функция доступна только для английских источников.

Выдачу можно фильтровать по различным показателям, а также она рассортирована по темам.



На домашней странице есть карта. При нажатии на интересующую страну, отображается список баз, по которым может искать платформа.

Все возможное в одном месте

10. Fagan Finder

На платформе собрано огромное количество разнообразных поисковых ресурсов, разделенных на группы. Здесь вы найдете, например, поисковики только по энциклопедиям, только по документами, по статьям из журналов или, в конце концов, по презентациям. В общем поиске можно искать не только по картинкам и видео, но и по аудио или по группам и форумам. На первой странице, проскролив ниже, вы сможете получить и короткие гайды к каждому источнику.

То, что собрано здесь, можно не найти через обычный поисковик, потому что источник информации может быть не онлайн, поиск может счесть его недостаточно важным или может быть опубликованным не в том виде, в котором поисковик имеет к нему доступ.

Найдет упоминание вашего запроса во всех популярных соцсетях и не только

11. Hash At It

Инструмент ищет по хештегам, ключевым словам, URL и по упоминаниям профилей. Сразу выдает самые новые результаты, но выбрав какую-то конкретную социальную сеть в фильтре, можно быстрее увидеть и более старые результаты.



Если вы зарегистрируйтесь на сайте, то появится возможность подписаться на определенный хештег или запрос, чтобы сразу получать новые посты по теме.

12. Social Search

Ищет по упоминаниям и в соцсетях и в поисковиках. Что интересно, в списке социальных сетей, по которым он ищет, есть VK. Обычно иностранные поисковые системы его не включают. Тут тоже можно настраивать уведомления на e-mail о новых публикациях по вашему запросу.

Быстрый поиск по новостям, чтобы быть в курсе всех трендов по интересующей теме

13. Watson News Explorer

Это такой банк с новостями. Здесь можно изучить, как личности, компании и новости связаны друг с другом. Платформа расскажет, какие темы, персоны, организации в той или иной степени связаны с вашим запросом. Карта справа показывает, какая страна источник информации, можно отфильтровать выдачу по конкретным странам.

Поиск можно настроить так, что он будет искать только по людям, компаниям или некоммерческим организациям. А расширенный поиск позволит найти связь между двумя запросами.

Ресурс выдает данные за последний месяц, и внизу отображается временная линейка, когда какие материалы были опубликованы.

14. World News

Это ресурс со всеми возможными новостям, в том числе на разных языках. Можно просто искать по ключевым словам по всем сообщениям, а можно выбрать страну и тему. Еще, кстати, здесь можно искать по радио и подкастам в разных странах. Если нажать на Classic в верхнем правом углу, то откроется более подробный поиск все отсортировано по темам и подтемам и легче искать. Есть мобильное приложение.

15. News Now

Здесь все свежие новости в одной куче. По маленькими флажкам рядом с заголовком можно понять, откуда это сообщение. Новости можно фильтровать по странам или тематикам. Еще здесь можно увидеть, какие новости наиболее просматриваемые и читаемые.

16. All You Can Read

Выбираете страну, а выдача дает все возможные онлайн СМИ, которые есть в этой стране. Плюс, можно сортировать по конкретным темам. Один из самых крупных новостных ресурсов с журналами и газетами со всего мира. Однако, поиск по ключевым словам здесь не предусмотрен.

Доставят нужную информацию прямо на ваш e-mail

Эти инструменты отследят появление новых материалов по теме, а также помогут с мониторингом изменений на интересующих вас сайтах.

17. Google Alert

Инструмент автоматически оповещает по e-mail о новых материалах по теме. Для того, чтобы им воспользоваться, нужен Google-аккаунт.

И так, вводим запрос, за которым хотим следить. Открываем Еще параметры и смотрим, как же мы можем настроить наш поиск. Автовыбор здесь означает, что информация будет поступать из всех видов источников. Но можно выбрать и какой-то один. Например, вам интересны только новые книги по теме. Только лучшие результаты в разделе Количество подразумевают под собой, что информация будет приходить только от ресурсов, обладающих хорошей репутацией.

18. Visual ping

Ждете результатов конкурса, появления скидок на авиабилеты или отслеживаете изменения в законодательстве? Этот ресурс пришлет вам уведомление, когда на указанной вами ссылке что-то изменится. Программа делает скриншот и сверяет его с предыдущим. Таким образом она замечает изменения. Расширение для Chrome поможет вам создавать новые уведомления прямо находясь на сайте, за которым вы хотите проследить. А еще можно создать групповые уведомления в Slack (подробнее, как их настроить, можно посмотреть в FAQ в самом низу). Отличная подойдет для отслеживания изменений у конкурентов.

Функция действия перед проверкой помогает автоматизировать определенное действие перед новым скриншотом-проверкой. Например, нужно ввести пароль, закрыть всплывающее окно или нажать на кнопку. Как ей пользоваться подробнее здесь и здесь (более продвинутое использование).



Можно настроить уведомления, чтобы вам их присылали только тогда, когда появляется указанное вами ключевое слово.



В бесплатной версии есть ограничения по количеству проверок.

19. Watch That Page

Этот ресурс попроще, чем предыдущий. Например, он не анализирует изменения в изображениях, только текст и ссылки. Однако для личных аккаунтов здесь можно делать почти неограниченное количество проверок.

В одном письме приходят все обновления по указанным вами сайтам. Но можно и разделить ссылки по темам ресурс будет присылать их отдельными письмами. Для каждого сайта можно выбрать: вы хотите просто узнавать, что там что-то изменилось и самостоятельно проверять; или же сразу получать сами эти изменения в письме. Тут объясняется, как быстрее добавлять новые сайты для отслеживания.

Расширения, которые ускорят ваш обычный поиск

20. Selection Search

Устанавливаете расширение выделяете интересующий текст расширение предлагает варианты, где можно поискать информацию по этому запросу.

21. Infinite Scroll for Google

Здесь все элементарно просто вам не нужно лишний раз кликать на следующую страницу поисковой выдачи. Вы просто листаете вниз, а расширение автоматически открывает для вас новые результаты.

22. Search Preview

Расширение позволяет сразу увидеть, как выглядит сайт, чтобы зря не заходить на него. Поддерживает Google, DuckDuckGo, Yahoo и Bing.

Что еще может пригодиться

23. Wolfram Alpha

Это своеобразный поисковик, который не ищет ресурсы, где можно найти ответы, он сразу дает ответы. Он анализирует файлы разного рода, делает сложные вычисления, дает точные характеристики выбранного объекта, сравнивает и тд.

Чтобы понять, как с ним работать, ресурс предлагает примеры применения. Wolfram Alpha отлично подойдет, если нужно быстро узнать какие-то точные данные по работе в области финансов, социологии, медицины, транспорта, химии, инженерии, статистики, лингвистики и тд. Его можно использовать для обучения и просто для ответов на повседневные вопросы.

24. Gigablast

Это простой и понятный поисковик, в нем нет рекламы, есть приватность и справочник сайтов. А также большой список дорков для эффективного поиска.

25. Symbol Hound

Поисковик, который не игнорирует специальные символы, такие как &, %, , так что пригодится при поиске информации о выбранном языке программирования.

26. Digle

В конце концов можно попросить кого-то найти нужную вам информацию за деньги или заработать на поиске самому.

P.S. Мы как могли старались выбрать наиболее удобные и качественные ресурсы среди аналогов, но если вам все равно сложно выбирать (ох этот постоянный выбор в нашей жизни) берите самый первый из предложенных в каждом разделе. Удачи!

Есть мнение, что Яндекс, занимая лидирующее положение на рынке интернет-поиска в России, не просто продвигает свои сервисы общедоступными способами. И что он с помощью колдунщиков задвигает на задние ряды сайты с поведенческими показателями лучшими, чем у собственных сервисов.

И что он, пользуясь доверием собственной аудитории, вводит пользователей в заблуждение и предлагает не самые релевантные сайты, а свои сервисы. А это лишает игроков рынка заметной доли прибыли, что сковывает, а подчас останавливает развитие этих онлайн-сервисов и, в целом, отрасли.

Разбираемся, так ли это. Пишите в комментарии, согласны ли вы с этим мнением.



Определимся с терминами. Сниппет небольшой фрагмент текста, который показывается пользователю в результатах поиска. Цель его дать пользователю возможность выбрать на какой сайт перейти. Чем больше пользователей увидели ваш сниппет в выдаче тем больше шанс, что они попадут к вам на сайт.



CTR (Click to Rate) параметр сниппета процент перехода людей из выдачи по отношению к общему количеству людей искавших что-то в поисковике по этой фразе.

Согласно исследованиям (ссылки в конце статьи) чем ниже находится сниппет в поисковой выдаче, тем меньший процент людей переходит по нему. Т.е. CTR сниппета уменьшается, если сайт показывается ниже в результатах поиска.

CTR зависит от поискового запроса, от тематики, от внешнего вида самого сниппета и т.д. Не так важно конкретное значение, далее для простоты возьмем значение CTR=20% для первого места в органической выдаче. Сниппет второго места при этом будет примерно 15%, на третьем месте 10-12% и т.д. снижается с увеличением места.

Если вы лучший сайт в отрасли и занимаете первые места по соответствующим запросам, то вы могли рассчитывать на 20% трафика (CTR=20%). Обычно на первых местах в органической выдаче Яндекс показывает сайты, подтвердившую хорошую удовлетворенность пользователей. У каждого поисковика есть система метрик, оценивающих не только релевантность поисковой выдачи (т.е. насколько сайты из выдачи соответствуют запросу пользователя), но и насколько пользователи, перешедшие на каждый конкретный сайт, удовлетворены найденными сайтами это основа современного поиска.

Что происходит, когда между контекстной рекламой (Яндекс.Директ) и органической выдачей появляется блок высотой с 2-3 сниппета. А в этом блоке один из сервисов Яндекса? Правильно CTR первых мест в органической выдаче снижается. Хотя бы потому, что вместо первого-второго экрана сниппет уезжает на второй-третий экран (для экранов смартфонов этот эффект выражен еще сильнее).



Вместо прежних 20% трафика, теперь лидер отрасли получает 10-12%. Те же кто ранее получал 10% теперь будут получать 5% и т.д.

Пусть на сайте 100 тысяч посетителей в сутки. Далее, простой расчёт: если интернет-компания получает половину трафика с SEO (50 тыс.), а половину от него составляет Яндекс (25 тыс.) то после появления блока с сервисом Яндекса (так называемые колдунщики) от этих 25 тыс. останется лишь 12 тыс. Возможно это покажется незначительным, но что такое 12 от 100? Это 12% трафика и значит 12% доходов. Здесь можно долго считать копейки, рассуждать про постоянные и переменные расходы, про особенности того или иного бизнеса. Суть не в этом. Приведённый пример расчёта сделан на опыте реального бизнеса, на основе реальных показателей, цифры сильно приближены к настоящим. Такова жизнь сейчас.

Представьте, что маржинальность вашего бизнеса была 10%-15% и у вас испаряется 12% прибыли? Сколько ресурсов вы теперь сможете тратить на исследования аудитории, апробацию новых технологий, на развитие собственно продукта?

Не было бы причины волноваться, если бы сервисы Яндекса ранжировались в общем порядке и все участники рынка могли участвовать на равных показывать такие же яркие и привлекательные супер-сниппеты с картинками, таблицами и пр. Такая возможность как бы была на протяжении короткого времени технология, презентованная еще Ильей Сегаловичем Яндекс.Острова (по сути колдунщики). Однако, не выйдя из бета-тестирования, она была свернута. Официальная причина Острова вебмастеров хуже по качеству, чем собственные Острова Яндекса. Сейчас колдунщики доступны только аффилированным с Яндексом онлайн-сервисам. Вот еще несколько примеров колдунщиков, согласитесь, такой сниппет не пропустишь, пройти мимо сложно:



Или так:



Ещё:



Хотя даже в этом случае никто никогда, кроме разработчиков Яндекса, не узнает какой повышающий коэффициент (или иной механизм искусственного увеличения релевантности) применяется Яндексом к собственным сервисам, чтобы получить больше трафика.

Сейчас Яндекс уже не просто поисковик. Это IT-компания, которая строит свою империю. Но делает ли она это честно, или же за счёт других игроков, и вводит ли она в заблуждение пользователей, подтасовывая результаты органической выдачи? Замедляется ли развитие отрасли из-за манипуляций, и что мы получим через 3-5-10 лет?

Выходит, что мегакорпорация кормит пользователей только своими собственными продуктами, потому что другие компании не выдержали конкуренции? А ведь отсутствие конкуренции приводит к тому, что страдают конечные пользователи.

Интересное по теме:

• Обзор про разным исследованиям CTR сниппетов.
• Статья от Яндекса (старенькая, но суть не меняется).
• Исследование с использованием технологии EyeTracking (на этот раз про Google).