Русский
Русский
English
Статистика
Реклама

Как с помощью веб-скрапинг и Puppeteer проанализировать аукционы Christies, Sothebys и Phillips. Кейс от Lansoft

Как Web Scraping помог собрать нам данные по официальным коллекциям как у Белгазпромбанка.

Web Scraping один из самых популярных методов считывания различных данных, расположенных на веб-страницах, для их систематизации и дальнейшего анализа. По сути, это можно назвать парсингом сайтов, где информация собирается и экспортируется более удобный для пользователя формат будь то таблица или API.

Инструменты Web Scraping позволяют не только вручную, но и автоматически получать новые или обновленные данные для успешной реализации поставленных целей.

Для чего используется Web Scraping?

  • Сбор данных для маркетинговых исследований. Позволяет в сжатые сроки подготовить информацию для принятия стратегически важных решений в ведении бизнеса.
  • Для извлечения определенной информации (телефонов, е-мейлов, адресов) с различных сайтов для создания собственных списков.
  • Сбор данных о товарах для анализа конкурентов.
  • Очистка данных сайта перед миграцией.
  • Сбор финансовых данных.
  • В работе HR для отслеживания резюме и вакансий.


Команда Lansoft достаточно успешно освоила данный метод. Поэтому хотим поделиться с вами одним из кейсов по сбору данных для анализа датасэтов предметов искусства для нью-йоркской компании Pryph.

Pryph анализируют знаменитые аукционные дома такие как Christies, Sothebys и Phillips и резюмируют выводы о популярности различных авторов.

Кстати на этих аукционах были куплены несколько картин в нашумевшем деле Белгазпромбанка и Виктора Бабарико. По нашему мнению эти сделки никак нельзя назвать незаконными (ссылка news.tut.by/culture/349226.html)

Для работы мы выбрали инструмент Puppeteer. Это JavaScript библиотека для Node.js, которая управляет браузером Chrome без пользовательского интерфейса.

При помощи данной библиотеки можно достаточно легко автоматический считывать данных с различных веб-сайтов или создавать так называемые веб-скраперы, имитирующие действия пользователя.

На самом деле есть более оптимальные способы скрапинга сайтов средствами node.js
(описаны тут habr.com/ru/post/301426).

Причины выбора Puppeteer в нашем случае были:

  • анализ всего 3 сайтов с понятными разделами и структурой;
  • активное продвижение данного инструмента компанией Google;
  • эмуляция работы реальных пользователя на UI без риска попасть в бан, как потенциальные DDOS атаки.


Итак, наша задача была зайти на сайты аукционных домов и по каждому виду аукционов собрать данные по продажам всех лотов за год с 2006 по 2019 годы.

Для примера мы вставили кусок кода, написанного на Puppeteer для извлечения ссылок картинок лотов с аукционного дома Phillips:

image

В подобном ключе команде Lansoft для каждого лота нужно было найти имя автора, описание работы, цену, детали о продаже и ссылку на предметы искусства.

image

Примеры ссылок на лоты:

www.phillips.com/detail/takashi-murakami/HK010120/110

www.sothebys.com/en/buy/auction/2020/contemporary-art-evening-auction/lynette-yiadom-boayke-cloister?locale=en

Например, на картинке выше мы видим имя автора TAKASHI MURAKAMI, название картины Blue Flower Painting B и данные по цене в $231,000-359,000. Все необходимые поля мы собирали и записывали в csv файлы, разбитые по годам.

Выглядело это так:

image

Как итог мы получили наборы csv файлов по продажам за разные годы. Размер файлов был порядка 6.000 строк. А далее клиент используя свои алгоритмы, делал анализ по трендам для различных авторов.

Результаты работы можно найти на сайте pryph.org/insights

Но в работе с Puppeteer есть некоторые нюансы:
  1. некоторые ресурсы могут блокировать доступ при обнаружении непонятной активности;
  2. эффективность Puppeteer не высока, ее можно повысить за счет троттлинга анимации, ограничения сетевых вызовов и т. д.;
  3. необходимо завершать сеанс, используя экземпляр браузера;
  4. контекст страницы/браузера отличается от контекста ноды, в которой работает приложение;
  5. использовать браузер, даже в Headless режиме не так эффективно и быстро по времени для больших анализов данных.
Источник: habr.com
К списку статей
Опубликовано: 29.06.2020 10:05:23
0

Сейчас читают

Комментариев (0)
Имя
Электронная почта

Javascript

Анализ и проектирование систем

Веб-аналитика

Тестирование it-систем

Тестирование веб-сервисов

Webscraping

Qa

Web scraping

Веб скрапинг

Puppeteer

Категории

Последние комментарии

© 2006-2020, personeltest.ru