Hackathon

Мне с друзьями довелось поучаствовать в хакатоне
SberCloud.Advanced Hacking и пощупать облачные сервисы Сбера. На моем текущем месте работы я каждый день работаю с Serverless стеком от AWS (CloudFront + Lambda Edge + S3 + Lambda + Step Functions + Aurora PostgreSQL Serverless + DynamoDB + Cognito). Так что мне есть с чем сравнить. Если заинтересовались, то добро пожаловать под кат.

Недавно Сбер выкатил в публичный доступ свою облачную платформу SberCloud. К сожалению, сейчас, чтобы ей воспользоваться, нужно быть юридическим лицом. Представители Сбера говорят, что, возможно, доступ для физических лиц появится в следующем году. Но тем не менее, в рамках хакатона, я смог посмотреть, что там внутри, как обычный смертный. Что я там увидел? Огромное количество сервисов прям, как у AWS, на любой вкус https://sbercloud.ru/ru/products.

Меня прежде всего интересовал Serverless стек. Вообще, мало кто может похвастаться настоящими Serverless сервисами, у которых стоимость использования зависит только от реальной нагрузки. Сервером с платой за месяц уже ни кого не удивишь.

Я хотел собрать приложение аналогичное такому в AWS.

Вот что получилось на стеке SberCloud.

Я быстренько создал лямбду FunctionGraph.

Прикрутил к ней API Gateway. Настроил HTTP/HTTPS trigger.

Кстати, читать логи лямбды оказалось намного удобнее чем в AWS. Всё в одном месте. Ненужно прыгать по вкладкам и искать нужный Log Stream.

К сожалению, настоящей Serverless базы данных у SberCloud не нашлось. Пришлось взять сервис с фиксированной платой.

Настроил Environment variables от PostgreSQL пользователя у лямбды FunctionGraph.

Написал небольшой Serverless адаптер для работы с PostgreSQL базой из лямбды. Нужно аккуратно закрывать за собой соединения, а то они кончатся.

import { Client } from 'pg'export const escapeId = (str: string): string => `"${String(str).replace(/(["])/gi, '$1$1')}"`export const escapeStr = (str: string): string => `'${String(str).replace(/(['])/gi, '$1$1')}'`export const executeStatement = async <T extends Record<string, any>>(  sql: string): Promise<Array<T>> => {  const client = new Client()  await client.connect()  try {    const res = await client.query(sql)    return res.rows  } finally {    await client.end()  }}

Настроил Object Storage Service.

Некое SDK для работы с SberCloud имеется, но чего-то полезного мне там найти не удалось.

Для загрузки картинок из браузера в Object Storage Service через подписанный URL код пришлось писать самому. Не самое приятное занятие угадывать сигнатуры и считать хеши руками.

async (req: Request, res: Response) => {  validateUserHandler(req, res)  const { authToken } = context  const { userId } = req.params  const uploadId = uuidV4()  const body = Buffer.from(    JSON.stringify({      auth: {        identity: {          methods: ['token'],          token: {            id: authToken,            'duration-seconds': '900',          },        },      },    }),    'utf8'  )  const options = {    hostname: 'iam.ru-moscow-1.hc.sbercloud.ru',    port: 443,    path: '/v3.0/OS-CREDENTIAL/securitytokens',    method: 'POST',    headers: {      'Content-Type': 'application/json; charset=utf8',      'Content-Length': body.length,    },  }  const credentialBuffer: Buffer = await new Promise((resolve, reject) => {    const req = https.request(options, (res) => {      res.on('data', (data) => {        resolve(data)      })      res.on('error', (error) => {        reject(error)      })    })    req.write(body)    req.end()  })  const {    credential,  }: {    credential: { securitytoken: string; secret: string }  } = JSON.parse(credentialBuffer.toString('utf8'))  const { securitytoken, secret } = credential  const stringToSign = Buffer.from(    JSON.stringify({      expiration: '2020-12-31T12:00:00.000Z',      conditions: [        { 'x-obs-acl': 'public-read' },        { 'x-obs-security-token': securitytoken },        { bucket: 'anti-cube-images' },        ['starts-with', '$key', `${userId}/`],      ],    }),    'utf8'  ).toString('base64')  const hmac = crypto.createHmac('sha1', secret)  hmac.update(stringToSign)  const signature = hmac.digest('base64')  res.json({    uploadId,    signature,  })}

В целом SberCloud мне понравился. Очень достойно. Не ожидал увидеть международный уровень облачных сервисов на российском рынке. Желаю Сберу обзавестись настоящей Serverless базой данных с платой только за использование. Лучше смотреть в этом плане в сторону CosmosDB от Azure или опенсорсного TiDB на своих серверах. У AWS сделано не особо грамотно, не копируйте у них.

Дополнительно про SberCloud можно посмотреть на YouTube:

• SberCloud Advanced Hacking. Вебинар по Graph Engine Service
• SberCloud Advanced Hacking. Вебинар по API Gateway
• SberCloud Advanced Hacking. Вебинар по Function Graph
• SberCloud.Advanced Hacking // Открытие хакатона
• SberCloud.Advanced Hacking // Воркшоп. Петр Предтеченский
• SberCloud.Advanced Hacking // Воркшоп. Павел Кутаков

Документация: https://docs.sbercloud.ru/

На хакатоне мы с ребятами делали изоморфное приложение на React+Redux. Презентация нашего проекта: https://docs.google.com/presentation/d/1LNjg2xfFHljTuH6ke_lkF6o1m9HTfemWcxW0w1OOssc/edit?usp=sharing

Введение

Данная статья не история успеха, а скорее руководство как не надо делать. Весной 2020 для поддержания спортивного тонуса участвовал в студенческом хакатоне (спойлер: заняли 2-е место). Удивительно, но задача из полуфинала оказалась более интересной и сложной чем финальная. Как вы поняли, о ней и своём решении расскажу под катом.

Задача

Данный кейс был предложен Deutsche Bank в направлении WEB-разработка.
Необходимо было разработать онлайн-редактор для проекта Алгосимулятор тестового стенда для проверки работы алгоритмов электронной торговли на языке Java. Каждый алгоритм реализуется в виде наследника класса AbstractTradingAlgorythm.

public abstract class AbstractTradingAlgorithm {    abstract void handleTicker(Ticker ticker) throws Exception;    public void receiveTick(String tick) throws Exception {        handleTicker(Ticker.parse(tick));    }    static class Ticker {        String pair;        double price;       static Ticker parse(String tick) {           Ticker ticker = new Ticker();           String[] tickerSplit = tick.split(",");           ticker.pair = tickerSplit[0];           ticker.price = Double.valueOf(tickerSplit[1]);           return ticker;       }    }}

Сам же редактор во время работы говорит тебе три вещи:

1. Наследуешь ли ты правильный класс
2. Будут ли ошибки на этапе компиляции
3. Успешен ли тестовый прогон алгоритма. В данном случае подразумевается, что "В результате вызова new <ClassName>().receiveTick(RUBHGD,100.1) отсутствуют runtime exceptions".

Ну окей, скелет веб-сервиса через spring накидать дело на 5-10 минут. Пункт 1 работа для регулярных выражений, поэтому даже думать об этом сейчас не буду. Для пункта 2 можно конечно написать синтаксический анализатор, но зачем, когда это уже сделали за меня. Может и пункт 3 получится сделать, использовав наработки по пункту 2. В общем, дело за малым, уместить в один метод, ну например, компиляцию исходного кода программы на Java, переданного в контроллер строкой.

Решение

Здесь и начинается самое интересное. Забегая вперёд, как сделали другие ребята: установили на машину джаву, отдавали команды на ось и грепали stdout. Конечно, это более универсальный метод, но во-первых, нам сказали слово Java, а во-вторых...

у каждого свой путь.

Естественно, Java окружение устанавливать и настраивать всё же придётся. Правда компилировать и исполнять код мы будем не в терминале, а, как бы это ни звучало, в коде. Начиная с 6 версии, в Java SE присутствует пакет javax.tools, добавленный в стандартный API для компиляции исходного кода Java.
Теперь привычные понятия такие, как файлы с исходным кодом, параметры компилятора, каталоги с выходными файлами, сообщения компилятора, превратились в абстракции, используемые при работе с интерфейсом JavaCompiler, через реализации которого ведётся основная работа с задачами компиляции. Подробней о нём можно прочитать в официальной документации. Главное, что оттуда сейчас перейдёт моментально в текст статьи, это класс JavaSourceFromString. Дело в том, что, по умолчанию, исходный код загружается из файловой системы. В нашем же случае исходный код будет приходить строкой извне.

import javax.tools.SimpleJavaFileObject;import java.net.URI;public class JavaSourceFromString extends SimpleJavaFileObject {    final String code;    public JavaSourceFromString(String name, String code) {        super(URI.create("string:///" + name.replace('.', '/') + Kind.SOURCE.extension), Kind.SOURCE);        this.code = code;    }    @Override    public CharSequence getCharContent(boolean ignoreEncodingErrors) {        return code;    }}

Далее, в принципе уже ничего сложного нет. Получаем строку, имя класса и преобразуем их в объект JavaFileObject. Этот объект передаём в компилятор, компилируем и собираем вывод, который и возвращаем на клиент.
Сделаем класс Validator, в котором инкапсулируем процесс компиляции и тестового прогона некоторого исходника.

public class Validator {    private JavaSourceFromString sourceObject;    public Validator(String className, String source) {        sourceObject = new JavaSourceFromString(className, source);    }}

Далее добавим компиляцию.

public class Validator {    ...    public List<Diagnostic<? extends JavaFileObject>> compile() {        // получаем компилятор, установленный в системе        var compiler = ToolProvider.getSystemJavaCompiler();        // компилируем        var compilationUnits = Collections.singletonList(sourceObject);        var diagnostics = new DiagnosticCollector<JavaFileObject>();        compiler.getTask(null, null, diagnostics, null, null, compilationUnits).call();        // возворащаем диагностику        return diagnostics.getDiagnostics();    }}

Пользоваться этим можно как-то так.

public void MyMethod() {        var className = "TradeAlgo";        var sourceString = "public class TradeAlgo extends AbstractTradingAlgorithm{\n" +                "@Override\n" +                "    void handleTicker(Ticker ticker) throws Exception {\n" +                "       System.out.println(\"TradeAlgo::handleTicker\");\n" +                "    }\n" +                "}\n";        var validator = new Validator(className, sourceString);        for (var message : validator.compile()) {            System.out.println(message);        }    }

При этом, если компиляция прошла успешно, то возвращённый методом compile список будет пуст. Что интересно? А вот что.

На приведённом изображении вы можете видеть директорию проекта после завершения выполнения программы, во время выполнения которой была осуществлена компиляция. Красным прямоугольником обведены .class файлы, сгенерированные компилятором. Куда их девать, и как это чистить, не знаю жду в комментариях. Но что это значит? Что скомпилированные классы присоединяются в runtime, и там их можно использовать. А значит, следующий пункт задачи решается тривиально с помощью средств рефлексии.
Создадим вспомогательный POJO для хранения результата прогона.

public class TestResult {    private boolean success;    private String comment;    public TestResult(boolean success, String comment) {        this.success = success;        this.comment = comment;    }    public boolean success() {        return success;    }    public String getComment() {        return comment;    }}

Теперь модифицируем класс Validator с учётом новых обстоятельств.

public class Validator {    ...    private String className;    private boolean compiled = false;    public Validator(String className, String source) {        this.className = className;        ...    }    ...    public TestResult testRun(String arg) {        var result = new TestResult(false, "Failed to compile");        if (compiled) {            try {                // загружаем класс                var classLoader = URLClassLoader.newInstance(new URL[]{new File("").toURI().toURL()});                var c = Class.forName(className, true, classLoader);                // создаём объект класса                var constructor = c.getConstructor();                var instance = constructor.newInstance();                // выполняем целевой метод                c.getDeclaredMethod("receiveTick", String.class).invoke(instance, arg);                result = new TestResult(true, "Success");            } catch (IllegalAccessException | InvocationTargetException | NoSuchMethodException | ClassNotFoundException | RuntimeException | MalformedURLException | InstantiationException e) {                var sw = new StringWriter();                e.printStackTrace(new PrintWriter(sw));                result = new TestResult(false, sw.toString());            }        }        return result;    }}

Возвращаясь к предыдущему примеру использования, можно дописать туда такие строчки.

public void MyMethod() {        ...        var result = validator.testRun("RUBHGD,100.1");        System.out.println(result.success() + " " + result.getComment());    }

Вставить этот код в реализацию API контроллера задача нетрудная, поэтому подробности её решения можно опустить.

Какие проблемы?

1. Ещё раз напомню про кучу .class файлов.

   
   

2. Поскольку опять же идёт работа с компиляцией некоторых классов, есть риск отказа в записи любого непредвиденного .class файла.

   
   

3. Самое главное, наличие уязвимости для инъекции вредосного кода на языке программирования Java. Ведь, на самом деле, пользователь может написать что угодно в теле вызываемого метода. Это может быть вызов полного перегруза системы, затирание всей файловой системы машины и тому подобное. В общем, исполняемую среду нужно изолировать, как минимум, а в рамках хакатона этим в команде никто естественно не занимался ввиду нехватки времени.

   
   

Поэтому делать в точности как я не надо)

P.S. Ссылка на гитхаб с исходным кодом из статьи.

Немного про сам Дататон

Начало работы над датасетом

Какие проблемы решает датасет?

• Я хочу открыть новую торговую точку по адресу X, сколько прямых конкурентов будет вокруг?
• В окрестностях какого из строящихся ТПУ будут самые благоприятные условия для развития торговой точки?
• В каких условиях сейчас работают мои непосредственные конкуренты?
• Будет ли моя торговая точка входить в зону охвата уже существующего или строящегося ТПУ?
• Мои клиенты используют автомобили, где лучше разместиться, чтобы им было удобнее посещать мой магазин?

1. Описание источников

1.1 Источники

• Транспортно-пересадочные узлы.
  
• Стационарные торговые объекты.
  
• Бытовые услуги на территории Москвы.
  

• Расчёт торговой зоны и зоны охвата магазина был произведён на основе таблицы из статьи Расчёт торговой зоны и зоны охвата магазина.
  
• Информация о районах: Wikipedia: Список районов и поселений Москвы.
  
• Информация о ценах на коммерческую недвижимость: по данным на сайте агентства Restate.
  
• Сведения о пассажиропотоке на станциях: Рекламное агентство Метро Москвы.
  
• Геоданные о форме административных районов и округов Москвы.

1.2 Структура датасета

• Информация о ближайшем ТПУ.
• Информация о районе размещения.
• График работы и транспортная доступность.
• Данные о стоимости коммерческой недвижимости в районе.
• Данные о зоне охвата и размере объекта.

1.3 Качество данных и проблемы при их сборе

• Сведения по статусу и срокам сдачи отдельных ТПУ можно считать устаревшими.
  
• Обнаружилась путаница в единичных случаях указаниях широты и долготы, из-за чего некоторые объекты убегали в другие страны.
  
• Данные о пассажиропотоке опубликованы с неточностями в форматировании, отдельные записи явно сильно завышены. Яркий пример данные по пассажиропотоку на станции Авиамоторная. Цифра в 400 000 пассажиров в сутки кажется явно завышенной, впрочем, как и в ряде других случаев. Беглый поиск показал, что реальная цифра может быть в разы меньше. Исправить такие артефакты крайне сложно.
  
• Данные о ценах на коммерческую недвижимость пришлось собирать в ручном режиме.
  

2. Обработка данных

2.1 Данные об объектах

• Времени работы.
  
• Типе объекта.
  
• Принадлежности к сетевым объектам.
  
• Адресе и координатах расположения.
  
• Административной принадлежности.
  

2.2 Данные об административном делении

• Использование специальных символов для сносок.
  
• Необходимость приведения всех данных к общим единицам измерения.
  

2.3 Данные о зонах охвата

2.4 Данные о ТПУ

• Административные данные и географическое расположение.
  
• Типы транспорта.
  
• Год сдачи и статус объекта (от проекта до завершения).
  
• Ближашая станция.
  

2.5 Данные о стоимости аренды и покупки коммерческой недвижимости

2.6 Данные о пассажиропотоке на станциях метро

2.7 Новые признаки и данные

• Параметры ближайшего ТПУ.
  
• Расстояние до ТПУ.
  
• Радиус охвата объекта.
  
• Входит ли ТПУ в зону охвата?
  
• К какому классу относится объект?
  

2.8 Итоговый датасет

• Объекте.
• Близлежащем ТПУ и его составе.
• Районе объекта.
• Стоимости покупки и аренды площадей.

2.9 Корреляционная матрица

• Данные по стоимости коммерческой недвижимости заметно более коррелированы, а значит, использовать их стоит осторожно.
• Первая идея, которая приходит в голову, создание на их основе новых индексов оценки.
• Демографические признаки также ожидаемо имеют выраженную положительную корреляцию.
• Большой отрицательный сдвиг наблюдается между стоимостью коммерческой недвижимости и демографическими признаками районов, что в целом логично.

3. Немного визуализаций

3.1 Датасет на карте Москвы

3.2 (Не)много графиков

4. Заключение

4.1 Варианты применения

• Визуализация объектов и ТПУ по определённым критериям. Например: отобразить на карте новые объекты, которые будут сданы в 2022 году.
  
• Анализ типов объектов и условий их работы. Например: составить статистику о графиках работы ближайших конкурентов и проанализировать результаты.
  
• Проверка известных гипотез на имеющихся практических данных. Например: добавить в датасет известные данные по обороту торговой сети и сопоставить с данными по пассажиропотоку и пешей доступности.
  

4.2 Целевая аудитория

• Девелоперам,
  
• Инвесторам,
  
• Бизнесу (торговля и услуги),
  
• Риэлторам и консультантам,
  
• Частным исследователям и урбанистам.
  

4.3 Достоинства и недостатки

• Статус и год ввода в эксплуатацию некоторых ТПУ сомнителен данные требуют проверки и актуализации.
  
• Значения пассажиропотока требуют уточнения, особенно самые большие.
  
• Размер отдельных крупных и средних объектов требует уточнения, поскольку в датасете могут быть ошибки, связанные с ограничениями методики классификации. Например, по использованию Торговый дом в названии алгоритм может неверно присвоить класс, что повлияет на дальнейшие выборки.
  

• Преобразования некоторых данных к бинарному представлению 1/0.
  
• Приведения всех отсутствующих данных к единой форме NaN.
  
• Создания служебных колонок, описывающих длину вложенных словарей.
  
• Разбиения столбцов на логические секции и с детальными именами.
  
• Опоры на источники. Все данные могут быть получены путём непосредственного доступа к первоисточнику.
  
• Упрощения визуализации. Она организована удобными функциями, которые принимают на вход много служебных параметров и сводят отображение нужных данных к паре строк кода.
  

4.4 Вместо резюме

Участники команды Data SkyScrapers

Мы хотели бы выразить благодарность кураторам, преподавателям и экспертам за организацию Дататона. Это был отличный опыт и возможность самостоятельно проявить себя в решении практических задач, а также получить развернутую оценку от профессиональных Дата-сайентистов.

• Курс по Machine Learning
• Продвинутый курс Machine Learning Pro + Deep Learning
• Обучение профессии Data Science
• Обучение профессии Data Analyst

Датасет 1: Скользим по музыкальным волнам с Data Surfers

• Плотников Кирилл project manager, разработка, документация.
• Тарасов Дмитрий разработка, сбор данных, документация.
• Шадрин Ярослав разработка, сбор данных.
• Мерзликин Артём product manager, презентация.
• Колесниченко Ксения предварительный анализ данных.

Сбор данных об артистах

1. Постранично парсить раздел Artists на странице с информацией о России.
2. Достать данные через API.
   Документация MusicBrainz API
   Документация MusicBrainz API Search
   Пример запроса GET на musicbrainz.org
   

Сбор данных о популярных треках

1. Для получения данных об одном треке нужно сделать GET-запрос на https://api.spotify.com/v1/audio-features/{id}, указав его Spotify ID как значение параметра id. Документация.
   
2. Чтобы получить данные о нескольких треках сразу, следует отправить GET запрос на https://api.spotify.com/v1/audio-features, передавая Spotify ID этих треков через запятую как значение для параметра ids. Документация.
   

Итоги

Датасет 2: Исследуем рынок вакансий и выявляем ключевые навыки с Ежу понятно

• Пшеничный Андрей сбор и обработка данных, написание аналитической записки о датасете.
• Кондратёнок Павел Product Manager, сбор данных и описание его процесса, GitHub.
• Щербакова Светлана сбор и обработка данных.
• Евсеева Оксана подготовка итоговой презентации проекта.
• Елфимова Анна Project Manager.

Сбор данных о скилах

Итоги

Датасет 3: Наслаждаемся многообразием котиков с Команда AA

• Евгений Иванов разработка веб-скрапера.
• Сергей Гурылёв product manager, описание процесса разработки, GitHub.
• Юлия Черганова подготовка презентации проекта, анализ данных.
• Елена Терещенко подготовка данных, анализ данных.
• Юрий Котеленко project manager, документация, презентация проекта.

Сбор данных о котиках

• urllib: функции для работы с URL;
  
• html: функции для обработки XML и HTML;
  
• Shutil: функции высокого уровня для обработки файлов, групп файлов и папок;
  
• OS: функции для работы с операционной системой.
  

Итоги

Послесловие

• Профессия Data Scientist
• Профессия Data Analyst
• Курс по Data Engineering