Deutsche telekom it solutions

Осень - удивительное время года. Пока школьники и студенты с тоской по лету начинают учебный год, во взрослых просыпается ностальгия по былым временам и тяга к знаниям.

К счастью, учиться никогда не поздно. Особенно если вы захотели стать DevOps-инженером.

Этим летом наши коллеги запустили первый поток DevOps-школы и готовятся стартовать в ноябре второй. Если вы давно размышляете над тем, чтобы стать DevOps-инженером, добро пожаловать под кат!

Для чего и для кого создавалась DevOps-школа и что нужно для того, чтобы попасть в нее? Мы поговорили с преподавателями и менторами, чтобы узнать ответы на эти вопросы.

- С чего началось создание DevOps-школы?

Станислав Салангин, основатель DevOps-школы: Создание DevOps-школы - это, с одной стороны, требование времени. Сейчас это одна из наиболее востребованных профессий, и спрос на инженеров в проектах стал превышать предложение.Довольно долгое время мы вынашивали эту идею и предпринимали несколько попыток, но окончательно звезды сошлись только в этом году: мы собрали в одном месте в одно время команду продвинутых и заинтересованных специалистов и запустили первый поток. Первая школа была пилотной: в ней учились только наши сотрудники, но скоро мы планируем набрать вторую когорту со студентами не только из нашей компании.

Алексей Шарапов, техлид, ведущий ментор: В прошлом году мы брали студентов на работу как интернов, воспитывали джунов. Студентам или выпускникам университетов тяжело найти работу, потому что требуют опыт, а опыт не получить,если на работу не берут - получается порочный круг. Поэтому мы давали ребятам возможность себя проявить, и сейчас успешно работают. Среди наших стажеров был один парень - инженер-конструктор на заводе, но умевший немного программировать и работать на линуксе. Да, у него не было какие-то крутых навыков, но у него горели глаза. Для меня в людях главное - это отношение, желание учиться и развиваться.Для нас каждый студент - это стартап, в который инвестируем свое время и опыт. Мы даем шанс каждому и готовы помогать, но студент сам должен взять на себя ответственность за свое будущее.

Лев Гончаров aka @ultral, ведущий инженер, евангелист рефакторинга инфраструктуры через тестирование: Около 2-3 лет назад я загорелся идей нести IaC в массы и сделал внутренний курс по Ansible. Уже тогда ходили разговоры, как объединить разрозненные курсы одной идей. Позже к этому добавилось потребность на проекте расширить инфраструктурную команду. Посмотрев на удачный опыт соседних команд по развитию выпускников Java School, сложно было отказаться от предложения Стаса по организации DevOps-школы. Как итог - на своем проекте мы закрыли потребность в специалистах после первого же выпуска.

- Что нужно для того, чтобы попасть в школу?

Алексей Шарапов: Мотивация, увлеченность, легкая толика безрассудства. В качестве входного контроля у нас будет небольшое тестирование, но в целом нужны базовые знания Linux-систем, любого языка программирования и отсутствие страха перед консолью терминала.

Лев Гончаров: Конкретные технический hard skill - это дело наживное. Главное, чтобы был инженерный подход к решению проблем. Совсем не будет лишним знать язык, ведь DevOps-инженер, как человек-клей, должен вылепливать процессы, а это, как ни крути, подразумевает коммуникацию и не всегда на русском языке. Но язык так же можно прокачать на курсах внутри компании.

- Обучение в DevOps-школе длится два месяца. Чему за это время смогут научиться слушатели?

Илья Кутузов, преподаватель, лидер DevOps-сообщества в Deutsche Telekom IT Solutions: Сейчас мы даем студентам только необходимые для работы hard skills:

• DevOps basics

• Development toolkit

• Containers

• CI/CD

• Clouds & orchestration

• Monitoring

• Configuration management

• Development

- Что произойдет после того, как студент освоит программу курса?

Итогом обучения становится курсовой проект, который по окончанию школы защищает студент. После защиты - добро пожаловать в будни энтерпрайза!Кстати, получить оффер можно еще до окончания обучения - если студент хорошо проявит себя, то его могут взять в проект в качестве стажера, а DevOps-школа будет засчитана за испытательный срок. После обучения в DevOps-школе человек сможет сразу начать работать. Он будет знать стек технологий, которые используют в нашей компании, и сможет сразу же включиться в задачи реального проекта.

- Стас, ты как-то упоминал, что набрать команду преподавателей было непросто. Пришлось ли привлечь для этого внешних специалистов?

Станислав Салангин: Да, собрать команду и, главное, удержать ее, не дать разбежаться и продолжать мотивировать было поначалу очень тяжело. Но все преподаватели и менторы школы - наши сотрудники. Это DevOps-лиды в проектах, которые знают, как наши проекты работают изнутри, искренне болеют за свое дело и за компанию.Мы называемся школой, а не академией или курсами, потому что, как в настоящей школе, для нас огромное значение имеет близкое общение преподавателя со студентами. Мы планируем организовать со студентами свое комьюнити - не чатик в Телеграме, а сообщество единомышленников, которые встречаются лично, помогают друг другу и развиваются.

- Чем вы занимаетесь в DevOps-школе?

Илья Кутузов, преподаватель, лидер DevOps-сообщества в Deutsche Telekom IT Solutions:

Я учу студентов построению пайплайнов на гитлабе, как заставить тулы дружить друг с другом и как сделать так, чтобы они дружили без тебя.

Почему DevOps-школа? Онлайн-курс не дает быстрого погружения и не дает практического навыка работы с технологией. Любая виртуальная школа не даст ощущения, что ты действительно умеешь решать практические задачи и сможешь разобраться с реальной проблемой на проекте. То, с чем студенты столкнутся во время обучения, с тем они и будут работать в проектах.

Алексей Шарапов, техлид, руководитель и ментор школы:

Слежу, чтобы студенты и остальные менторы не хулиганили. Помогаю студентам решать споры технические и организационные, помогал слушателям осознавать себя как девопсам, показывал личный пример. Преподаю отработанный и классный курс контейнеризации.

Игорь Ренькас, к.т.н., ментор, product owner:

Я занимаюсь менторингом студентом в школе, а также помогаю Станиславу в организации и развитии школы. Первый блин, на мой взгляд, не вышел комом и мы успешно стартовали, но сейчас мы, конечно же, работаем над тем, что можно улучшить в школе: думаем над модульным форматом, обучением по ступеням, хотим в будущем учить не только hard skills, но и soft skills. У нас не было проторенной дороги и готовых решений. Мы искали преподавателей среди коллег, продумывали лекции, курсовой проект, организовывали все с нуля. Но в этом и заключается наш главный челлендж и вся прелесть школы: мы идем по своему пути, делаем так, как нам кажется правильным и как лучше для наших студентов.

Лев Гончаров aka @ultral, ведущий инженер, евангелист рефакторинга инфраструктуры через тестирование:

Я учу студентов Configuration management и как с ним жить. Что будет недостаточно, что-то положить в git, необходимо изменить парадигму мышления и подходы. Что инфраструктура как код - это значит не только написать некий код, но сделать поддерживаемое, понятное решение. Если про технологии, то рассказываю в основном про Ansible и вскользь упоминаю, как его состыковать с Jenkins, Packer, Terraform.

- Коллеги, спасибо за интервью! Что скажете читателям напоследок?

Станислав Салангин: Мы приглашаем к нам учиться не только супер-инженеров или молодых студентов, не только людей, которые знают немецкий или английский язык - это все придет. Для нас главное - это открытость, готовность к интенсивной работе, желание учиться и развиваться в DevOps.

DevOps - это как раз история это про непрерывное развитие. Символ DevOps - знак бесконечности, состоящий из отдельных кусочков: тестирование, интеграция и так далее. Все это DevOps-инженер должен постоянно держать в поле зрения, постоянно учиться новому, занимать проактивную позицию и не стесняться задавать глупые вопросы.

DevOps-школа - это open source проект. Мы делаем это для сообщества, делимся знаниями, искренне хотим помочь ребятам, у которых есть желание развиваться в DevOps. Сейчас в нашей компании для джунов открыты все дороги. Главное - не бояться!

Как выглядит типичный процесс отбора на стажировку? Есть ли у выпускников гуманитарных вузов шансы на трудоустройство в IT? Как найти способного стажёра и вырастить из него настоящего специалиста? Сотрудники Т Дмитрий Балахонов и Сергей Морозов набирали ребят в свои команды, преследуя разные цели, но в итоге пришли к схожим выводам. Этими выводами, а также интересными историями из практики, коллеги готовы поделиться с читателями Хабра.

Вы оба набирали стажёров. Почему возникла такая потребность?

Сергей: В компании я являюсь руководителем трайба Test Management SSC Russia. Одна из моих задач это поиск стажёров для различных проектов, не только для себя, но и для коллег. Часть стажёров приходит к нам непосредственно через HR-отдел. Например, они могут увидеть вакансию на корпоративном сайте или на HH.ru и откликнуться. Других мы находим через программу рекомендаций, в рамках которой действующие сотрудники могут предлагать кандидатуры своих знакомых. В случае прохождения стажировки и успешного трудойствойства кандидата такой сотрудник получает бонус. Наконец, кого-то мне приходилось искать и самостоятельно.

Исходя из специфики работы, стажёры требуются мне достаточно часто, поэтому накопился опыт отбора, собеседований, педагогической работы.

Дмитрий: У меня немного другая специфика. Сергей набирает людей про запас, чтобы сначала выучить, а уже потом выбрать для них проект. Мне нужны были стажёры в конкретную команду в проект Open Telekom Cloud. Задача была важная, требующая оперативного решения, поэтому я сам был замотивирован заниматься поиском.

По какой причине чаще всего отсеиваются кандидаты?

Сергей: Самый большой отсев происходит из-за английского. Причём у нас не такие уж высокие требования. В идеале, конечно, B2. Но на практике можно и чуть-чуть снизить планку. Если говорить о стажёрском уровне, то вполне достаточно, чтобы человек мог понять вопрос на чужом языке и ответить на него, пусть с ошибками, но чтобы основная мысль была понятна.

Тем не менее, нынешние выпускники технических вузов частно не уделяют английскому должного внимания. Я сделал вывод, что за три месяца стажировки почти нереально прокачать языковые навыки, если у человека их нет. Практика показала, что наилучшие результаты появляются, когда мы берем человека с хорошим знанием иностранных языков и прокачиваем его с технической стороны.

Дмитрий: Справедливо. Грубо говоря, проще взять выпускника или выпускницу факультета романо-германской филологии и помочь освоить тестирование, чем взять вроде бы продвинутого человека с факультета компьютерных наук, но с нуля учить его английскому или немецкому.

Сергей: Часто в резюме написано B2, С1, а человек этому уровню не соответствует. История из реальной практики. Приходит ко мне кандидат. В резюме указано, что уровень владения английским С1, т.е. продвинутый. Спрашиваю: Could you please briefly tell us about yourself?. Отвечает на русском: Извините, я сегодня рассказ о себе не готовил. То есть даже эту фразу произнести на английском он не смог.

Дмитрий: А есть и противоположное. Человек скромничает, мол, я на английском только вино у бармена в Турции заказывал, а когда предлагаешь ему пообщаться он раскрывается. Выясняется, что никаких проблем, никакого языкового барьера у него нет.

По каким ещё критериям проходит отбор?

Сергей: Если речь идёт именно о стажёрах, то завышенных требований мы не выдвигаем. Мы просто хотим увидеть, что у человека есть элементарная техническая база (SQL, REST, понимание протокола HTTP и т.п.). Можем давать простейшие задачи на программирование. Важно, чтобы человек, помимо упомянутого владения языком, просто обладал логическим мышлением и был способен к обучению.

Дмитрий: Другие очень важные критерии отбора мотивированность и настойчивость. Однажды в мой проект на стажировку пытался попасть парень, которого не взяли в другом нашем проекте. Коллеги считали, что техническая база у кандидата слабая и с ним будет много хлопот. Но в процессе общения выяснилось, что парень работает инженером на заводе, проектирует насосы, а в свободное от работы время каждый вечер занимается программированием. Мне стало понятно, что с такой настойчивостью в реальном проекте он очень быстро прокачается. Так оно и произошло в итоге. Поэтому никогда не нужно отчаиваться всегда есть возможность попробовать пройти интервью ещё раз и попробовать себя в других проектах.

А что важно указывать в CV?

Сергей: Я всегда говорю обязательно пишите ключевые слова по вашим компетенциям, даже если вы не очень глубоко в чём-то разбираетесь. Речь ведь идёт о стажировке, а не о полноценной занятости. Если читали книжку по профильной теме, проходили курс, даже видео на Youtube смотрели, пишите об этом в CV. Интервьюеру это позволит найти темы для разговора и в итоге максимально раскрыть кандидата. А так мы порой вынуждены сами буквально выуживать из человека информацию.

Дмитрий: Да, это очень типично. Как-то перед собеседованием я просматривал резюме девушки, которую мне рекомендовали как хорошего специалиста в Python. Так у неё ни разу слово Python в CV не мелькнуло. Если бы я изначально об этом её навыке не знал, то как должен был догадаться?

Такое ощущение, что сейчас бум платных курсов по программированию и тестированию. Часто их указывают в CV?

Сергей: Да, они встречаются. Но у меня к ним скептическое отношение. Конечно, если платные курсы есть в CV, это лучше, чем ничего. Но при прочих равных условиях я бы предпочёл видеть там стажировку в конкурирующей IT-компании. Обучение в таких компаниях, как ни крути, выгоднее для человека, чем платные курсы. Во-первых, не нужно платить деньги. Во-вторых, IT-компании реально заинтересованы в том, чтобы вырастить специалиста и устроить его в свой проект, а не заработать на обучении. А платные школы это всё-таки коммерческая история, и нередко бывает так, что за красивой картинкой там ничего не стоит. Не буду обвинять всех подряд, но такое действительно бывает. Поэтому важно читать отзывы о школах и образовательных курсах, общаться с теми, кто их уже проходил, чтобы иметь релевантную информацию.

Но если человек прошёл стажировку в другой компании и его не взяли на младшего инженера, значит, он недостаточно хорош. Разве не так?

Сергей: Не совсем. Возможно, в другой компании были очень высокие требования в конкретном проекте, на который набирали стажёров. И у нас бывают проекты разного уровня, в том числе сложные для освоения начинающими специалистами. В 2018 году у меня была группа из пяти стажёров. По окончании стажировки трёх забрали проекты, а двоих не взяли. В итоге один из стажёров устроился к нам на следующий год, а другой нашёл работу у конкурента. Так что всё относительно, целеустремлённый человек рано или поздно найдёт себя.

Дмитрий: У меня был стажёр, который где-то полгода ходил по разным компаниям, но никуда его не брали. В итоге попал в наш проект. Стал отличным специалистом. Причём ещё на стажировке его разные команды буквально делили между собой, т.е. задатки стали проявляться очень быстро.

Как проходит стажировка? Ваши подходы чем-то отличаются?

Сергей: На стажировке к человеку прикрепляется ментор или несколько менторов, каждый из которых покрывает какую-то тему. Кто-то может о Java рассказывать, кто-то преподавать теорию тестирования и т.д. Сама программа обучения составляется так: мы смотрим, в каких проектах в ближайшем будущем готовы взять младших инженеров и какие требования есть в этих проектах по технологиям. Исходя из этого находим менторов с нужными скиллами.

Далее обязательно держать руку на пульсе и не оставлять стажёра наедине с собой. Ментор должен регулярно давать ему задания, проверять, разбирать ошибки, отвечать на вопросы. Задания могут быть взяты из реальных проектов, а могут быть придуманы самим ментором. Разница не очень существенна. Главное, чтобы стажёру была обозначена конечная цель что он должен знать и уметь по истечении трёх месяцев.

Дмитрий: Я уже говорил, что мы берём людей в конкретный проект. Люди сразу работают над реальными задачами. Что касается подбора менторов, то здесь есть два варианта развития событий. В каких-то командах Open Telekom Cloud много специалистов из России, а в каких-то единицы. Может сложиться, что стажёр попадёт в команду, где вообще никого из России нет. Ментором тогда станет иностранец и задания будут исходить от него. Но в таком случае мы всё равно подыскиваем и русскоязычного наставника. Его можно найти в другой команде, которая выполняет похожие задачи.

Приходят ли на стажировку люди с абсолютно не профильным образованием и бэкграундом? Насколько они бывают успешны в профессии?

Сергей: В моей практике есть несколько успешных кейсов. В основном они связаны с тестированием. Например, у нас стажировалась девушка, которая окончила строительный университет и до этого восемь лет работала архитектором. Сейчас успешно влилась в IT, более двух лет работает в нашей компании. Или был молодой человек, который десять лет трудился в ресторанном бизнесе: барменом, менеджером и т.д. Потом он вдруг решил переквалифицироваться в QA. Тоже работает сейчас у нас и прекрасно справляется.

А какой вообще процент стажёров в итоге становится специалистами?

Дмитрий: Точный процент я не назову, но он очень высокий. Ведь основной отсев происходит на собеседованиях. Если человека взяли на стажировку, то скорее всего через три месяца он уже станет младшим инженером, полностью вольётся в команду и возьмёт на себя какой-то участок работы.

В этом смысле выращивать специалистов внутри компании очень выгодно. Ведь основной массив кропотливой работы приходится как раз на мидлов и джунов. Специалисты экспертного уровня уже больше выполняют роль консультантов, предлагают методологию работ, а в детали вникают редко.

Не в каждый проект можно взять начинающих. Но по возможности выращивать своих специалистов нужно, это даёт огромное стратегическое преимущество.

Сергей: Преимущества стажировок для компании налицо. Найти стажёра проще, чем синьора. Его легче интегрировать в корпоративную культуру. А при наличии способностей он будет быстро продвигаться внутри команды. Если при этом и другие специалисты не останавливаются в развитии, система начинает работать по-настоящему эффективно. Ведь можно же и мидла развить до уровня синьора, ставя перед ним чёткие цели. А когда он достигнет нужного уровня, то в свою очередь освободит место для бывшего стажёра. Это прекрасный путь, который позволяет развивать команду и давать людям возможности для роста.

Как научиться применять методы машинного обучения, поставить задачу, выбрать модель, найти данные для её обучения и упростить работу аэропортов за пару месяцев, обнаружив связь между биржевыми индексами и дневным количеством пассажиров? Проще, чем может показаться.

Наша команда более десяти лет разрабатывает приложения, которые управляют работой крупнейших аэропортов: Франкфурт, Дублин, Манила, Джакарта, Майами, Пекин. Аэропорты используют приложения для оптимального управления ресурсами, организации работы и контроля за потоками информации аэропортов, координации расписания рейсов.

Крупные аэропорты обслуживают сотни тысяч пассажиров, тысячи тонн грузов и сотни самолётов в день. Так, за 2019 год аэропорт Франкфурта обслужил более 70 миллионов пассажиров, более двух миллионов тонн грузов и более пятисот тысяч самолётов. То есть, в день аэропорт обслуживал порядка 190 тысяч пассажиров, более пяти тысяч тонн грузов, более тысячи самолётов. Такие показатели связаны с огромным количеством человеческих и материальных ресурсов. Для типичного пассажира внутренняя работа аэропорта представляется чёрным ящиком. Мы проходим набор рутинных процедур: собственную регистрацию, регистрацию или получение багажа, трансфер до самолёта и полёт. Кажется, всё достаточно просто, однако, это лишь вершина айсберга. Каждый видимый нами процесс включает в себя десятки подпроцессов, в которых задействованы сотни людей. Логично, что задачей менеджеров аэропорта является оптимизация процессов для снижения затрат на привлечение сотрудников и других ресурсов. Мы попытались решить это задачу.

Идея звучит достаточно просто: Если вы знаете, сколько пассажиров обслуживает аэропорт в конкретный день вы знаете, какой набор ресурсов для этого потребуется: сколько сотрудников должно выйти на работу, сколько автобусов будет использовано для доставки пассажиров к самолётам, сколько горючего этим автобусам потребуется. Таким образом, задача сводится к определению количества пассажиров в аэропорту в конкретный день в будущем. Это позволит менеджменту привлекать заранее известное количество ресурсов, а значит, точнее рассчитывать расходы. Поставленная задача является задачей регрессии, в которой необходимо установить зависимость количества пассажиров от других параметров.

Следующим шагом стал подбор параметров, которые могли бы оказать влияние на количество пассажиров. Первыми в голову пришли характеристики искомого дня:

• Время года. Туристические сезоны отчётливо прослеживаются и вносят существенный вклад в количество пассажиров. В авиации принято использовать астрономические сезоны, поэтому и мы опирались именно на них.

• День недели. От дня недели зависит как количество туристических рейсов, так и количество рабочих перелётов.

• Праздник и его характер. Информация о том, является ли день праздничным, продолжительность праздника, характер праздника (религиозный или общественный). Череда праздников, как правило общественных, может мотивировать людей совершать перелёты.

Важнейшим же шагом на пути к решению задачи стало предположение о влияние экономической ситуации в стране на пассажиропоток. А именно о том, что экономической рост стимулирует пассажиропоток, и между двумя этими величинами существует зависимость. Для динамической оценки состояния экономики мы решили использовать DAX, а также уровень занятости населения.

Ежедневные значения DAX, а также процент работающих граждан Германии были взяты с Yahoo Finance. Для обучения модели использовались данные о ежедневном количестве пассажиров в аэропорте за 2018 и 2019 год, взятые на kaggle. Сезонность, день недели и характер праздничности дня мы посчитали вручную. На подготовительном этапе были использованы исключительно открытые источники, данные из которых были сгруппированы в единый датасет.

Влияние состояния экономики на пассажиропоток не носит молниеносный характер. Должно пройти время для того, чтобы люди ощутили изменения на себе. Поэтому судить о текущем дне по текущему DAX не совсем справедливо. Нужно было найти оптимальный сдвиг DAX от текущей даты по величине коэффициента корреляции между DAX и количеством пассажиров. Такой поиск обозначил 5 различных сдвигов со схожим результатом: от 15 до 19 дней относительно текущей даты.

Следующим шагом был выбор используемой модели. Нашей целью было получение минимального значения MAE, которое говорило бы об ошибке в (количество людей / день). Были испробованы различные варианты разбиения датасета на тест и трейн, различные сдвиги DAX относительно текущего дня, различные модели и их параметры. Конкретно были рассмотрены Linear Regressor, Random Forest, Gradient Boosting, SGDRegressor. Параметры для моделей подбирались с помощью GridSearchCV.

Расчёт ошибки и точности предсказания происходил отдельно для каждого сдвига DAX для каждой модели. Результатом каждого прогона были графики как на картинке ниже. На каждом из таких графиков изображено реальное количества пассажиров из данных теста (синим) и график предсказаний модели на данных того же тестового датасета (оранжевым). Для уверенности в правильном обучении модели и недопущении её переобучения также сравниваются показатели MAE для теста и трейна. Их близость говорит о корректности обучения. Решение о компетентности модели и выборе данных принимались на основе MAE, однако привычный показатель score модели для каждого набора (сдвиг DAX + модель) тоже принимался во внимание.

При построении всех возможных комбинаций стало понятно, что с использованием любой модели наилучший результат достигается при использовании DAX со сдвигом в 15 дней. Как говорилось выше, при выборе модели, мы ориентировались на минимальность MAE. На основе этого критерия была выбрана модель Gradient Boosting с ошибкой в 297 человек. Это означает, что ошибка в день в среднем составляет вместительность одного самолёта.

Следующим шагом стало сохранение обученной модели с помощью pickle, использование REST API для взаимодействия с моделью и создание Docker-образа. После контейнеризации получаем готовое приложение, которое отвечает на вопрос о количестве пассажиров в аэропорту через 15 дней, исходя из DAX, уровня безработицы и информации о том, является ли день праздничным. Данное решение может быть встроено в инфраструктуру любого аэропорта при наличии данных о пассажиропотоке в прошлом. Необходимо лишь переобучить модель на данных конкретного аэропорта.

Это был первый проект подобного рода для нашей команды. Приложение вот-вот начнёт использоваться заказчиками, но мы уже строим планы по его дальнейшему усовершенствованию и хотим продолжить использовать машинное обучение для решения других задач. Если у вас есть вопросы, пишите в комментариях, буду рад ответить на них.