Бег

Продолжая цикл заметок про реальные проблемы в Data Science, мы сегодня разберемся с живой задачей и посмотрим, какие проблемы нас ждут в пути.

Например, помимо Data Science, я давно увлекаюсь атлетикой и одной из целей в беге для меня, конечно, является марафон. А где марафон там и вопрос за сколько же бежать? Часто ответ на этот вопрос дается на глаз ну в среднем бегут или вот Х хорошее время!

И сегодня мы займемся важным делом применим Data Science в реальной жизни и ответим на вопрос:

А что нам говорят данные о московском марафоне?

Точнее, как уже понятно по таблице в начале мы соберем данные, разберемся, кто и как бежал. А заодно это поможет понять, стоит ли нам соваться и позволит здраво оценить свои силы!

TL;DR: Я собрал данные по забегам московского марафона за 2018/2019, проанализиворовал время и показатели участников, а код и данные выложил в открытый доступ.

Сбор данных

Путем шустрого гугления мы обнаружили результаты прошлых пары лет, 2019 и 2018 годов.



Внимательно посмотрел на веб страницу, стало понятно, что данные довольно просто достать нужно лишь разобраться, какие классы за что отвечают, например, класс results-table__col-result, понятное дело, за результат и тд.

Осталось понять как достать все данные оттуда.



И это, оказывается, несложно, ибо тут есть прямая пагинация и собственно мы итерируем по всему отрезку чисел. Бинго, выкладываю собранные данные за 2019 и 2018 год здесь, если кому-то интересно для последующего анализа, то сами данные можно скачать здесь: здесь и здесь.

С чем тут пришлось повозиться

• Страница не отдает ошибок если что-то идет не так, никто не посигналит, сайт просто отдает какие-то данные (например, повторяет прошлую страницу с результатами).
• В какой-то момент сервер решает, что он устал и перестает отдавать данные и виснет проблема решается с помощью поспать и продолжить сбор с прошлой точки.
• Url-магия сайт что-то мудрит со ссылками, и нельзя просто поменять год в url и получить результаты другой гонки приходится ручками через поиск искать и перепроверять, что мы действительно получаем свежие данные иначе отгружает молча данные последнего года.
• В какой момент я собирал данные и параметризовал скрипт сбора данных годом запустил и стал собирать через час другой у меня было четыре датасета за 2016, 2017 и оказалось, что страница молча отдавала данные за 2019 год потому что в том месте год вообще игнорировался, что было совершенно неожиданно вывод стоит всегда проверять такие вещами руками, а не только постфактум хотя и постфактум, конечно, надо проверять данные.
• Здесь есть несколько типов NA: DNF, DQ, "-" придется проводить анализ и перепроверять, и чистить данные, иначе на выходе мусор.
• Типы данных: время здесь это timedelta, но из-за перезапусков и невалидных значений приходится поработать с фильтрами и очисткой временных значений, чтобы мы оперировали над чистыми временными результатами для подсчета средних значений все результаты здесь это усреднение по тем, кто финишировал и у кого зафиксировано валидное время.

А вот и код спойлера, если кто-то решит продолжить собирать интересные беговые данные.

Анализ времени и результатов

Перейдем к анализу данных и собственно результатов забега.
Использовались pandas, numpy, matplotlib и seaborn все по классике.

Помимо средних значений по всем массивам, мы отдельно рассмотрим следующие группы:

• Мужчины так как я вхожу в эту группу мне интересны именно эти результаты.
• Женщины для симметрии.
• Мужчины до 35 это условно одна из самых соревновательных групп и понятно, что сравнивать мне стоит именно с ними так как я в этой группе.
• Отдельно посмотрим на 2018 и 2019 годы а вдруг что поменялось?.

Сначала бегло глянем на таблицу ниже здесь еще раз, чтобы не скроллить: участников стало больше, 95% в среднем добегает до финиша и большая часть участников мужчины. Хорошо, это значит, что в среднем я в основной группе и данные в среднем должно хорошо отображать среднее время для меня. Продолжаем.





Как мы видим средние показатели за 2018 и 2019 практически не изменились примерно 1.5 минуты стали быстрее бегуны в 2019 году. Разница между интересующими меня группами незначительна.

Перейдем к распределениям целиком. И сначала к общему времени забега.


Как мы видим пик прямо перед 4 часами это условная отметка для любителей пробежать хорошо = выбежать из 4-х часов, данные подтверждают народную молву.

Далее, посмотрим, как в среднем изменилась ситуация за год.



Как мы видим фактически вообще ничего не поменялось распределения выглядят фактически идентичными.

Далее рассмотрим распределения по полу:





В целом оба распределения нормальные с чуть разным центром мы видим, что пик на мужском так же проявляет себя на основном (общем) распределении.

Отдельно перейдем к самой интересной для меня группе:



Как мы видим принципиально картина такая же, как и в целом в мужской группе.
Отсюда делаем вывод, что 4 часа для меня тоже являются хорошим средним временем.

Изучаем улучшения участников 2018 2019

Из интересностей: я почему-то думал, что сейчас быстренько соберу данных и можно углубиться в анализ, искать там закономерности часами и тд. Оказалось все наоборот, сбор данных оказался сложнее самого анализа по классике работа с сетью, сырыми данными, очисткой, форматирование, приведение типов и тд заняло куда больше времени чем анализ и визуализация. Не стоит забывать, что мелочи отнимают немного времени но их [мелочей] совсем не мало и в конце они-то и скушают весь ваш вечер.

Отдельно хотелось посмотреть, а как улучшили свои результаты люди, которые участвовали оба раза, путем сопоставления данных между годами мне удалось установить следующее:

• 14 человек участвовали оба года и ни разу не финишировали
• 89 человека добежали в 18 м, но не смогли в 19
• 124 наоборот
• Те, кто смогли добежать оба раза в среднем улучшили на 4 минуты свой результат

Но тут оказалось довольно интересно все:



То есть в среднем люди чуть чуть улучшают результаты но вообще разброс невероятный и в обе стороны то есть хорошо надеяться, что будет лучше но судя по данным, получается вообще как угодно!

Выводы

Я сделал для себя следующие выводы из проанализированных данных

• В целом 4 часа хорошая цель в среднем.
  
• Основная группа бегущих как раз уже в самом соревновательном возрасте (и одной группе со мной).
  
• В среднем люди чуть чуть улучшают свой результат, но вообще судя по данным там как попадет вообще.
  
• Средние результаты всего забега примерно одинаковые оба года.
  
• С дивана очень комфортно рассуждать о марафоне.
  

Сколько пальцев я показываю?
Впереди маячила фигура в белом халате с поднятой рукой. Вероятность угадать всего 17%, и лучше я честно признаюсь, что не вижу.
Сможешь сам вернуться в палату?
Сегодня уже смогу: контуры дверных проемов вижу, а номера не нужны расположение помню, а остальное на ощупь. Хотя вначале водили за ручку, было дело.

В палате есть, чем заняться. Соседа утром выписали, и теперь я могу гулять. По диагонали шесть шагов туда и шесть обратно. Можно ещё для разнообразия поворачивать сначала через одно плечо, потом через другое. А если к тому же интенсивно махать руками, то минут через десять часы начнут вежливо теребить руку: Кажется, у вас тренировка по ходьбе, давайте запишем? Давайте, давайте. Самому включить сложно нужно касанием выбрать один из типов тренировки, которые периодически меняются местами, выстраиваясь по частоте использования. Вот выключить смогу смахнуть направо и ткнуть в левый нижний угол.

А скажи-ка мне, Siri, сколько времени! Сейчас тринадцать часов сорок одна минута. Впрочем, в детстве я смог бы ненамного хуже: 08 на дисковом аппарате вслепую набрать пустяк. Нынче же говорящие часы помогают и подсказывают. И пусть обед приносят с точностью до получаса, но процедуры-то по расписанию, пропускать нельзя.

Только немного беспокоит, что вся мощь современных технологий может рухнуть в один момент, если телефон попросит, наконец, пин-код. Поэтому стараюсь всегда прикладывать к сенсору чистый сухой палец, чтобы чудо-алгоритм не заподозрил неладное. Интересно, а можно цифры вслух произнести, чтобы разблокировать? А как? А узнал бы меня Face ID? Глаза-то я открою, но в них ведь сплошной белый туман.

Привет, Хабр!

Был тут пост, которым я искренне впечатлился: Разработка на скорости 450 слов в минуту. Мысленно переварив использование компьютера вслепую, в комментариях к оригиналу нашел ссылку на блог незрячей девушки Молли Бёрк более двух миллионов подписчиков. Она рассказывала, как пользуется современными технологиями компьютером, мобильным телефоном. Как ловко у нее всё получалось тогда! А теперь я пялюсь на голубоватый прямоугольник, покрытый разноцветными кляксами, и пытаюсь вспомнить, как же с этим всем взаимодействовать.

В мире живут более двух миллиардов людей с нарушениями зрения и десятки миллионов слепых. Я одной ногой оказался в их мире. Паники никакой не было, поэтому я спокойно изучал его изнутри. Какие тут есть занятия, достойные IT-шника?

Блогер

Обычное течение событий прервалось, я без всяких предупреждений выпал из всех рабочих процессов. Мои сотрудники наверняка волнуются и переживают. Надо их успокоить. Решаю, что самое простое в моей ситуации записать видеопослание.

Вчера была операция, и я вижу чуть лучше. Буквы на экране не читаются, иконки из тонких линий не видны, но кнопка записи крупная, как-нибудь уж попаду. Монтаж исключается, поэтому нужно всё записать одним кусочком. Придумываю текст и повторяю его несколько раз, оттачивая фразы на ходу. Тренируюсь вначале сам с собой, потом с камерой. Часа через полтора получается приемлемый дубль на три минуты. Надеюсь, что выгляжу я не слишком пугающе самому это пока не оценить.

Остается пустяк отправить ролик в Slack. Надо нажать Share (где кнопка помню) и выбрать Slack (даже размытую иконку узнать можно). Надеюсь, что нужное пространство и канал general выбраны по умолчанию. Далее Send хм, вроде, справа сверху? Но что-то идет не так. То ли я жму не туда, то ли Slack чудит, то ли видео у него не той системы.

Пробую другой вариант пойти в сам Slack и прикрепить видео к пустому сообщению. Но этот путь не для слабовидящих кнопки плотно налеплены, UX оставляет желать лучшего. Тут помощник нужен, homo sapiens! Запрашиваю видеосозвон и с личного телефона через камеру показываю экран рабочего, а моя собеседница направляет мой палец, чтобы я попадал в нужные кнопки.

Попытка за попыткой терпят неудачу, но в самое последнее мгновение перед полным отчаянием всё получается. Отправилось, жду лайков! Так я на неделю становлюсь видеоблогером, выпуская новостные ролики каждые пару дней, а поиск сюжетов становится игрой.

Телефона-телефона!

Я как в том анекдоте пытаюсь добиться чего-то, разговаривая со своим телефоном. В детстве это звучало смешно, а теперь не уверен, что дети поймут, в чем шутка. Ведь действительно можно попросить телефон, например, позвонить кому-нибудь. Это неплохо получалось. Звонящих мне распознавал уже по голосу. Но мне не удалось одолеть такой сценарий: когда разговариваю с одним человеком, а в это время звонит другой. Заканчиваю первый разговор и пытаюсь выяснить у телефона, кто мне звонил. Либо молчит, как партизан, либо начинает звонить по последнему номеру, который я сам набирал. Не удается найти общий язык. Потому что в обычной жизни я пренебрегал голосовым управлением, а ведь можно было хотя бы потренироваться.

Нейробика

Нейробика это гимнастика для мозга, когда занимаешься непривычной для себя деятельностью или делаешь привычные дела, но необычными способами. Считается, что это помогает появлению новых нейронных связей. Можно делать всё другой рукой, или с закрытыми глазами, или выбирать разные маршруты домой, или сосредоточиться на запахах окружающих предметов, или помещать себя в непривычную обстановку, или перемножать в уме большие числа вариантов масса, включая метазадания по придумыванию новых заданий. 2020-ый и так повыгонял всех из зоны комфорта, ломая привычки, а в больнице всякой нейробики только прибавилось.

Закройте глаза. Вы у себя дома, где всё должны знать. Попробуйте дойти до ванной и помыть руки. Интересные ощущения, правда? Или попробуйте набрать полный стакан воды, не пролив. Мне удавалось не глядя наливать воду из кулера в бутылочку. Изначально рассчитывал засечь изменение высоты звука струи, но было слишком тихо. Поэтому отсечку я делал, когда пальцы у горлышка начинали ощущать холод поднявшейся воды.

Людям, приросшим к смартфонам и компьютерам, настоятельно рекомендую почаще контактировать с физической реальностью в разных проекциях.

Кругомысли

Я всегда считал, что главный мой актив мозг, а мои мысли, способность размышлять и придумывать что-то новое всегда обеспечат мне занятие. Это подтвердилось и на этот раз от безделья не скучал. Но всё равно пришлось серьезно перестраиваться.

В нормальной жизни телефоны и компьютеры окружили нас такой заботой, что навыки запоминания и удерживания информации стали атрофироваться. Ведь всегда под рукой все познания интернета, записные книжки, напоминалки. Правда, в моей ситуации приток новой информации извне всё равно ограничен, поэтому проблема немного иная.

Дело в том, что хотя мысли и идеи сами по себе нематериальны, им так или иначе нужно физическое воплощение в виде конкретных действий, формальных документов, художественных произведений, программ или чего-нибудь ещё. Иначе наступает переполнение, и всё путается. При невозможности воспользоваться внешним буфером, выгрузить мысли наружу записать, зафиксировать приходится держать всю картину в голове. Запоминать становится сложнее визуальный канал перекрыт, моторный ограничен. Приходится возвращаться к тем же мыслям по кругу, убеждаясь, что они ещё на месте неэффективно как сортировка за O(n).

О чем думаю? О работе. Сочиняю сценарий для серии видеороликов про наши приложения. После опыта с видеопосланиями это дается немного легче. Пробую погонять наши игры на телефоне: вся геометрия безнадежно, но неожиданно удается поиграть в Tchisla. Почти ничего не видно, но нажимая в разные места, решаю несколько задач и получаю золотую медальку. Число попалось несложное, но всё равно радуюсь, что UX, который мы придумали, неплох.

Пытаюсь представить, как могла бы работать Euclidea геометрические построения для слепых. Так чтобы программа могла вслух описать сцену, а пользователь голосом строить новые точки, окружности и прямые. Смогут ли люди удержать это всё в голове? Хотя ведь многие умеют играть в шахматы вслепую. В геометрической задаче объектов, может быть, и меньше, но связи между ними куда сложнее и иногда крайне неочевидные задача часто и состоит в их отыскании. А если не-оче-видное, то нужны ли очи?

Минус семь

Новые обстоятельства, даже малоприятные, открывают новые возможности. Нужно постараться извлечь из них максимум. В моем случае минус семь это не про зрение, а про семь лишних килограммов, которые я оставил в больнице. Три набранных за карантин и ещё четыре лично мои. Сейчас расскажу рецепт.

Питание строго три раза в день примерно в 10, 14 и 17 часов. Из сладкого только чай или компот. Порции скромные. Уверен, что все белки-жиры-углеводы точно посчитаны, прямо как ГОСТ прописал, но это слабое утешение. Коронавирус добавил ограничений: кафе внизу закрыто, передачи делаются через пару буферных охранников, причем еду передавать запрещено.

В первые дни, не имея визуального подтверждения, никак не мог понять, что ем. То ли макароны, то ли рис, то ли с курицей, то ли с рыбой, а это то ли это рассольник, то ли борщ, а может и щи. На вкус всё одинаковое, почти без соли и без всяких пряностей видимо, чтобы аппетит зазря не разыгрывался.

По этому поводу придумал шутку для своих видеопосланий. Поспорили мы как-то с соседом про обед. Я утверждал, что гарнир рис, а он говорил, что цветная капуста. Но я же точно видел, что в контейнере что-то белое, а не цветное!

Но просто диета это неинтересно и нетехнологично. Помогают умные часы, отслеживающие активность. Ведь книжку не почитать, кино не посмотреть, по интернету не побродить. Основное развлечение, помимо процедур и осмотров выполнить норму по минутам тренировки и потраченным калориям. Фишка в том, что прогресс отображается в виде крупных цветных колечек, а их разглядеть я уже могу. Значит, утром обязательная зарядка. Никаких лифтов: с четвертого этажа поднимаешься на шестой строго по лестнице, причем через первый этаж. В ожидании очереди на процедуры хожу по коридору взад-вперёд. Пятнадцать минут и уже километр накапал. Самый шик бег в палате, пока никого нет и врачи не дёргают. Рекорд условные 4.3 км за полчаса.

В особо удачный день часы насчитали 21 тысячу шагов, примерно 17 км. В сумме пробег по больнице составил больше 100 км, и я выхожу из нее, не сильно растеряв спортивную форму. А бегать после этого стало ещё легче на целых семь килограммов.

Эпилог

Всё утро тянется выписка. Каждый врач хочет напоследок заглянуть глубоко в мои глаза. И вот я выхожу на улицу. Небо по-питерски укутано в облака, и я даже не угадаю, за каким из них прячется августовское солнце. Но от слишком яркого для меня света всё равно текут слезы зрачки останутся расширенными ещё минимум на месяц. Свобода! Или не свобода?

Я не сразу вызову такси. Бодрым шагом пройду несколько кварталов, вдыхая свежий воздух и глядя на ставший непривычным мир сквозь прикрытые ресницы. А дома тут же брошусь не к холодильнику, а к компьютеру выяснить вопрос, который меня волнует последние дни: смогу ли? Да, пусть всё замылено и буквам не хватает контраста, но это уже мелочи. IT-жизнь продолжается! Нужно будет на Хабре рассказать свою историю.

Благодарности
Пользуясь случаем, хочу ещё раз поблагодарить всех, кто меня поддерживал и, конечно, врачей МНТК Микрохирургия глаза: Елену Владиславовну Самкович, Марину Васильевну Гацу, Ирину Евгеньевну Панову, Анастасию Юрьевну Улитину, Наталью Валентиновну Мацко и многих других к сожалению, я даже не всех видел. Если бы не их профессионализм и терпение, всё могло бы закончиться гораздо хуже.