Всем привет! Меня зовут Анастасия Шарикова, я руковожу отделом тестирования в Bookmate и веду телеграм канал Yet another QA.
Уверена, что многие, когда приходили на позицию QA Leada, ожидали сложных и интересных задач по выстраиванию процессов, настройке системы автотестов, налаживанию функционального и нефункционального тестирования, в конце-концов задач по управлению сотрудниками. Но в итоге оказалось, что все это есть, но сочетается с такими бытовыми штуками, как расчет зарплат, определение бюджета на отдел и прочих проблем, связанных с финансами и зачастую от этого никуда не деться, особенно в маленьких и средних компаниях. Тем не менее, внимательность к таким темам отличный способ дополнительно повысить качество вашего продукта и найти и предотвратить проблем уже на самых ранних этапах.
Большинство руководителей отделов контроля качества/тестирования, сотрудники которых работают с мобильными приложениями, в какой-то момент сталкиваются с задачей обновления парка мобильных устройств и решения о том, на чем в целом тестировать сотрудникам. И если для матерых спецов это вообще не вопрос, то новичку часто сложно сориентироваться в этом вопросе, и сегодня я постараюсь рассказать о том, на что можно опираться в своем выборе и какие есть сложности и подводные камни у закупок устройств для тестирования.
В этой статье будет сделан акцент именно на подбор девайсов для ручного тестирования, так как у подбора ферм для автотестов есть свои особенности, и на эту тему лучше поговорить отдельно.
Конечно, на первый взгляд тема может показаться не такой уж существенной мол, зачем париться, можно взять самые популярные, да подороже, а остальное протестировать на симуляторах и эмуляторах. Но в реальности огромное количество багов всех типов можно отловить только на реальном устройстве, к тому же мануальным тестировщикам тоже надо обычно на чем-то работать для проверки ежедневных задач.
Почему лучше не скидывать целиком эти задачи на другие отделы, например закупки, если они есть? Потому что они обычно не разбираются в особенностях и метриках конкретно вашего продукта, и есть шанс упустить что-то важное.
В большинстве случаев наша задача создать универсальный набор устройств, который покроет максимальную выборку из комбинаций осей, производителей, моделей, экранов и типов смартфонов и планшетов, и сделать все это на имеющийся у нас бюджет.
Основные параметры, влияющие на подбор:
- Внешняя аналитика: тут нам на помощь могут прийти как международные подборки по самым популярным устройствам (такие, как, например deviceatlas.com), так и банальные варианты типа сортировки в яндекс.маркете по самым популярным устройствам. Тут важно не купиться на удочку самых лучших телефонов, т.к мнение экспертов зачастую очень расходится с мнением обычных потребителей. Главное помнить про то, на какую страну и ЦА ориентирован ваш продукт, и основываться на этом условии.
- Внутренняя аналитика: в этом случае у нас огромное количество вариантов, на что можно опираться, к тому же это самые четкие данные и именно по нашему продукту. Что же мы тут можем использовать? Данные систем аналитики, таких как Firebase или информацию по устройствам из Google Play. И важно не забывать брать в расчет не только устройства и оси, которыми пользуются ваши сотрудники, но и те, на которых система чаще всего ловит ошибки и креши.
- Тенденции на рынке: каждый месяц на рынок выходят новые игроки и устройства, появляются обновления осей и новые лидеры рынка, и все это важно учитывать. Примеры то, насколько стало больше за последний год устройств со шторкой/бровкой или санкции США против Huawei.
Не забываем про особенности нашей аудитории:
Всегда важно помнить об особенностях конкретно вашего продукта и его ЦА и стараться избегать субъективности даже если вам кажется, что iPhone 11 Pro венец творения компании Apple, это не принесет вам особой пользы в работе, если аудитория вашего приложения для обработки фотографий школьники, которым родители подарили шестой или седьмой айфон. Это же работает и в обратную сторону если вы знаете, что вашим сервисом пользуются обеспеченные люди и оно будет установлено в основном на iPad Pro новейшей модели то придется раскошелиться на него, иначе жди беды.
Особенно важно заметить про страны пользования почти у всех стран есть свои фишки, так что аудитория приложения для условной Индии в среднем будет отличаться от пользователей из Скандинавии.
Важные особенности и фишки на примере iOS и Android:
Конечно, в рамках статьи не охватить все-все сложности и особенности, но я постараюсь упомянуть основные:
iOS
- В сравнении с андроидом, мало устройств, и они не так уж и часто выходят, аналогично и с осями, которые надо учитывать.
- Проще держать адекватный усредненный набор типов экранов и не забывать что у некоторых есть retina, это может быть важно для некоторых типов тестов. Но, конечно, не всегда. Тем не менее, основные баги по верстке можно словить на комбинации четырех-пяти айфонов от пятого до одиннадцатого. И не забывайте про шторку!
- Учитывайте, какие вы поддерживаете версии iOS и старайтесь сделать так, чтобы они равномерно распределялись по устройствам.
- Не забывайте про магию Split View режима и старайтесь держать хотя бы одно устройство, которое его поддерживает
- Проблемой при закупке может всегда возникнуть цена, особенно, если вы стараетесь выпускать адаптированные версии в первую же неделю продаж но, с другой стороны айфоны и долго не протухают, так что это можно считать долгосрочным вложением. Конечно, кто-то тут может со мной поспорить, но на моей практике именно техника Apple жила дольше при постоянном использовании для нужд тестирования.
Android
- Очень много устройств и это боль. И тут точно никуда без аналитики потому что именно на ней и должна в случае андроида оцениваться ваша аудтория, иначе придется покупать что попало, а это не приводит к продуктивным результатам. Опять же, есть соблазн тестировать на том, что модно, современно и быстро работает, но если ваши юзеры сидят на китайских Oppo то вы можете и не узнать, что там, оказывается, ничего и не запускается.
- Учитывайте особенности оболочек андроида и сторов особенно внимательно надо работать с теми, которые отключают по умолчанию сервисы Google Play, в том числе и стор. Старайтесь держать в парке разные варианты, в том числе и голый андроид.
- Если с планшетами в Apple все довольно просто, то в андроиде это чистое безумие, потому что большинство из них имеют старые оси, плохого качества экраны и очень медленное железо. Конечно, этого и стоило ожидать от планшетов за 1999 рублей, но если ваша аудитория ими пользуется, а вы делаете тяжелую игрушку, то ее может вырубать прямо на старте. Пример из жизни: компания, в которой я работала, заключила контракт с одним из производителей телефонов о том, что они предустанавливают наше приложение к ним, но когда телефоны пришли в офис оказалось, что в них настолько мало памяти, что не запускаются даже предустановленные приложения из коробки. Пришлось, конечно, упрощать наш сервис.
- Помните, что несмотря на традиционное отношение к андроиду, как дешевым телефонам, в последние годы их флагманы стоят сравнимо с флагманами Apple, а то и больше, к тому же у них часто появляются такие экспериментальные особенности, как скошенные экраны, раскладушки и прочее.
Где покупать?
Надеюсь, что читателю этой статьи повезло или повезет, и этот вопрос его не коснется он лишь поставит таск в Jira на закупку и через пару дней получит свеженький телефон. Но что делать, если вы работаете в компании, где вам надо принимать это решение самим? Вариантов несколько:
- Официальные представители: да, часто это может быть дороже, но зато скорее всего это более надежно и лучше гарантия. И лайфхак для тех, кто дочитал до этой части статьи: не всегда, но часто, если написать письмо в представительство определенного производителя о том, насколько вам нужно определенное устройство, объяснив, как вы будете его использовать, вам могут выслать его или бесплатно и навсегда, или во временное пользование. А это часто очень актуально.
- Розничные магазины: тут я объединяю все магазины, которые продают не левак, с чеками и гарантией, например, своей. Серый не всегда плохой, особенно это может касаться айфонов, например. Главное покупать в проверенных местах, а не в палатке на рынке.
- Avito и прочие: конечно, тут я объединяю все варианты покупки б/у у частников. Конечно, этого стоит избегать, но если вы осознаете, что вам кровь из носа нужен телефон, который не выпускают уже 3 года, а ваши юзеры упорно им пользуются то иногда стоит пойти на риск.
- Сотрудники: и еще один лайфхак если спросить у ваших коллег, то наверняка выяснится, что у пары-тройки сотрудников в тумбочке валяется ненужный телефон, который они благородно могут отдать во временное или бессрочное пользование вашему отделу!
Важный финансовый момент зачастую лучше взять устройство с расчетом на долгий срок использования и простую починку, подороже, но чтобы хватило надолго, а не подешевле, но зато придется менять их раз в три месяца. Но иногда наоборот имеет смысл купить что-то плохое, потому что, опять же, на моем опыте самые бешеные баги ловятся на самых кошмарных телефонах и планшетах.
Узнать подробнее о курсе QA Lead от OTUS.
