Jubula (Джубула) инструмент для автоматизации тестирования, известный не многим тестировщикам в России. В нашу компанию он пришёл вместе с проектом из Германии.
Программа разработана компанией BREDEX GmbH и является бесплатной. Разработчик указывает, что Jubula способна тестировать приложения на Swing, SWT/RCP/GEF и JavaFX. Тестировщику, использующему Jubula не обязательно знать ни один из языков программирования, поскольку тестирование осуществляется методом чёрного ящика и не требует наличия исходного кода, что позволяет каждому автоматизировать свои тест-кейсы самостоятельно.
Jubula может использоваться как отдельное приложение (как в нашем проекте) или в виде плагина к Eclipse (https://projects.eclipse.org/projects/technology.jubula).
После установки приложения, всё уже готово к использованию: настроена база данных для хранения проектов и AUT-Agent (обеспечивает связь Jubula с тестируемым приложением).
Чтобы создать новый проект, нужно выбрать в меню Test New и заполнить поля. В AUT executable выбираем путь к исполняемому файлу для запуска тестируемого приложения.
Конечно, для большого проекта, в котором работают несколько тестировщиков потребуются специальные настройки централизованной базы данных, в которой будут храниться созданные тест-кейсы для регрессионного тестирования, с доступом для всех пользователей.
Для тестирования приложения с помощью Jubula необходимо, собственно, само приложение с графическим интерфейсом. Программа уже содержит набор самых необходимых действий:
В основе создания тест-кейсов в Jubula лежит метод ключевых слов (keyword). То есть создавая новый тест-кейс, пользователь находит необходимые действия используя такие слова как click, check, wait и др., добавляет их в тест и присваивает им нужные параметры.
Кроме этого, Jubula предоставляет возможность записать действия, выполняемые тестировщиком, и воспроизвести их впоследствии. Этот метод не пользуется популярностью, хотя и уместен для быстрого создания предусловий, когда, к примеру, необходимо добраться до нужного окна, в котором уже будут произведены проверки.
Для создания тест-кейса можно просто перетащить шаг из Test Case Browser в рабочую область, в которой открыт Ваш тест-сьют. Несколько шагов можно объединить в модуль (Refactor Extract Test Case), который в последствии может быть использован в разных тест-кейсах. Изменение модуля приведёт к изменению шагов во всех тестах, где он используется, с этим нужно быть аккуратнее. Если модуль открыт в рабочей области, легко посмотреть все тест-кейсы, где он используется, нажав F7. В Jubula есть еще много горячих клавиш, которые очень удобно выделены отдельной строкой в разделе Help. Кроме того, в Help Contents с помощью поисковой строки можно найти интересующую информацию по любой функции программы (на английском языке).
Перед созданием тест-кейсов нужно добавить все графические компоненты, используемые в тесте. Это делается легко с помощью Object Mapping Mode, который активируется, когда приложение открыто. Наводим курсор на нужный объект и нажимаем Ctrl + Shift + q. Объекту нужно присвоить имя и сохранить, затем его можно выбрать в окошке Component Names в нужном шаге.
При необходимости Jubula позволяет создать собственные специфические шаги. Для этого существуют действия executeExternalCommand и invokeExternal(Method). С их помощью запускаются скрипты или .jar файлы. Без знания JAVA создать собственные команды не получится. В нашем проекте инженер-конфигуратор написал несколько крупных .jar файлов, к которым Jubula обращается через .bat, прописываемые в executeExternalCommand.
Рассмотрим на примере модуля, созданного в нашем проекте для сравнения активного окна с изображением, хранящимся на SVN. Сначала в виде переменной сохраняется имя будущего .jpg файла (StoreValue), в стандартном шаге takeScreenshotofActivWindow прописывается это имя и путь, по которому будет располагаться новый скриншот, а затем в шаге executeExternalCommand запускается .bat файл, где указаны изображения, которые будем сравнивать и некоторые параметры, как размер изображения и максимально допустимое отклонение в пикселях. Через этот же .bat файл запускается .jar, в котором есть классы для сравнения текста, изображений, pdf- и csv-файлов. Эта внутренняя кухня нужна в основном только тому, кто настраивает Jubula для проекта впервые, или добавляет то, чего очень не хватало. При создании тест-кейса тестировщик берет уже готовый модуль (у нас, например, Compare Image), задаёт параметры и даже и не знает, что прописано в .bat, и тем более в .jar.
Jubula может взаимодействовать со сторонними приложениями во время тестирования. Наше приложение генерирует отчёты в форматах PDF и CSV. Через приложение можно открыть отчёт в Adobe Reader, Jubula сохранит его с помощью комбинаций клавиш, задаст ему имя, которое выбрал тестировщик заранее, а затем сравнит его с файлом, сохраненным на SVN описанным выше способом через executeExternalCommand.
Результаты проведения теста показаны максимально подробно, можно посмотреть все входные и выходные параметры. Если тест упал на каком-то шаге, то Jubula делает скриншот этого момента, к которому можно обратиться в любое время (эту функцию можно отключить для экономии места). Кроме того, для шага с ошибкой в большинстве случаев доступен Log-View, где коротко описано в чём суть ошибки. Результаты можно автоматически сохранять в выбранную папку в формате XML/HTML.
Для того чтобы определить действия, следующие за появлением ошибки, используется Event_Handler так называемый обработчик события. Его можно настроить в зависимости от типа ошибки на продолжение, повторение (заданное количество раз), выход, паузу и др. В event handler можно добавить тестовый шаг или несколько шагов, которые должны быть выполнены в случае ошибки.
Влиять на выбор следующего шага можно с помощью If-Then-Else, что очень удобно при повторяющихся действиях с различными параметрами.
While-Do или Do-While Loop хорошо помогают, если нужно долистать до нужного значения [Нажимать вниз, пока не появится значение 5 или наоборот, пока значение не равно 5, нажимать вниз].
Естественно, в Jubula имеется возможность запускать ночные прогоны, чтобы утром порадоваться зелёным галочкам напротив своих тестов.
Jubula проводит тест, как если бы пользователь его проводил на своем компьютере: водит курсором по окнам приложения, кликает на клавиши, поэтому для чистоты эксперимента в этот момент нельзя двигать мышь или трогать клавиатуру. А как показывает опыт, даже не трогая ничего, пользователь способен смутить Jubula одним своим взглядом так, что она не сможет найти нужную кнопку, или нажать её, или ещё что-то. Поэтому лучшим вариантом будет запускать Jubula на другой машине. В нашем проекте это удалённая машина, куда каждый заходит под своим пользователем, но все его изменения в Jubula становятся доступны и всем остальным.
В нашем проекте Jubula интегрирована с Polarion, это позволяет просматривать статистику, какие тесты прошли или не прошли, какие вообще не были запущены в этом прогоне. Для каждого отдельного тест-кейса в Polarion есть поле Test Records, в котором отображаются результаты последних ночных прогонов в Jubula, их количество можно установить самостоятельно (вплоть до 300). Эта функция помогает легко отследить, с какой версии тест перестал проходить, если за ним не было регулярного наблюдения.
Одним существенным недостатком программы является отсутствие возможности откатить любое изменение, функции шаг назад, отменить или что-то подобное просто нет. Максимум что возможно, это всё закрыть, не сохраняя изменения. Но если нажать Save, то всё. В экстренных случаях есть возможность восстановить версию проекта от определённой даты, это чревато тем, что изменения, сделанные после этого дня будут навсегда утрачены.
Jubula это реально хорошая программа для автоматизации тестов, написанных для десктопного приложения. При желании и наличии навыков у пользователя она позволяет проверить всё, и не только GUI, но и функционал со стороны сервера. Но создание это действительно нежное, к нему надо найти подход, и тогда можно пользоваться им долго и счастливо!
