Как создавать тестовые сценарии и управлять ими с помощью Xray и Jira

Что такое тест?

Тест — это абстракция тестовой идеи или сценария и способ проверки соответствия предъявляемым требованиям. Он представляет собой одну или несколько проверок, эксперимент или исследование для получения информации о качественном атрибуте объекта тестирования.

Традиционный ручной тест состоит из последовательности шагов и предполагает наличие условий или переменных, тестовых входных данных и ожидаемых результатов. Его используют для оценки качества, производительности и (или) надежности элемента системы.

Обычно каждое требование или цель, относящиеся к объекту тестирования, необходимо покрыть хотя бы одним тестом.

Успешность прохождения теста определяют путем сравнения ожидаемых и фактических результатов.

Тест может:

• использовать сценарий (например, тестовый сценарий или автоматическое тестирование) или глубокое тестирование;
• быть указан с помощью Gherkin (сценарий);
• выполняться вручную или автоматически;
• охватывать или ссылаться на одно или несколько требований;
• иметь метки, приоритет и комментарии или быть назначен компонентам, как любой другой тип задачи Jira.

Тесты и тестирование в целом не гарантируют качество. Они предоставляют информацию о качестве.

Стопроцентное покрытие невозможно, это миф. Увеличение количества тестов не гарантирует, что вы получите более ценную информацию о значимых аспектах качества.

Часто будет лучше сосредоточиться на оценке того, что важно для заинтересованных сторон, учесть риски, а затем определить и выполнить тестирование на основе этих показателей.

Баги будут всегда. Важно выделить значимые области и протестировать связанные с ними угрозы.

Процесс тестирования в Xray

Инструмент Xray позволяет планировать, проектировать и выполнять тесты, а также формировать отчеты о тестировании. Для этого в Xray используются специальные типы задач Jira.

Каждому этапу тестирования соответствуют свои типы задач.

• Этап планирования: тип задачи «План тестирования».
• Этап проектирования: спецификация определяется с помощью таких типов задач, как «Предварительное условие» и «Тест». Для организации тестов можно использовать тестовые наборы.
• Этап выполнения: тип задачи «Выполнение тестирования».
• Этап отчетности: тип задачи «Выполнение тестирования», включая встроенные отчеты о покрытии требований, и пользовательские задачи с использованием инструментов Jira Software.

Для начала полезно добавить тесты в небольшой проект. Тип задачи «Тест» можно использовать, чтобы создавать тесты для требований и выполнять интуитивное внеплановое тестирование. Об этом читайте далее.

Шаг 1. Как создать и определить тест

Типы тестов

Тесты бывают трех стандартных типов.

• Cucumber: написание тестов в удобном для бизнеса домене и на специальном языке (Gherkin).
• Общий: неструктурированный тест без шагов. Это способ абстрагирования и получения наглядного представления при выполнении традиционных автоматических тестов или глубокого тестирования.
• Ручной: традиционный тестовый сценарий, состоящий из последовательности шагов.

Трем типам тестов соответствуют три вида тестов.

• Gherkin
• Неструктурированный
• Этапы

Над тестами Xray можно выполнять следующие действия.

• Создавайте
• Редактировать
• Клонировать

Создавайте

Чтобы создать новую задачу с типом «Тест», выполните следующие действия.

Шаг 1. В верхней части экрана нажмите Create Issue (Создать задачу), чтобы открыть диалоговое окно (страницу) Create Issue (Создать задачу).

Шаг 2. Как организовать тесты

Организация тестов — важная повседневная задача в тестировании. Поскольку количество тестов бывает большим и со временем может увеличиваться, важно организовать тесты эффективным и оптимальным для себя способом.

Организовать тесты в Xray можно двумя способами.

1. С помощью задач с типом «Набор тестов».
2. С помощью репозитория тестов.

Набор тестов представляет собой плоский список, поэтому группировать тесты с его помощью очень просто. Можно создать любое количество наборов тестов, причем каждый тест может входить в несколько наборов. Применение наборов тестов будет оптимальным вариантом, если вы хотите полностью контролировать определенные группы тестов.

Создание набора тестов

Чтобы создать новую задачу с типом «Набор тестов», выполните следующие действия.

Шаг 1. В верхней части экрана нажмите Create Issue (Создать задачу), чтобы открыть диалоговое окно (страницу) Create Issue (Создать задачу).

Шаг 2. Выберите Project (Проект). В поле Issue Type (Тип задачи) выберите Test Set (Набор тестов).

Шаг 3. Заполните поле Summary (Описание) набора тестов и другие поля, отмеченные звездочкой. По желанию заполните необязательные поля.

Шаг 4. После заполнения формы для набора тестов нажмите кнопку Create (Создать).

Репозиторий тестов представляет собой древовидную организационную структуру проектного уровня. Тесты в репозитории иерархически организованы с помощью папок и подпапок. Такая система характерна для некоторых инструментов и похожа на файловую иерархию операционной системы компьютера.

Создание репозитория тестов

Чтобы создать репозиторий тестов, создайте новую папку.

Шаг 1. Нажмите родительскую папку.

Шаг 2. Нажмите значок добавления в верхней части раздела папок.

Шаг 3. Как запланировать тесты

Планирование тестирования позволяет определить стратегию тестирования, в том числе решить, какие проблемы необходимо проверить, каким образом это сделать, какой тип тестов использовать (ручные или автоматические), как распределить ресурсы, кто и когда будет выполнять тестирование.

В зависимости от ряда факторов, вам может понадобиться определить приоритет тестов или уделить особое внимание конкретным требованиям.

Создание плана тестирования

Чтобы создать новую задачу с типом «План тестирования», выполните следующие действия.

Шаг 1. В верхней части экрана нажмите Create (Создать), чтобы открыть диалоговое окно (страницу) Create Issue (Создать задачу). Можно также нажать на клавиатуре клавишу C.

Шаг 4. Как выполнить тестирование

После разработки сценариев выполняется тестирование. Затем следует этап составления отчетов и анализа результатов.

Тип задачи «Выполнение тестирования» объединяет выбранную пользователем совокупность тестов и служит для отслеживания и оценки их работоспособности в целевом контексте и среде. После завершения каждого теста обновляется общий статус выполнения. Он показывает сведения о ходе тестирования, в том числе: какие тесты были пройдены, завершились сбоем, выполняются или ожидают выполнения.

Создание задачи с типом «Выполнение тестирования»

Шаг 1. В верхней части экрана нажмите значок «+», чтобы открыть диалоговое окно Create Issue (Создать задачу).

Подробнее

Подробнее о создании тестовых сценариев и управлении ими в Jira и Xray см. на странице Академии Xray.

Другие интеграции для Atlassian Open DevOps.