Различные виды тестирования ПО

1. Модульные тесты

Модульные тесты работают на очень низком уровне, близко к исходному коду приложения. Они заключаются в тестировании отдельных методов и функций классов, компонентов или модулей, используемых в ПО. Модульные тесты, как правило, не требуют больших расходов на автоматизацию и могут выполняться сервером непрерывной интеграции очень быстро.

2. Интеграционные тесты

В ходе интеграционного тестирования проверяется, хорошо ли работают вместе различные модули и сервисы, используемые приложением. Например, можно протестировать взаимодействие с базой данных или убедиться, что микросервисы работают вместе так, как задумано. Этот вид тестирования является более затратным, поскольку для проведения тестов требуется запуск различных компонентов приложения.

3. Функциональные тесты

В функциональных тестах основное внимание уделяется бизнес-требованиям к приложению. Они проверяют только результат некоторого действия и не проверяют промежуточные состояния системы при выполнении этого действия.

Иногда возникает путаница между понятиями интеграционных и функциональных тестов, так как и те и другие требуют взаимодействия нескольких компонентов друг с другом. Разница в том, что интеграционный тест нужен просто чтобы убедиться, что вы можете отправлять запросы к базе данных, тогда как функциональный тест будет ожидать получения из базы данных определенного значения в соответствии с требованиями продукта.

4. Сквозные тесты

Сквозное тестирование копирует поведение пользователя при работе с ПО в контексте всего приложения. Оно обеспечивает контроль того, что различные схемы действий пользователя работают должным образом. Сценарии могут быть как очень простыми (загрузка веб-страницы или вход в систему), так и гораздо более сложными (проверка почтовых уведомлений, онлайн-платежей и т. д.).

Сквозные тесты очень полезны, но их выполнение обходится довольно дорого, к тому же, когда они автоматизированы, такие тесты тяжело обслуживать. Рекомендуется иметь в наличии несколько основных сквозных тестов и активнее полагаться на более низкие уровни тестирования (модульные и интеграционные тесты), чтобы получать возможность быстро выявлять критические изменения.

5. Приемочное тестирование

Приемочные тесты — это формальные тесты, которые проверяют, отвечает ли система требованиям бизнеса. При этом во время тестирования должно быть запущено само приложение, и основное внимание уделяется воспроизведению поведения пользователей. В ходе этого тестирования возможен даже замер производительности системы, и в случае несоответствия установленным требованиям внесенные изменения могут быть отклонены.

6. Тестирование производительности

В тестах производительности оценивается работа системы при определенной рабочей нагрузке. С помощью таких тестов можно оценить надежность, скорость, масштабируемость и отзывчивость приложения. Например, это может быть наблюдение за временем отклика при выполнении большого количества запросов или определение поведения системы при работе со значительными объемами данных. Этот вид тестирования позволяет определить, соответствует ли приложение требованиям к производительности, найти узкие места, оценить стабильность при пиковом трафике и многое другое.

7. Smoke-тестирование

Smoke-тесты — это базовые тесты, которые проверяют основные функциональные возможности приложения. Они должны выполняться быстро, поскольку цель таких тестов — убедиться, что основные возможности системы работают как запланировано.

Smoke-тесты полезно запускать сразу после создания новой сборки (для определения, можно ли запускать более ресурсоемкие тесты) или сразу после развертывания (чтобы убедиться, что приложение работает правильно в новой, только что развернутой среде).

Как автоматизировать тесты

Для автоматизации тестов прежде всего необходимо написать их программными средствами с использованием среды тестирования, которая подходит для вашего приложения. В качестве примера для PHP, Javascript и Ruby можно привести такие среды тестирования, как PHPUnit, Mocha, RSpec соответственно. Существует множество других вариантов для всех языков. Вы можете самостоятельно поискать информацию и обратиться за помощью к сообществам разработчиков, чтобы выяснить, какая из сред тестирования оптимально подойдет в вашем случае.

Если тесты могут быть запущены как скрипт с вашего терминала, можно настроить их автоматический запуск сервером непрерывной интеграции, например Bamboo, или облачным сервисом, таким как Bitbucket Pipelines. Эти инструменты будут отслеживать состояние репозиториев и запускать соответствующий комплект тестов каждый раз, когда в главном репозитории фиксируются изменения.

Глубокое тестирование

Чем больше возможностей и улучшений будет добавлено в код, тем больше тестов придется выполнять, чтобы гарантировать правильность работы системы в целом. К тому же было бы разумно убедиться, что исправленный однажды баг не повторится в последующих релизах. Автоматизация — это ключ к такой возможности, а написание тестов рано или поздно станет частью вашего процесса разработки.

Так стоит ли, с учетом всего сказанного, выполнять тестирование вручную? Если отвечать на этот вопрос кратко — да. И, возможно, следует провести глубокое тестирование, целью которого является выявление неочевидных ошибок.

Длительность сеанса глубокого тестирования не должна превышать двух часов. При этом необходимо четко определить область исследования, чтобы тестировщикам было проще сосредоточиться на конкретной части ПО. После того как все тестировщики будут ознакомлены с задачей, можно переходить к выполнению различных действий для проверки поведения системы.

Дополнительный комментарий к теме тестирования

В завершение этого руководства важно поговорить о целях тестирования. Необходимо проверять не только то, можно ли пользоваться приложением (могут ли пользователи войти в систему и сохранить объект), но и не выйдет ли оно из строя при вводе недопустимых данных или выполнении непредвиденных действий. Вы должны понимать, что произойдет, если пользователь сделает опечатку, попытается сохранить неполную форму или воспользуется неверным API. Необходимо проверить, может ли пользователь легко скомпрометировать данные или получить доступ к ресурсу, к которому не должен иметь доступа. Хороший набор тестов попытается сломать приложение и поможет проанализировать его предельные возможности.

И последнее. Тесты — это тоже код! Так что не забывайте о них во время проверки кода, ведь они могут быть последним рубежом контроля перед рабочей средой.

Решение Open DevOps от Atlassian представляет собой платформу с открытым пакетом инструментов, на которой можно создать конвейер разработки с непрерывной поставкой с помощью любимых инструментов. Узнайте из наших руководств по тестированию DevOps, как инструменты Atlassian и сторонних производителей могут интегрировать тестирование в ваш рабочий процесс.