대형 소매업체의 테스트 관리를 혁신

캐나다 최대 소매업체인 Loblaw의 소프트웨어 부문인 Loblaw Digital 직원 Justin Watts 및 그의 엔지니어링 팀은 복잡한 요구 사항을 해결해줄 테스트 관리 솔루션을 찾지 못하고 있던 중에 Jira 및 Adaptavist Test Management for Jira(TM4J)를 통합할 수 있다는 사실을 발견했습니다.

생산성 엔지니어링 부문의 이사인 Justin은 회사의 테스트 관리 도구에 한동안 실망하고 있었습니다. Loblaw Digital이 단 6년 만에 직원 6명에서 250명 이상으로 성장했을 때 변화가 일어나야 했습니다.

엔지니어링 팀은 상위 조직 내에서 Loblaw Digital이 수행하는 고유한 역할을 지원하고 팀의 세 가지 주요 목표, 즉 업무량 감소, 생산성 향상 및 업무 완수를 달성할 수 있는 솔루션이 필요했습니다. 몇 가지 도구를 사용해 본 후, 팀에서는 마침내 목표에 부합하는 도구를 발견했습니다.

Loblaw Digital은 Atlassian 솔루션 파트너인 Adaptavist와의 긴밀한 협업을 통해 테스트 시간을 단축하고, 생산성을 높이고, 커뮤니케이션을 개선하고, 회사가 고객이 "더 나은 삶을 살 수 있도록" 돕겠다는 목표를 효과적으로 달성할 수 있도록 지원하는 확장 가능한 엔드투엔드 테스트 솔루션을 사용자 지정했습니다.

이는 Loblaw Digital의 테스트 절차를 매우 복잡하게 만든 몇 가지 변수에 불과합니다. 더 큰 조직 내에서의 역할마저도 일반적인 사내 기관 관계보다 더 복잡합니다. Loblaw Digital은 20개 이상의 브랜드에 대한 디지털 자산을 구축하는 것 외에도 이 모든 자산에 대한 손익 계산서를 소유하고 있습니다. "우리가 구축하는 플랫폼을 유지 관리하기 때문에 테스트 가능성, 재사용 가능성 및 확장성을 중요하게 생각합니다."라고 Justin은 설명합니다. "기술 부채를 가지고 있기 때문에 최종 결과만큼이나 여정에도 관심을 갖는 것이 저희에게 가장 큰 이익이 됩니다."

Loblaw는 소매 업계이기 때문에 사용자가 주문하는 것부터 Loblaw가 주문을 완료하고, 잠재적으로 직접 픽업하는 고객에 이르기까지 엔드투엔드 고객 경험을 계획해야 합니다. 이러한 고려 사항으로 인해 테스트 관리 시스템에 대한 Justin의 위시리스트는 훨씬 더 길어졌습니다.

광범위한 논의를 거친 후, 엔지니어링 팀은 새로운 솔루션에 대한 5가지 주요 요구 사항으로 기준을 좁혔습니다.

1. 세계적인 수준의 수동 및 자동 테스트 기능
2. 네이티브 UI 및 API 인터페이스
3. Jira와 같은 기존 플랫폼 중 하나와 통합
4. 수백 개의 순열을 추적하는 기능
5. 기술 팀 및 기술 분야 이외의 이해 관계자 모두를 위한 명확하고 공유 가능한 테스트 결과

쉽지 않은 일이었지만, 팀은 꿈을 실현해줄 올바른 도구를 갖춘 적합한 파트너를 찾을 수 있다는 믿음을 가지고 있었습니다.

이 사실을 통해 엔지니어링 팀은 테스트 결과를 더 빠르고 쉽게 읽을 수 있게 되었고, 기술 팀 이외의 이해 관계자도 더 쉽게 이해할 수 있었습니다. Adaptavist는 보고서에 대해 정말 만족한 나머지 TM4J에 이 기능을 추가했습니다.

Loblaw Digital은 또한 TM4J 및 Atlassian을 활용하여 테스트를 실행하고 결과를 보고하는 프로세스를 자동화하는 Jeanie라는 애칭의 Slack 앱을 만들어 생산성을 높였습니다. Justin의 팀은 자동화 자체뿐만 아니라 그 결과로 발생하는 아티팩트의 이점도 누리고 있습니다. "TM4J는 Jira에서 아티팩트를 생성하므로 누구나 다시 돌아가서 어떤 테스트가 언제 실행되었는지 확인하고 여러 훌륭한 보고서를 볼 수 있어 정말 유용합니다." “Atlassian은 여러 UI를 클릭하지 않고도 저희가 원하는 방식으로 운영할 수 있도록 하는 동시에 저희가 좋은 이웃이 되고 다른 모든 사용자에게 피드백을 제공할 수 있습니다.”

Loblaw Digital이 TM4J 및 Jira를 사용하여 해결한 또 다른 문제는 결함 추적이었습니다. Justin은 테스트에 Jira를 사용할 때 가장 마음에 드는 점은 이슈, 스토리 및 테스트를 “추적 가능성 매트릭스”로 통합하는 기능이라고 말합니다. “놀라운 점은 우리가 실행하는 모든 테스트를 비롯해 테스트와 관련된 모든 스토리에 대해 보고서를 생성할 수 있다는 것입니다. 이렇게 하면 버그를 실수로 놓치는 일이 없습니다.”라고 그는 말합니다. “해결되지 않은 것이 있으면 경고가 발생합니다. 이해 관계자에게 유용한 기능으로, 우리의 정직성을 유지해 줍니다.”

지금까지 분명한 결과를 확인할 수 있었던 Justin은 앞으로의 일에 대해 훨씬 더 큰 기대를 가지고 있습니다. 이 팀에서는 현재 하루에 약 20만 건의 테스트를 실행하고 있으며, 이에 따라 새로운 기능의 제공 속도가 빨라지고 회귀 시간이 250% 단축되고 있습니다. 그리고 이 프로세스를 5배 더 빠르게 만들 수 있을 것이라 예상합니다.

Justin은 “저희는 여정의 전체가 아니라 일부에만 도움이 될 도구를 선택할까봐 걱정이 되었습니다.”라고 말합니다. “하지만 도구를 바꾸지 않고도 워터폴에서 스크럼으로, 칸반으로 손쉽게 전환했습니다. 제품과 함께 성장할 수 있었으며, 전환이 방해가 된다는 생각은 전혀 들지 않았습니다.”

Justin은 솔루션의 확장성에 대해 큰 확신을 가지고 있었기 때문에, 모회사가 이 부분을 주목하고 더 넓은 차원의 엔터프라이즈에서 Loblaw Digital의 도구를 채택하고자 했을 때 주저하지 않았습니다. “Atlassian을 사용하는 저희를 부러워했습니다.”라고 말하며 Justin은 웃습니다. “엔터프라이즈에서 저희와 협업하는 직원은 누구나 Atlassian을 사용하기고 싶어 하기 때문에 2,000명의 사용자 라이선스를 보유하고 있습니다.”

직원들이 비즈니스에 더 많은 가치를 제공할 수 있도록 권한을 부여하는 것은 고객에게 더 많은 가치를 제공하는 것으로 이어졌습니다. Atlassian과 Adaptavist의 지원을 받아, Loblaw는 고객이 "더 나은 삶을 살 수 있도록" 돕겠다는 약속을 그 어느 때보다도 빠르고 효율적인 방식으로 이행하게 된 것을 자랑스럽게 생각합니다.