2019년 NDC의 마지막 일인 4월 26일, 넥슨 사옥 1층 1994홀에서는 ‘열정적인 테스트가 우리 게임 서비스의 품질을 향상시키지 못하는 이유’라는 주제로 넥슨네트웍스 서정린QA 본부장의 강의가 진행되었다.

서정린 본부장은 ‘성과란 노력과 그 방향성을 벡터의 합연산한 것이다’라는 이은석 디렉터의 말로 시작했다. 열심히 하는 사람만이 성과를 낼 수 있지만 열심히만 하는 것에는 문제가 있다고 언급했다.

또한 테스트에 투입될 수 있는 자원은 유한하다는 말을 이어갔는데, ‘테스트의 물적 지표와 산출물의 결과에는 상관성이 없다고 언급하기도 했다.

과거에는 더 빠르고 많이, 꼼꼼하게라는 식의 말을 많이 썼지만 결과나 서비스 품질은 나아지는 부분이 없었다며, 이로 인해 물리적 업무 퍼포먼스 중심에서 이후에는 소프트웨어 태스팅 지식체계를 사용했고 현재는 예방 활동으로 중심 이동을 하고 있는 상황이라고 전하기도 했다.

그는 데밍의 붉은 구슬이라는 테스트를 예를 들어 설명했는데, 결함은 제작 단계에서 이미 결정되는 것이고 이를 발견하는 것은 확률의 영역이라고 했다.

그렇다면 테스트를 많이 하면 훨씬 더 많이 걸러 낼 수 있지 않을까. 그는 기존에 작업한 데이터를 기반으로 테스팅 횟수와 같은 물리적인 행동에 대한 결과물은 상관성이 없다고 언급했다.

하지만 테스트가 필요 없다라는 것은 아니라고 전했다. 테스트는 결함의 식별과 처리 및 관련된 서비스를 제공한다고 언급하며, 이를 통해 개발 조직이 오로지 개발에 집중할 수 있다고 했다. 테스트 조직이 없더라도, 이 역할을 소멸되지 않는다고 언급하기도 했다.

어떻게 해도 사후 결함이 줄지 않음에도 어째서 사전 결함 발견에 주력을 하는지에 대한 이야기도 나왔다. 이는 결함 관리 비용이 절약되는 효과를 주기 때문이라고. 또한 결함 유발 원인자와 상호 작용하는 범위가 좁다는 장점이 있다고도 전했다.

다양한 예제를 들어 설명한 그는 결과적으로 테스트는 결함을 줄이는 것이 아니라 리스크 관리 계획과 그 결과를 위해서이고 결함의 숫자를 억제하는 부분은 개발 공정 전 단계에서 적용되어야 한다고 생각을 밝혔다.

이와 함께 일반적으로 테스트와 QA를 동일하게 보는 경우가 많다며, 이에 대한 차이를 언급하기도 했다. 테스트는 제품을 검사하거나 수정 요청을 하는 팀이고, QA는 검사 방법의 기준을 마련하고 프로세스 통제를 하는 팀이라고 정리했다.

테스트 효율이 나지 않는 이유에 대해서는 개발하는 시간 자체가 부족하다 보니 최적화된 프로세스 변경에 대한 부담이 생기게 되며, 설계와 구현을 거의 동시에 진행해야 하는 상황이 발생한다고 언급했다. 또한 릴리즈 일정의 지연이 쉬워, 테스트 리소스의 유연한 공급이 중요한 이유가 되기 때문이라고 밝혔다. 롤이 미분류 되어 있어 소규모 프로젝트의 경우 역할이 명확하지 않다고 했다.

이로 인해서 서로간에 명확한 커뮤니케이션이 필요하며, 일정 수준 이하의 일정에서는 테스트 단가가 급상승하게 된다고 전했다. 결과적으로 체계적인 테스트를 진행해야 가성비가 높아진다는 점을 강조했다.

테스트는 마무리 활동이라고도 언급했다. 테스트 이전에는 결함 예방 활동이 진행되어야 하고 이것이 잘 되어야 테스트 결과의 신뢰도가 증가하게 된다고 강조했다. 또한 테스트가 잘 되게 하려면 테스트를 줄여야 한다는 말을 잊지 않았다.

많은 팀들이 선호하는 경험 기반 테스트에 관해서는 해당 테스트 자체가 신입보다 경력자 위주이다 보니 금전적인 부분이 더 크게 적용한다고 밝혔다. 또한 많은 데이터와 시간이 필요하다는 단점이 있다고 했다. 그런데도 명세 기반 테스트와 비교한다면 그 결과가 좋지 않다는 이야기를 하기도 했다.

정리하자면 강도 높은 테스트의 보다 많은 횟수가 품질을 향상시키지 못하고, 결함 발생율 억제는 생산 과정에서만 통제할 수 있다고 설명했다. QA는 생산 과정에 더 집중해야 할 필요가 있다며, 그러한 만큼 테스트의 양적 증대는 효과적이지 못하다고 전했다.

또한 개발과 QA는 서로에게 영향을 받을 수밖에 없고, 가성비 좋은 리스크 관리를 위해서는 양질의 정보가 필요하다고 했다. 하지만 품질은 양부서 모두의 노력 하에서만 개선이 될 수 있다는 말을 잊지 않았다.

서정린 본부장은 ‘테스트는 리스크 컨설팅 작업이고 리스크 식별 작업에 기회비용 투입을 높여야 한다’고 정의했다. 얼마만큼 볼 것인가가 아니라 어디를 어떻게 볼 것인가가 중요하다고 강조하기도 했다. 또한 리스크 컨설팅의 결과를 수용할 용기가 필요하다고도 전했다.

여기에 통합 테스트 중심의 전략 개선이 필요하며, 리스크 관리 비용에 대한 다른 팀의 생각 변화도 있어야 한다고 강조했다. 마지막으로 프로세스 통제가 되지 않을 경우, 리스크 관리가 안되어 테스트에도 실패하게 되는 결과를 맞이하게 된다고 소견을 밝혔다. 

김은태 / desk@gameshot.net