그로스 실험의 구조

아이디어는 실험이 아니다

그로스 팀이 자주 빠지는 함정은 아이디어를 많이 내는 것이 곧 성장이라고 착각하는 것이다. "가입 버튼을 크게 만들자", "추천 보상을 주자", "랜딩 페이지 문구를 바꾸자"는 모두 아이디어다. 아직 실험은 아니다.

실험이 되려면 다섯 가지가 있어야 한다. 가설, 측정 지표, 대상, 기간, 성공 기준이다. 예를 들어 "가입 버튼을 크게 만들자"가 아니라 "무료 체험 페이지에서 가입 버튼을 더 눈에 띄게 만들면 모바일 방문자의 가입 전환율이 10% 이상 높아질 것이다"라고 써야 한다. 이때 대상은 모바일 방문자, 지표는 가입 전환율, 기간은 2주, 성공 기준은 10% 상승이 된다.

아이디어는 방향을 제안한다. 실험은 판단할 수 있는 질문을 만든다. 그 차이가 성장 조직과 단순 실행 조직을 가른다.

좋은 실험 문서의 조건

좋은 실험은 실행 전에 절반이 결정된다. 문서가 부실하면 결과가 나와도 해석할 수 없다. 숫자가 좋아졌을 때 왜 좋아졌는지 모르고, 나빠졌을 때 무엇을 배웠는지도 남지 않는다.

실험 문서에는 최소한 다음 항목이 들어가야 한다.

• 문제 정의: 지금 어떤 병목을 해결하려는가?

• 가설: 어떤 변경이 고객 행동을 어떻게 바꿀 것인가?

• 예상 효과: 어떤 지표가 얼마나 움직일 것으로 기대하는가?

• 실행 방식: 누구에게, 어디서, 무엇을 바꿔 보여줄 것인가?

• 판단 기준: 성공, 실패, 보류를 어떻게 구분할 것인가?

문제 정의가 특히 중요하다. 문제가 "가입률이 낮다"로 끝나면 실험이 흐려진다. "검색 유입 사용자는 글을 읽고 나가지만, 템플릿 생성까지 이어지는 비율이 낮다"처럼 고객 여정의 어느 지점에서 이탈하는지 써야 한다. 그래야 실험이 버튼 색상 놀이로 흐르지 않는다.

실험 전 반드시 정할 것

실험을 시작하기 전에 주요 지표와 보조 지표를 나눠야 한다. 주요 지표는 실험의 성패를 판단하는 기준이다. 예를 들어 온보딩 개선 실험이라면 주요 지표는 첫 프로젝트 생성률이 될 수 있다. 보조 지표는 함께 확인해야 할 안전장치다. 가입 전환율은 올랐지만 다음 날 재방문율이 떨어진다면 좋은 실험이 아닐 수 있다.

중단 조건도 필요하다. 결제 페이지 실험에서 오류율이 높아지거나 환불 요청이 늘어나면 기간이 끝나기 전이라도 멈춰야 한다. 모든 실험은 고객 경험을 건드린다. 그래서 리스크를 미리 적어야 한다. 개인정보 입력이 늘어나는가, 가격 오해를 만들 수 있는가, 기존 고객에게 불이익이 생기는가를 확인해야 한다.

실험은 빠르게 해야 하지만 무모하게 해서는 안 된다. 속도는 기준이 있을 때만 강점이 된다.

실패한 실험에서 배우는 법

실패한 실험은 아무것도 얻지 못한 실험이 아니다. 실패했는데 기록이 없을 때만 낭비가 된다. "전환율이 오르지 않았다"에서 멈추지 말고, 왜 그런 결과가 나왔는지 고객 행동을 기준으로 적어야 한다.

예를 들어 추천 보상을 추가했는데 초대율이 오르지 않았다면 결론은 "추천은 효과 없다"가 아니다. 보상이 매력적이지 않았을 수도 있고, 추천할 타이밍이 늦었을 수도 있다. 사용자가 아직 제품 가치를 느끼기 전에 추천을 요구했을 수도 있다. 실패는 다음 질문을 더 정확하게 만드는 재료다.

실험 기록에는 결과 숫자와 함께 관찰을 남겨야 한다. 어떤 고객군이 반응했는지, 어디서 이탈했는지, 예상과 달랐던 행동은 무엇인지 적는다. 시간이 지나면 이 기록은 팀의 성장 자산이 된다. 새로운 사람이 와도 같은 실수를 반복하지 않는다.

기본 실험 템플릿

처음부터 복잡한 문서를 만들 필요는 없다. 아래 형식이면 충분하다.

• 실험명: 무엇을 검증하는가?

• 문제 정의: 현재 가장 큰 병목은 무엇인가?

• 가설: 어떤 변화가 어떤 행동을 만들 것인가?

• 대상 고객: 누구에게 적용할 것인가?

• 주요 지표: 성패를 판단할 하나의 지표는 무엇인가?

• 보조 지표: 함께 확인할 지표는 무엇인가?

• 실험 기간: 언제 시작하고 언제 끝낼 것인가?

• 성공 기준: 어느 정도 변화가 있으면 성공인가?

• 중단 조건: 어떤 문제가 생기면 멈출 것인가?

• 결과와 학습: 무엇이 달랐고, 다음 액션은 무엇인가?

그로스는 멋진 아이디어를 많이 내는 일이 아니다. 고객 행동에 대한 질문을 만들고, 작은 실험으로 검증하고, 배운 것을 다음 설계에 반영하는 일이다. 실험 문화가 있는 팀은 실패해도 앞으로 간다. 실패가 기록되고, 기록이 다음 가설이 되기 때문이다.