📖 약 3분 읽기
CRM 캠페인 성과를 보여주는 대시보드에 발송 당일 성과라는 지표를 새로 만들었습니다. 설계 단계에서는 특별한 문제가 보이지 않았습니다. 그러나 운영이 시작되고 몇 주가 지난 뒤, 이 지표의 판정 기준이 고객의 요청과 다르게 구현되어 있다는 사실이 확인되었습니다. 지표의 이름은 그대로였지만, 그 안에 담긴 계산 방식은 전혀 다른 대상을 가리키고 있었습니다.
고객이 원한 것과 실제 구현된 것 사이의 차이는 겉으로 드러나지 않았습니다. 숫자는 매일 쌓였고, 보고서는 정해진 시점마다 올라갔습니다. 문제는 그 숫자가 가리키는 대상이 서로 달랐다는 데 있었습니다.
지표 이름과 정의의 불일치
고객이 기대한 발송 당일 성과는 캠페인을 발송한 바로 그 날, 그 발송으로 인해 발생한 클릭과 전환과 매출을 의미했습니다. 반면 실제 구현된 지표는 발송이 있었던 날짜에 발생한 성과 전부를 합산하는 방식이었습니다. 두 정의는 당일이라는 단어를 공유했지만, 그 발송으로 인한이라는 조건의 유무에서 완전히 갈라졌습니다.
발송일 기준과 발송 기여 기준의 차이
가상의 예를 들면, 지난주 화요일에 발송한 캠페인으로 고객이 이번주 월요일에 구매를 완료했고, 이번주 월요일에도 다른 캠페인이 발송된 경우를 생각할 수 있습니다. 구현된 방식에서는 이 구매가 월요일 발송의 당일 성과로 집계됩니다. 날짜를 기준으로 성과를 묶었을 뿐, 어떤 발송이 그 성과를 만들어 냈는지는 추적하지 않았기 때문입니다. 결과적으로 발송 당일 성과는 실제보다 부풀려진 숫자를 보여주고 있었습니다.
확정 전 측정값에 대한 판단
이 시점에서 분명했던 사실은 두 가지였습니다. 당일 성과가 과대하게 집계되어 있다는 점, 그리고 올바른 기준으로 바꾸더라도 전체 매출 총액은 그대로이고 당일 성과와 기여 성과 사이의 배분만 달라진다는 점이었습니다. 반면 과대 집계의 정확한 폭은 알 수 없었습니다. 정의가 확정되지 않은 채로 여러 차례 측정을 시도했는데, 측정할 때마다 결과값이 조금씩 달랐기 때문입니다. 이런 상태에서 변동 폭을 특정 숫자로 약속하면 또 다른 혼란을 만들 수 있다고 판단했습니다. 그래서 고객에게는 변동 폭을 수치로 안내하지 않기로 했고, 정의를 먼저 확정한 뒤 다시 측정하는 순서를 택했습니다.
정의 합의부터 적용까지의 절차
절차는 다음 순서로 정리되었습니다. 먼저 발송 당일이라는 표현이 가질 수 있는 정의 후보를 모두 나열하고, 그 중 하나를 고객과 함께 확정합니다. 확정된 정의를 기준으로 과대 집계의 폭을 다시 측정합니다. 그 다음 구현 방식을 정하고, 대시보드와 캠페인 발송 내역 양쪽에 적용할 순서와 일정을 수립합니다. 마지막으로 고객에게 변경되는 내용과 적용 시점을 안내합니다. 운영 중인 대시보드는 혼란을 줄이기 위해 즉시 교체하지 않고, 정의가 확정된 이후 예정된 일정에 맞춰 교체하는 방식을 택했습니다. 가상의 예로, 정의 확정이 끝난 다음주 화요일을 기준으로 대시보드 교체 일정을 공지하는 식입니다.
지표 정의서에 남겨야 할 예외 사례
이번 사례가 남긴 교훈은 대시보드 지표는 이름이 아니라 정의로 합의해야 한다는 점입니다. 같은 이름을 쓰더라도 계산식이 다르면 완전히 다른 숫자가 나옵니다. 이를 막으려면 지표 정의서에 계산식과 함께 예외 사례를 구체적으로 적어 두어야 합니다. 한 캠페인이 여러 번 발송된 경우, 발송 후 며칠이 지나 구매가 발생한 경우처럼 애매한 상황을 미리 문서화해 두면 같은 유형의 혼선을 반복하지 않을 수 있습니다.
CRM 대시보드를 운영하는 조직이라면, 지표의 이름이 합의되었다고 해서 그 정의까지 합의된 것은 아니라는 점을 점검할 필요가 있습니다. 정의서 한 줄이 당일 성과의 크기를 결정합니다.
자주 묻는 질문 (FAQ)
발송 당일 성과 지표에서 어떤 차이가 문제였습니까?
고객이 요청한 정의는 해당 발송으로 발생한 성과만 포함하는 것이었으나, 실제 구현은 발송이 있었던 날짜의 성과 전부를 합산하는 방식이었습니다. 이 차이로 당일 성과가 실제보다 크게 집계되었습니다.
과대 집계된 폭을 바로 알 수 없었던 이유는 무엇입니까?
정의가 확정되지 않은 상태에서 여러 차례 측정을 진행했는데, 측정할 때마다 결과값이 달라졌기 때문입니다. 정의를 먼저 확정한 뒤 다시 측정하는 순서로 전환해 해결했습니다.
운영 중인 대시보드를 즉시 교체하지 않은 이유는 무엇입니까?
정의 변경이 확정되지 않은 상태에서 대시보드를 먼저 바꾸면 혼란이 커질 수 있다고 판단했습니다. 정의 확정과 재측정이 끝난 뒤 정해진 일정에 맞춰 교체하는 방식을 택했습니다.
같은 이름의 지표라도 정의 합의 없이 운영하면 보고 신뢰도가 흔들릴 수 있다는 점을 이번 사례가 보여줍니다.