단순히 "이 시책을 받은 고객이 안 받은 고객보다 성과가 높다"는 상관관계만으로는 효과를 증명할 수 없습니다 — 애초에 반응 가능성이 높은 고객이 대상으로 더 많이 잡혔을 수 있기 때문입니다. 증분 효과를 검증하려면 대상군을 무작위로 나눠 한쪽에는 시책을 적용하지 않는 홀드아웃(대조군)을 반드시 두고, 그 차이만큼만 순수 증분 성과로 인정해야 합니다. 표본이 너무 작거나 실험 기간이 너무 짧으면 통계적으로 의미 있는 차이를 읽을 수 없습니다.
구체적으로 적용하면, 이메일·푸시 자동화의 증분 효과는 트리거 대상 고객 중 일부를 무작위로 홀드아웃(발송 제외군)으로 남겨두고, 발송군과 홀드아웃군의 전환율·매출 차이를 비교해 측정합니다. 장바구니 이탈 메시지를 받은 그룹과 받지 않은 그룹의 결제 전환율 차이가 그 메시지의 순수 증분 효과입니다.
전사 발송을 하기 전에 신규 트리거는 항상 소규모 홀드아웃 테스트를 1~2주 먼저 돌려, 실제 순증 효과를 확인한 뒤 전체 확대 여부를 결정하시면 됩니다.
비슷한 상황이신가요
우리 계정에 똑같이 적용되는지는 상황마다 다릅니다. 무료로 점검해드립니다.