실험 설계 기반 검증: 기여 모델 제안 가이드라인 적용 전후, 미디어믹스 집행에 따른 실제 회사 최종 매출액(MER 지표)의 통계적 우상향 검증

MER이 채널별 지표와 다른 것을 보는 이유

지금까지 이 과목에서 다룬 어트리뷰션 모델은 전체 매출을 채널별로 "어떻게 나눌지"를 계산하는 도구입니다. 반면 MER은 그 나눗셈 이전의 전체 값, 즉 전체 마케팅 지출 대비 회사 전체 매출이 어떻게 움직이는지를 보는 지표입니다. 채널별 배분 방식을 무엇으로 고르든 MER 값 자체는 바뀌지 않습니다 — 어트리뷰션 모델을 라스트클릭에서 데이터 기반으로 바꿔도 회사 전체 매출과 전체 광고비 자체는 그대로이기 때문입니다. 그래서 MER은 "미디어믹스 조정이 실제로 회사 전체에 도움이 됐는가"를 검증하는 데 가장 왜곡이 적은 상위 지표로 쓰이며, 채널별 ROAS가 각각 개선됐다고 보고되더라도 최종적으로는 이 상위 지표가 실제로 우상향했는지가 성공 여부를 가르는 기준이 됩니다.

왜 채널별 개선이 회사 전체 개선과 다를 수 있나

7강에서 만든 시트를 근거로 채널별 예산 비중을 실제로 조정했다면, 개별 채널의 ROAS는 개선된 것처럼 보일 수 있습니다. 하지만 이 개선은 사실 특정 채널 안에서만 벌어진 착시일 가능성도 있습니다 — 예를 들어 예산을 줄인 채널에서 빠져나간 수요가 단순히 다른 채널로 옮겨간 것뿐이라면, 채널별 지표는 좋아 보여도 회사 전체 매출은 그대로거나 오히려 줄었을 수 있습니다. 5강에서 다룬 실패 사례처럼 채널 간에는 서로를 보완하는 구조가 있기 때문에, 개별 채널 지표만으로 전체 판단을 내리는 것은 위험합니다. 특정 채널의 예산을 늘렸더니 그 채널의 ROAS는 오히려 떨어졌지만 회사 전체 MER은 개선되는, 언뜻 모순돼 보이는 결과가 나올 수도 있는데 이는 그 채널이 다른 채널의 성과를 함께 끌어올리는 보완재 역할을 하고 있었다는 신호일 수 있습니다.

전후 비교만으로는 부족한 이유

기여 모델 가이드라인을 적용한 뒤 MER이 올랐다는 사실 하나만으로는 그 개선이 실제로 미디어믹스 조정 덕분인지 확신할 수 없습니다. 계절적 성수기, 경쟁사 프로모션 축소, 자사 상품 라인업 변화 같은 다른 요인이 같은 시기에 겹쳐 있었을 가능성이 항상 존재하기 때문입니다. 이런 혼란 변수를 걸러내려면 단순히 "적용 전 vs 적용 후" 숫자를 나열하는 것을 넘어, 통계적으로 그 차이가 평소의 자연스러운 변동 범위를 벗어난 것인지 확인하는 절차가 필요합니다. 특히 신제품 출시나 가격 정책 변경처럼 마케팅 외적인 큰 변화가 같은 기간에 있었다면, MER 변화를 미디어믹스 조정의 성과로만 돌리는 것은 성급한 결론이 될 수 있습니다.

실험 설계로 검증하는 두 가지 접근

가장 엄밀한 방법은 앞서 5강과 104번 과목(메타 어트리뷰션·인크리멘털리티)에서 다룬 인크리멘털리티 테스트와 같은 원리로, 지역이나 오디언스를 나눠 새 미디어믹스를 적용한 그룹과 기존 방식을 그대로 유지한 그룹의 MER을 비교하는 홀드아웃 설계입니다. 이런 실험 설계가 현실적으로 어려운 규모의 회사라면, 최소한 변경 전후 각각 충분한 기간(계절성을 걸러낼 수 있을 정도)의 데이터를 모아 추세선으로 나란히 비교하고, 같은 기간 동안 있었던 외부 변수(프로모션, 경쟁 상황, 신제품 출시)를 함께 기록해 착시 가능성을 줄이는 절충안을 쓸 수 있습니다. 전년 동기 대비 비교를 함께 병행하면 계절성으로 인한 착시를 어느 정도 걸러낼 수 있어, 홀드아웃 실험이 현실적으로 어려운 상황에서도 최소한의 검증 장치로 쓸 수 있습니다.

결과를 어떻게 팀에 공유해야 하나

검증까지 마쳤다면 그 결과를 어떻게 전달하는지도 중요합니다. MER 개선을 보고할 때는 "적용 후 MER이 올랐다"는 결론 한 줄만 전달하기보다, 비교에 쓴 기간·제외한 변수·비교 방식(홀드아웃인지 전후비교인지)을 함께 명시해야 합니다. 이렇게 방법론을 투명하게 문서로 남겨두면, 다음 분기에 같은 방식으로 재검증할 수 있고 결과에 의문이 생겼을 때도 어떤 전제 위에서 나온 숫자인지 추적할 수 있습니다. 경영진에게 보고할 때도 "MER이 좋아졌다"는 결론 한 줄보다, 어떤 기간·어떤 조건에서 그 결론에 도달했는지를 함께 설명하는 편이 다음 예산 승인을 받을 때 더 설득력 있는 근거가 됩니다.