성과 측정: 마케팅 기여도(Attribution) 및 증분(Incrementality) 모델의 장단점

마케팅 기여도는 지금까지 수년 동안 캠페인의 성과를 분석하는 주요 방법이 되어 왔습니다. 마케팅 기여도 개념이 널리 사용되고 있지만 마케팅 기여도 모델에는 몇 가지 단점이 있으며, 이로써 증분 측정이라는 주제의 인기가 높아지는 이유가 설명될 수 있습니다.

모든 마케팅 기여도 모델은 고객 접점을 광고(노출, 클릭) 및 구매 행동(전환)과 연관시킨다는 한 가지 공통점이 있습니다.

클릭(Click Through), 조회(View Through), 마지막 접점(Last Touch), 첫 접점(First Touch), 멀티터치(Multi-Touch) 등과 같은 여러 모델 개념이 있습니다. 모든 모델은 사용자 별 이벤트의 적시의 상관 관계("먼저 이 일이 일어난 다음 동일한 사용자에게 저 일이 일어난다")에 의존하여 마케팅 기여도의 개념을 도출합니다. 사실상 이러한 개념은 종종 인과 관계로 인식됩니다("사용자가 저 광고를 클릭했으므로 이 매출은 저 광고로 인한 것으로 본다"는 것은 “저 광고로 인해 매출이 발생했다”는 것과 유사합니다).

그러나 주지하는 바와 같이 일반적으로 브랜드 자산, 입소문, 오프라인 미디어 캠페인 등 구매 결정에 영향을 미치는 다양한 요인들이 있으므로, 모든 매출을 사용자가 클린한 하나의 광고의 결과로 보는 것은 의심의 여지가 있습니다. 불행히도 그 어떤 마케팅 기여도 모델도 이러한 요인을 설명하지 못합니다. 바로 이러한 부분에서 증분 측정이 도움이 도움이 될 수 있습니다.

이벤트의 상관 관계에 의존하지 않고 무작위 대조군 연구(RCT: Randomized Controlled Trial)를 사용하여 광고의 대상인 ‘처치군(treatment group)’과 광고의 대상이 아닌 ‘대조군(control group)’ 간의 행동 차이(전환률, 사용자 당 매출 등)를 관찰합니다.

집단이 실제로 무작위이고 특정 캠페인의 광고 대상이 되는 집단과 그렇지 않은 집단의 행동 간에 차이가 있는 경우, 이는 캠페인과 행동 변화 사이에 진정한 ‘인과 관계’가 있음을 증명합니다.

증분 측정에는 주로 대조군에 일어나는 일과 결과를 보는 방법에 있어서 다양한 방법론이 있습니다. 오늘날 가장 널리 사용되는 방법론은 ITT(Intent-to-Treat), PSA/위약(Placebo) 및 고스트 광고(Ghost Ad)입니다. 리타겟팅(retargeting)에는 고스트 광고: 고스트 입찰(Ghost Bid)과 밀접하게 관련된 방법론도 있습니다.

다양한 상충점을 고려할 때 모든 방법론은 여러 장단점이 있습니다. ITT 방법론은 비용이 들지 않고 클라이언트 측에 쉽게 구현할 수 있지만 데이터에 노이즈가 매우 많고 종종 그로 인해 업리프트(uplift)가 나타나지 않습니다.

• PSA/위약 방법론은 노이즈 문제를 해결하지만 대조군에서의 노출을 위해 비용이 발생합니다.
• 고스트 광고는 비용이 들지 않고 노이즈가 없지만 사용자 확보 캠페인에만 효과가 있고 사용자 유지에는 효과가 없습니다.
• 고스트 입찰은 비용이 들지 않고 리타겟팅에 효과가 있고 ITT보다 노이즈가 더 적지만 고스트 광고보다는 노이즈가 더 많습니다.
  

마케팅 기여도 모델의 주요 장점은 구현 및 추론이 쉽다는 것입니다. 시장에는 사용하기 쉬운 독립 솔루션을 제공하는 여러 공급 업체(마케팅 기여도 공급자)가 있습니다. 또 다른 장점은 마케팅 기여도 모델이 데이터를 거의 사용하지 않고 캠페인 또는 크리에이티브 수준까지 상대적인 성과를 측정할 수 있다는 것입니다.

마케팅 기여도 모델의 주요 단점 중 하나는 브랜드 자산, 오프라인 마케팅, 입소문 등과 같은 ‘측정할 수 없는’ 기여를 설명하지 않는다는 것입니다. 또 다른 문제 영역은 유기적인 행동에 대한 설명의 부족입니다. 이미 강력한 브랜드 자산을 지닌 사용자 확보 캠페인(샌프란시스코에서의 Uber 설치 캠페인을 생각해 보십시오)을 예로 들 수 있습니다. 이는 이미 앱을 설치한 사용자의 강한 유기적 행동 가능성이 있는 리타겟팅에서 더 큰 문제입니다. 그러한 이유로 리타겟팅에 마케팅 기여도를 적용하면 리타겟팅 캠페인의 실제 가치 측정이라는 포인트를 종종 놓치게됩니다.

증분 모델의 주요 장점은 매출 또는 전환 증가에 대한 캠페인의 절대 기여도를 객관적으로 측정한다는 것입니다. 과학적으로 개발된 RCT 방법은 광고 지출과 증분 매출 간의 실제 인과 관계를 증명합니다. 증분 방법론은 또한 유기적 행동 및 기타 마케팅 활동을 설명합니다. 대조군과 처치군 모두가 이러한 행동 및 활동의 영향을 동등하게 받기 때문입니다.

증분 모델의 단점은 이 방법론의 복잡성에 있습니다. 모집단을 무작위로 나누어 한 집단에게만 광고를 보여준 다음 결과를 관찰하는 증분 측정은 표면적으로 쉬운 개념처럼 보일 수 있습니다. 하지만 이는 빙산의 일각에 지나지 않으며, 증분 측정을 성공적으로 적용하려면 다양한 방법론, 통계, 노이즈에 영향을 미치는 매개 변수, 분석 프레임워크, 일반적 편향 및 결함에 대한 훨씬 더 자세한 지식이 필요합니다. 증분 모델의 또 다른 문제는 통계적으로 유의한 결과를 판별하기 위해 훨씬 더 많은 데이터(고유 사용자의 표본 크기)가 필요하다는 것입니다. 따라서 세그먼트 당/캠페인 결과별 등 세부 수준에 적용하기가 어렵습니다.

마케팅 기여도와 증분은 동일한 캠페인에 대해 의미있는 측정이 될 수 있지만, 이들은 완전히 독립적인(직교하는) 개념이며 결과를 보는 것 또한 독립적이어야 함을 이해하는 것이 중요합니다. 두 개념 모두를 구체적으로 혼합해서는, 즉, 증분 결과에서 처치군에 대한 전환/매출 기여도를 봐서는 안됩니다.

결과의 조회 기여도에는 (클릭 기여를 통한) ‘클릭한 사람’의 매출 기여도가 포함되지만

증분 측정은 클릭 또는 조회와 관계 없이 각 집단(처치군/대조군)의 모든 매출/전환을 관찰합니다.

또 다른 차이점은 일반적으로 결과 기여도에 기여 기간(attribution window)이 포함되는 반면, 증분 측정은 모집단의 대조군에 대한 클릭/조회가 없기 때문에 그러한 개념을 필요로 하지/사용하지 않는다는 것입니다. 대신 증분 측정은 특정 기간(일반적으로 캠페인 실행 기간 및 지연된 전환 유예 기간) 동안 두 집단의 모든 행동을 관찰합니다.

증분 결과에서 덜 직관적인 개념은 ‘노출된 사용자’ 개념입니다. 직관적으로 사람들은 '광고에 노출된 사용자'와 '광고에 노출되지 않은 사용자'의 매출/전환을 보기를 원합니다. 이것은 처치군에는 '노출된' 사용자만 포함하고 대조군에는 '노출되었을" 사용자만 포함하는 특정 방법론에서만 가능합니다. 이러한 방법론은 '사용자들이 대조군에서 노출되었을' PSA/위약 및 고스트 광고입니다.

ITT 및 고스트 입찰 방법론은 처치군의 '노출된' 사용자와 '노출되지 않은' 사용자를 (서로 다른 정도로) 포함하며, 대조군의 어떤 사용자들이 '노출되었을' 것인지에 대한 정보는 제공하지 않습니다. 따라서 이 방법론에서는 전체 집단(처치군의 '노출된 사람들과 노출되지 않은 사람들' 및 대조군의 '노출되었을 사람들과 노출되지 않았을 사람들')의 행동을 봐야합니다. 이러한 방법론에서 '노출된 처치군' 대 '대조군 모두'를 살펴보는 것은 불가능한데, 그 이유는 선택 편향이 발생할 수 있기 때문입니다. 처치군에서 '노출된 사람들'을 선택하는 과정은 무작위가 아니며 타겟팅, 최적화 및 경매 역학 매커니즘의 영향을 많이 받습니다.

처치군의 노출되지 않은 사용자를 살펴보는 것에 대한 일반적인 반론은 “노출되지 않은 사용자는 광고를 보지 않았고 비용을 발생시키지 않았으므로 이들의 전환/매출을 살펴봐서는 안 된다”는 것입니다. 이러한 논거는 PSA/위약 및 고스트 광고 방법론에는 유효하지만 선택 편향으로 인해 ITT 및 고스트 입찰에는 유효하지 않습니다. 하지만 마케팅 기여도 모델과는 달리 노출되지 않은 사용자의 매출은 단순히 캠페인에 '기여'되지 않고 노출된 사용자의 매출과 합산된 후 나중에 대조군의 매출과 비교된다는(척도화 가능) 점을 이해하는 것이 중요합니다.

처치군의 모든 사용자가 노출되지 않은 경우에는 업리프트가 없고 두 집단 간의 차이가 없어 증분 매출이 발생하지 않습니다. 이것은 노출된 사용자를 보는 것이 문제가 아니라 편향을 피하기 위한 방법론이 필요함을 보여줍니다.

마케팅 기여도 모델과 증분 모델은 모두 효과적인 모바일 마케팅 전략에서 자리를 잡고 있습니다. 핵심은 개별 기능을 이해하고 각각의 한계를 인식하는 것입니다. 이를 염두에 두고 자신의 캠페인의 성과와 캠페인이 이끄는 실제 가치를 정확히 파악할 수 있습니다.