광고 소재 A/B 테스트 — 무엇을 바꾸고 어떻게 비교할까

광고 소재를 비교할 때는 무엇이 달랐고 어떤 결과를 볼 것인지부터 정합니다. 클릭이 많이 나온 소재가 실제 상담이나 계약에서도 좋은 결과를 냈는지는 별도로 확인해야 합니다.

한 번에 비교할 항목을 정합니다

헤드라인·이미지·버튼 문구를 한꺼번에 바꾸면 차이가 생긴 이유를 구분하기 어렵습니다. 문구의 효과를 확인하려는 테스트라면 이미지와 제안은 유지하고 문구만 바꿉니다. 대상·예산·기간·도착 페이지도 가능한 한 같은 조건으로 맞춥니다.

서로 다른 전체 구성을 비교할 수도 있습니다. 다만 그 결과를 보고 “이미지 때문에 좋아졌다”처럼 특정 요소의 효과로 단정하지 않습니다.

적은 수의 클릭으로 결론 내리지 않습니다

노출 300회에서 클릭 8회와 12회가 나왔다고 해서 어느 소재가 더 낫다고 확정하기는 어렵습니다. 표본이 작을수록 우연한 차이의 영향이 큽니다. 필요한 표본은 기존 전환율과 확인하려는 차이에 따라 달라집니다.

계획할 항목	운영 계획의 예시	해석할 때 주의할 점
클릭률 비교	소재당 클릭 300~500회	이 숫자만 채웠다고 통계적으로 유효해지는 것은 아님
전환 비교	소재당 전환 30~50건	전환의 정의와 기존 전환율도 함께 확인
테스트 기간	최소 1주를 잡아 요일을 포함	2~3일의 결과와 비교하되 계절·프로모션 차이 확인
변수 통제	한 번에 하나의 항목 비교	설정 변경 시점도 기록

위 숫자는 계획을 세울 때 참고할 예시입니다. 적은 예산으로 충분한 자료를 모으기 어렵다면 결론을 유보하고 관찰 기간이나 비교 범위를 조정합니다. 지표와 실험 기능의 정의는 네이버 검색광고와 구글 애즈 고객센터에서 확인합니다.

클릭 이후의 결과를 함께 기록합니다

소재별 클릭 수·광고비·문의 접수·유효 문의를 같은 기간으로 비교합니다. 중복 문의나 테스트 제출을 제외했는지도 적습니다. 비교표 옆에는 “가격을 명시한 문구에서 서비스 범위를 알고 문의한 비중이 높았음”처럼 상담 기록으로 확인한 내용을 남깁니다.

한 소재의 결과가 좋았다면 예산을 조정한 뒤에도 문의 품질이 유지되는지 봅니다. 문구 5개를 추가로 만들더라도 기존 결과가 반복될 것이라고 가정하지 않습니다. 집계 순서는 ROAS 개선의 우선순위를 참고할 수 있습니다.

클릭률이 떨어지면 노출 조건을 살펴봅니다

같은 사용자에게 반복해서 노출됐는지, 경쟁 광고나 대상 구성이 달라졌는지, 계절적인 변화가 있는지 확인합니다. 클릭률 하락만으로 소재 피로를 확정하지 않습니다.

예산과 표본이 충분하다면 새 소재 1~2개를 함께 비교할 수 있습니다. 기존 소재를 교체한 날짜와 바꾼 항목을 남겨 다음 검토에서 원인을 찾을 수 있게 합니다. 광고 소재의 성과와 블로그·카페 상위노출 상품의 계약상 보상 조건은 별도로 판단합니다.

시작 전 확인할 것

• 비교할 문구·이미지·버튼 중 이번에 바꿀 항목을 정합니다.
• 클릭, 유효 문의, 계약 중 판단할 지표와 집계 기간을 정합니다.
• 표본이 부족할 때 결과를 유보할 기준을 둡니다.
• 설정 변경과 상담 내용을 기록합니다.
• 예산을 조정한 뒤에도 비용과 문의 품질을 다시 확인합니다.