질문 10개는 측정 범위 10개가 아닙니다 — 팬아웃의 실제

📖 약 5분 읽기

“질문을 겨우 10개 넣었는데 그걸로 무슨 측정이 되나요?” GEO 측정 결과를 처음 받아본 담당자들이 가장 먼저 던지는 질문입니다. 표본이 적다는 인상은 자연스럽습니다. 그런데 이 숫자만 보고 판단하면, AI가 질문 하나를 어떻게 다루는지를 놓치게 됩니다.

왜 10개가 10개로 끝나지 않을까

AI 답변 시스템은 사용자의 질문을 받으면 그 질문을 그대로 검색하지 않습니다. 하나의 질문 안에 담긴 의도를 여러 갈래로 쪼개서, 각 갈래마다 별도의 자료를 찾아본 다음 이를 다시 하나의 답으로 묶어냅니다. 이 과정을 팬아웃이라고 부릅니다. 예를 들어 “이 지역에서 괜찮은 인테리어 업체 추천해줘”라는 질문 하나는 가격대, 시공 후기, 최근 상담 가능 여부 같은 하위 질문으로 나뉘어 각각 다른 자료를 참조하게 됩니다.

그래서 질문 10개를 넣었다고 해도 AI 입장에서는 그보다 훨씬 많은 검색과 참조가 일어나고 있는 셈입니다. 표면에 보이는 숫자와 실제로 처리되는 맥락의 양은 다르다는 뜻입니다. 측정을 설계할 때 이 차이를 이해하지 못하면, 질문을 무작정 늘리는 방향으로만 접근하게 되고 정작 대표성 있는 질문 설계는 놓치게 됩니다.

질문의 양보다 질문의 폭이 우선입니다

같은 이유로, 측정에서 중요한 기준은 질문 개수가 아니라 그 질문이 얼마나 다양한 상황을 대변하는지입니다. 실제 고객이 검색창이나 챗봇에 입력할 법한 자연스러운 문장 하나는, 실무자가 임의로 만든 부자연스러운 질문 여러 개보다 더 넓은 범위를 담아낼 수 있습니다. 고객은 브랜드명을 직접 언급하기도 하고, 언급하지 않은 채 카테고리나 지역, 가격대 위주로 묻기도 합니다. 이 두 가지 방식을 섞어서 질문 세트를 구성해야 실제 소비자 행동에 가까운 결과를 얻을 수 있습니다.

GEOcare.ai의 자동 재진단(SoM 파이프라인)도 이런 원리를 바탕으로 설계되어 있습니다. 크롤, EEAT, 4개 LLM 점유율까지 매일·3일·매주·2주·매월 중 선택한 주기로 반복 측정하는데, 이때 한 번의 실행이 SoM 분석 월 한도 1회를 소진하는 구조이기 때문에 질문 세트를 얼마나 대표성 있게 구성하느냐가 결과의 신뢰도를 좌우합니다. 질문 개수를 늘리는 것보다, 몇 개의 질문이라도 실제 고객의 언어와 검색 습관을 반영하도록 다듬는 편이 더 정확한 SoM(AI 점유율) 데이터를 만들어냅니다.

지금 쓰고 있는 질문을 점검할 차례입니다

지금 사용 중인 측정 질문들이 실제로 얼마나 다양한 고객 상황을 담고 있는지 다시 살펴볼 필요가 있습니다. 브랜드명을 넣은 질문과 빼놓은 질문이 균형 있게 섞여 있는지, 가격·지역·용도처럼 서로 다른 관점의 질문이 함께 들어 있는지 확인하는 것이 출발점입니다. 이 작업은 화려하지 않지만, 이후 나오는 모든 측정 결과의 기초가 되는 부분입니다. 질문의 숫자를 늘리기 전에, 있는 질문 하나하나가 어떤 고객의 목소리를 대변하고 있는지부터 점검해보시기 바랍니다.