고품질 데이터 확보를 위한 데이터 품질 관리 방법론 (3)
설문 데이터를 확인했더니 “모르겠다” 응답 투성이거나 한 번호로만 쭉 찍혀있던 경험 있으신가요? 원인은 응답자의 성의가 아니라 설문지 기획과 문항/척도 설계의 문제인 경우가 많습니다. 가운데 칸을 두느냐 마느냐, 즉 중간 척도 유무가 평균값과 결론을 바꾸기 때문입니다.
중간 척도 유무가 결과를 바꾸는 이유 ⚖️
리커트 척도(Likert Scale)는 1932년 고안된 이래 태도 측정의 표준이지만, 논쟁은 늘 가운데 칸에서 벌어집니다.
'보통이다' 선택지가 있는 홀수 척도는 응답자에게 도피처를 줍니다. 고민이 귀찮거나 의견을 드러내기 부담스러울 때 응답이 가운데로 몰리는 현상이 중앙화 경향(Central Tendency Bias)입니다. 중앙화 경향이 심하면 평균은 3점에 수렴하고 세그먼트 간 차이도 묻힙니다.
반대로 가운데를 없앤 강제 선택형(Forced Choice)은 방향을 반드시 고르게 합니다. 다만 도브테일(Dovetail)의 지적처럼 진짜 중립인 사람에게 강제 선택형을 쓰면 무작위 응답이 섞여 데이터가 흐려집니다.
5점 척도 vs. 4점 척도, 언제 무엇을 쓸까 📊
판단 기준 | 5점 척도(홀수) | 4점 척도(짝수) |
|---|---|---|
중립 응답 | 있는 그대로 측정 | 강제 선택형으로 제거 |
적합한 상황 | 중립이 가능한 주제 | 우선순위를 가릴 때 |
위험 요인 | 중앙화 경향으로 변별력 저하 | 없는 태도를 만들 위험 |
설문지 척도 설계의 기준은 단순합니다. 추세를 추적하는 만족도 문항은 홀수형으로, 결단을 요구하는 문항만 짝수형으로 좁히세요.
'보통이다'와 '모르겠음'은 다른 데이터입니다 🔀
가장 흔한 실수는 중립과 무응답을 한 칸에 몰아넣는 것입니다. 닐슨노먼그룹(NN/g)은 모두에게 해당하지 않는 문항이라면 '해당 없음(N/A)' 보기를 따로 두라고 권합니다. 중립인 응답자와 질문이 무관한 응답자는 다르니까요.
'보통이다'는 태도가 중간이라는 뜻이고, '모르겠음'은 판단 근거가 없다는 뜻입니다.
첫째, 해당 없음(N/A) 분리를 척도 밖 별도 보기로 둡니다.
둘째, 그 응답은 평균에서 빼고 기준 인원(n)을 표기합니다.
셋째, 그 비율이 20%를 넘으면 인지도가 낮다는 신호로 읽습니다.
데이터 신뢰도를 지키는 설문 설계 스킬(skill) 3종 세트 ✅
Attention Check(주의집중문항): "이 문항은 3번을 선택해 주세요"처럼 주의를 확인하는 함정 문항으로, 중반에 1~2개면 충분합니다.
역문항(Reverse-Coded Item/Question): 긍정 진술 사이에 부정 진술을 섞어 일관성을 봅니다. 역문항에도 같은 번호를 찍었다면 직선 응답(Straight-lining)입니다. 역문항 남용은 혼란을 키우니 최소한만 쓰도록 하며, 역문항을 통한 데이터 품질 판정 기준을 명확하게 설정하세요.
참여 메타 데이터 확인: 소요 시간이 짧거나 특정 패턴으로만 반복한 응답을 걸러냅니다. Attention Check 실패와 겹쳐 보면 불성실 응답 대부분을 잡습니다.
픽플리 활용법: 척도 응답의 유효성 높이기 🎯
응답자가 잘못되면 클리닝도 늦습니다. 픽플리는 45만 명 유저 풀에서 대상 조건 설정으로 성별·연령은 물론 구매 경험까지 지정합니다. 대상 조건 설정에 설문지 자체적인 스크리너(screener) 혹은 조건부 로직을 설계해두면 '모르겠음'을 고를 사람이 표본에서 줄어듭니다.
수집 중에는 데이터 품질 검증 솔루션이 응답 시간과 Attention Check 결과를 실시간 확인합니다. 데이터 품질 검증 솔루션이 있으면 분석 전 부담이 줄고, 남는 문제는 저품질 데이터 무상 A/S로 교체합니다. 저품질 데이터 무상 A/S는 표본 수를 지키며 데이터 신뢰도를 회복하는 안전장치입니다.
자주 묻는 질문(FAQ) 💬
Q. 설문조사 설계 시 5점 척도(홀수)와 4점 척도(짝수) 중 데이터 분석에 더 유리한 구조는?
측정 목적이 기준입니다. 중립이 실제로 존재할 수 있는 주제나 추세 비교에는 5점 척도가, 우선순위를 가려야 하는 문항에는 강제 선택형인 4점 척도가 낫습니다. 어느 쪽이든 '해당 없음(N/A)'은 척도 밖에 두어야 합니다.
Q. 설문 결과에서 '보통이다'나 '모르겠음'으로 응답이 몰리는 중앙화 경향을 방지하는 법은?
의견 대신 구체적 행동을 묻고, 판단 근거가 없어 생기는 회피는 스크리닝과 조건부 로직으로 줄입니다. 그래도 중앙화 경향이 남으면 짝수 척도로 바꾸되, 중립이 가능한 문항엔 쓰지 않습니다.
Q. 리커트 척도에서 '중립(Neutral)'과 '해당 없음/모르겠음(N/A)'을 구분해야 하는 이유는?
중립은 태도가 중간이라는 측정값이고, 모르겠음은 태도가 없다는 뜻입니다. 닐슨노먼그룹도 해당 없음(N/A) 분리를 권고합니다. 둘을 합치면 평균이 왜곡되고, 문항이 어려운 것인지 진짜 중립인지 구분할 수 없습니다.
Q. 픽플리(Pickply)에서 조건부 로직과 스크리닝을 활용해 척도 응답 데이터의 유효성을 높이는 방법은?
대상 조건 설정으로 모집단을 좁히고, 스크리닝으로 비대상자를 걸러낸 뒤 조건부 로직으로 경험자에게만 척도 문항을 노출합니다. 이후 데이터 품질 검증 솔루션이 불성실 응답을 잡고, 필요하면 저품질 데이터 무상 A/S로 표본을 보충합니다.
결국 양질의 데이터는 좋은 기획과 설계에서 나옵니다 🚀
중간 척도 유무는 취향이 아니라 측정 설계의 문제입니다. 명확한 가설을 바탕으로 무엇을 측정 & 검증하려는지 정하면 리커트 척도를 몇 점으로 짤지, '모르겠음'을 어디에 둘지가 따라옵니다.
또한, 참여자를 ‘보상만 얻고 싶어하는 체리피커(cherry-picker)’로만 생각하지 말고 바쁜 현대 사회에서 소중한 시간을 내어 내 설문을 참여해주시는 ‘고마운 조력자’로 생각하며 설문지를 통해 명확하고 친절한 소통을 진행해주세요. 유저 중심 기획 및 설계를 통해 참여자들이 진심을 담아 참여할 수 있도록 참여 경험을 제공했을 때, 불성실/허위 응답률은 1% 미만으로 떨어집니다.
설문지 척도 설계와 데이터 신뢰도를 함께 챙기고 싶다면 픽플리와 함께 해보세요.😊