좋은 지표, 나쁜 경험 (Simplicity 24) - 지표는 성공인데, 사용자는 불편해했다

 

개요

Toss Design Conference | Simplicity24

 

토스 디자인 컨퍼런스 Simplicity 24를 보며, 데이터와 사용자 경험 사이의 간극에 대한 깊은 인사이트를 접할 수 있었다.

 

이 세션에서는 홈 화면 최상단 영역에 노출되는 인텔리전스(사용자의 상황에 맞춰 정보를 전달하는 기능)를 중심으로 다음과 같은 주제를 다뤘다.

 

    1️⃣ 정량적 지표와 사용자 경험에 대한 괴리

    2️⃣ 정성적 문제를 어떻게 가시화하였는가

    3️⃣ 팀원에게 인사이트를 효율적으로 공유한 방법

 

이 글을 작성하며, 토스가 어떤 문제를 발견하였고, 그 과정에서 어떤 시도를 하였으며, 어떤 점을 배웠는지 공부하고 정리하고자 한다.

 

 

 

 

1️⃣ 문제인식 : 정량적 지표와 사용자 경험에 대한 괴리

 

인텔리전스 콘텐츠 클릭률은 지속적으로 상승하고 있다. → 정량적 지표는 긍정적인 상황이다.

 

하지만, 사내 채널을 통해 사용자 불만이 다수 발생했다. → 정성적 평가는 좋지 않다.

 

  "봤던 인텔리전스가 또 떴어요"

  "문구가 허위광고 같아서 불쾌해요"

 

 

😵‍💫 정량적 지표는 좋은데, 사용성 관련 문제 제보가 늘어나고 있는 간극을 발견함

😰 이를 문제라고 정의하기 어려울뿐더러, 얼마나 큰 문제인지 심각도를 수치화하기도 어려운 상황임

🤔 정성적 평가의 필요성을 느끼고, 정성적 평가를 가시화하기로 결정

 

반응형

 

 

 

2️⃣ 해결과정 : 정성적 문제를 어떻게 가시화하였는가

🏷️ 문제 제보를 주제별로 분류

출처: 토스 기술 블로그

 

토스팀은 사내 제보 내용을 카테고리화하여 정리했다.

하지만, 단순 분류만으로는 핵심 문제가 무엇인지 파악하기 어려웠다.

 

그래서, 시간 흐름에 따라 분류 또한 시도했다.

 

 

 

⏰ 시간 순으로 분류

출처: 토스 기술 블로그

 

제품의 변화에 영향을 받은 건지, 아니면 우연히 특정 시점에 몰린건지 확인하고자 시간 흐름에 따라 다시 카테고리화했다.

 

특정 시점 이후 사용성 관련 제보가 증가함을 찾았다. 이를 통해, 눈여겨봐야 할 문제라는 점을 인식했다.

 

그러나, 어떤 부분이 문제인지는 여전히 알기 어려웠다.

 

그래서, 실제 유저들을 대상으로 설문조사를 진행하기로 함.

 

 

 

 

📃 유저 설문조사 1차

출처: 토스 기술 블로그

 

전문성을 가지고 제품을 만드는 내부 팀원이 느끼는 문제와 실제 사용자의 의견이 다를 수 있기 때문에, 실제 사용자에게 설문조사 진행.

 

설문조사

- Who : 인텔리전스를 본 사용자
- What : 인텔리전스 콘텐츠에 대한 만족도 평가 및 주관식 의견 수집
- How : 유저의 만족도를 1~5점 평가하게 한 후, 점수에 대한 이유를 자유롭게 서술
- Why : 전문성을 가진 내부 팀원과 실제 사용자 간 의견이 다를 수 있기 때문

 

 

설문조사를 통해, 응답 패턴을 발견.

→ 동일한 상황에서 사용자들은 상반된 의견을 보임

ex) 똑같이 대출을 보여줘도 좋다는 사람도 있고 싫다는 사람도 둘 다 있음

 

 

하지만, 패턴을 찾기는 했지만, 여전히 어떻게 해야 할지 해결방안을 찾기 어려웠음.

 

그래서, 더욱 구체화한 설문조사를 한 번 더 진행.

 

 

 

📃 유저 설문조사 2차

출처: 토스 기술 블로그

 

만족도 점수를 고른 이유를 선택지 형태로 보완하여 설문조사 진행.

 

설문조사

- Who : 인텔리전스를 본 사용자
- What : 인텔리전스 콘텐츠에 대한 만족도 평가 및 주관식 의견 수집
- How : 유저의 만족도를 1~5점 평가하게 한 후, 점수에 대한 이유를 선택지로 선택 후, 주관적인 의견 수집
- Why : 설문조사를 보안화여 불만 요인을 정량화하고자 함

728x90

 

주관적인 불만 요인을 숫자로 정량화하여 할 수 있게 되었음. → 응답 결과를 통해 광고처럼 느껴진다라는 키워드가 문제의 핵심으로 인식.

 

이와 동시에, 유저들은 어떤 것을 광고라고 생각하고, 어떤 것을 정보라고 생각하는지에 대한 의문점이 생김

 

 

 

💬 사용자 인터뷰

토스 앱에 한정하지 않고, 사용자 관점에서 금융앱의 광고 인식 기준을 탐색하고자 사용자 인터뷰 진행.

 

사용자 인터뷰

- Who : 일반 사용자
- What : 광고에 대한 사용자의 주관적인 의견 수집
- How : 자주 사용하는 금융앱(토스 앱 한정 X)을 보여달라고 한 후, 거기서 광고라고 생각되는 부분과 그 이유에 대하여 질문함
- Why : 사용자 관점에서 금융앱의 광고 인식 기준을 탐색 

 

 

사용자들은 상단 배너를 무조건 광고라고 생각하지 않을까?라는 가설을 가지고 있었음.

 

그러나, 사용자 인터뷰를 통해 유저들은 위치보다 내용에 따라서 광고인지를 빠르게 판단함을 알아냄.

 

 

다음과 같은 내용들을 광고라고 느낌.

 

  🙅‍♂️ 자신의 상황에 해당하지 않는다고 생각하는 주제

  🪝 너무 후킹한 문구 (ex. 100만 원 당첨)

  😩 클릭했을 때, 예상하지 못한 결과를 노출하는 콘텐츠

  🤔 경험하지 않아서 상상하기 어려운 내용

 

 

 

ex)

사용자가 확신하고 예상했던 것과 다른 결과

출처: 토스 기술 블로그

 

클릭하면, 100원을 준다고 해서 눌렀음

→ 그러나, 50원만 주고 친구에게 공유하면 50원 더 준다고 함.

→ 기대와 결과의 불일치로 광고라고 인식함.

 

✅ 어떤 화면이 나올 것인지, 어떤 행동을 하게 될 것인지를 사용자가 명확하게 느껴지게 만들어야 한다.

 

 

 

경험하지 않아서 상상하기 어려운 내용

출처: 토스 기술 블로그

 

알뜰폰 요금제를 모르는 사람에게 월 3만 원 무제한 데이터 요금제 노출함.

→ 너무 파격적으로 저렴하게 느껴져서 낚시성 광고라고 인식함.

 

✅ 요금 자체를 알려주는 것 보다 알뜰폰 요금제에 대한 정보를 제공해야 한다.

 

 

💡 Insight

유저의 기대와 실제 경험 사이의 불일치는 신뢰를 잃어버리고 광고라고 느끼게 한다. 

그러므로, 유저가 기대하는 내용이 나올 수 있도록, 정직하고 투명한 UX writing을 해야 한다.

 

 

 

 

 

3️⃣  팀원에게 인사이트를 효과적으로 고유한 방법

📝 실제 사례를 기반으로 가이드라인 작성

출처: 토스 기술 블로그

 

 

 

✨ 클릭률이 높고 사용자 신뢰도가 높은 템플릿 제공

출처: 토스 기술 블로그

 

 

 

🔎 광고 문법 감지 기능 도입

출처: 토스 기술 블로그

 

 

 

📊 피드백 대시보드 구축

출처: 토스 기술 블로그

 

 

 

 

4️⃣ 결론 : 배운 점

좋은 지표가 반드시 좋은 사용자 경험을 의미하지는 않는다. 

 

정량적 지표는 성과를 수치화해 보여준다.

 

그러나, 사용자가 실제로 어떻게 느끼고, 

어떤 맥락에서 신뢰를 형성하거나 잃는지를 설명해주지는 않는다.

 

이 간극을 메우기 위해서는, 사용자의 주관적인 감정과 인식을 수집하고

정성적 데이터를 정량화해 설득력 있게 전달해야 한다.