사용성 카지노 게임 (UT) 원페이지 노트
사용자를 더욱 더 진하게 관찰하기
사이트 1차 개선 작업이 끝났다. 1차 개선 작업은 팀원들(기획자,디자이너)끼리의 아이디어,의견으로 작업을 진행했다면 다음 스텝은 내부 관계자들과 현업 부서의 의견을 듣고 2차 개선을 진행하기로 하였다.
이번 스탭의 베타 오픈 및 테스트는 우리가 생각했던 기획 의도대로 행동을 취하는지 가설을 검증하는 단계이기도 하고, 또 미처 생각하지 못했던 부분들을 알기 위함의 목적성을 가지고 진행되었다. 우리 팀은 다양한 방식으로 사용자의 의견을 들어보기로 했다.
사용자의 목소리를 들어보는 방식은 여러가지가 있다.
1. 사용자 인터뷰
2. 심층 인터뷰
3. 설문조사
4. 사용성 카지노 게임
5. 데스크 리서치
우리 팀은 설문조사, 사용성 카지노 게임, 사용자 인터뷰 세가지의 방식을 그룹군을 나눠 적절하게 사용하였다. 그 중 오늘 포스팅은 UT 에 대해 더 자세히 살펴보려고 한다. 관련 포스팅 10개는 넘게 읽으며 정리했고, 정리하고 나니 아, 이러한 프로세스로 이루어지는구나! 라고 알게 되었다.처음에는 UT 가 사용자 인터뷰와 같다고 생각했으나, 명확하게 개념도, 방법론도 달랐다.
먼저 UT 란 뭘까?
✍사용성 카지노 게임 (User Testability)
☞ 제품을 개선할 목표를 가지고, 사용자가 제품을 사용하는 모습을 관찰하는 것을 사용성 카지노 게임(Usability Test, UT) 라고 한다.
언제하면 좋을까?
✓개선된 부분을 사용자가 어떻게 사용하는지 확인하고 싶을 때
✓개선하기 전 사용자가 어떤 점을 불편하게 생각하는지 파악하기 위해서도 가능
그렇다면 사용자 인터뷰 그리고 심층인터뷰와어떤 차이가 있을까?
사용자 인터뷰 vs 사용성 카지노 게임(UT)
☞ 사용자 인터뷰: 진행자와 사용자가 만나서 사용자의 의견을 물어보는 것
☞사용성 카지노 게임: 사용자에게 할일(Task) 을 주고 사용자의 모습을 관찰한 뒤 질문을 던져서 사용자의 행동 이유를 파악하는 것
심층 인터뷰 vs 사용성 카지노 게임(UT)
☞ 심층인터뷰: 인터뷰이의 과거 경험을 공감하는 것
☞사용성 카지노 게임 :확인하고 싶은 테스크(과업)을 수행하는데 발생되는 사용성 이슈를 수집하는 것
이거 왜하는건데?
✍사용자카지노 게임(UT)의 장점
UT 전반관련한 레퍼런스를 찾을 때만 해도 장점에 대한 생각이랄게 없었다. BUT, 깨닳았다.
서비스를 만드는 과정은UT 전과 후로 나뉜다고!! (사용자 인터뷰 포함)
프로덕트를 만드는 사람끼리 머리를 맞대고 고민하는 것 보다 사용자의 목소리를 듣고 관찰하고 함으로써 훨씬 더 얻어지는 인사이트가 많았다. 그리고 결과 데이터가 딱 정해져 있어서 내가 냈던 아이디어에 대한 증명도 되어 내심 뿌듯함 + 확신도 있었던 듯 하다.
☞ 예상하지 못한 문제 발견: 사용자가 어디에서 어려움을 느끼는지 파악하고, 문제점 개선에 대한 사용자의 의견을 들으며 고객이 겪는 문제를 더욱 복합적인 시각에서 이해 가능
☞제품을 만드는 모두가 고객에 대해 같은 그림을 그릴 수 있음: 모든 관계자들이 지켜보며 다양한 이해관계를 가진 사람들이 고객에 대해 같은 그림을 그릴 수 있음
☞고객의 입장에서 더 깊이 생각: 데이터로 보는 고객 반응보다 더 즉각적이고 공감각적이기 때문에 고객의 입장에 이입해서, 고객에게 가장 도움이 되는 것이 무엇인지 생각 할 수 있음
그렇다면 이제 준비해 볼까?
✍UT 의 전반적인 프로세스
[준비사항]
☞사람
▪︎참가자 : 사용성 카지노 게임의 대상자, 준비된 Task를 가장 잘 수행할 수 있는 분
▪︎진행자 : 참가자를 만나서 사전에 준비된 Task를 참가자에게 제시하고,과정을 지켜보며 질문
▪︎관찰자 : 사용성 카지노 게임 과정을 보면서 참가자가 어떤 어려움을 겪는지, 우리의 제품이 참가자에게 어떻게 이해되는지 확인
☞ 공간
테스트 공간 : 참가자와 진행자가 함께 테스트를 진행할 공간 관찰 공간 : 관찰자들이 테스트 공간에서 일어나는 일들을 관찰하는 공간
[프로세스]
크게 5단계로 나뉘어진다.
목표 → 테스크설계 → 리크루팅 → 테스크 진행 → 결과 및 분석정리
1. 목표
☞ 카지노 게임를 통해 확인하고 싶은 것 정하기
발견해야 할 문제를 정하고, 사용성 카지노 게임에서 관찰해 볼 것들을 정하기
2. 테스크 설계
☞ 테스터가 할 일 정하기 (Task)
▪︎사용성 카지노 게임에서 해야 할 일을 미리 정하기
▪︎참가자가 테스트 시간을 충분히 채울 수 있는양으로 정하는 것이 좋고참가자가 상황에 이입에서 Task 를 수행할 수 있도록 구체적인 상황이 제시된 시나리오 형태로 작성하는 것이 좋음
▪︎각 시나리오마다 알고싶은 점을 함께 정리하면 카지노 게임 진행에 도움
3. 리크루팅
☞테스터 정하기
▪︎사용성 카지노 게임를 통해 확인하고 싶은 것을 가장 잘 보여줄 수 있는 참가 대상을 정하기
☞ 카지노 게임 환경 구성하기
▪︎체크리스트 확인
❏ 카지노 게임 공간과 관찰 공간이 마련되어 있나요?
❏테스트 공간에서 참가자가 조작하는 모습과 참가자-진행자의 대화가 관찰 공간에 중계되고 있나요?
❏카지노 게임 시 사용되는 카지노 게임 기기가 카메라를 통해 정상적으로 녹화되고 있나요?
❏오디오 음질이 대화를 들을 수 있을 정도로 양호한가요?
4. 카지노 게임 진행하기
☞ 카지노 게임하고 지켜보기
▪︎ 미리 적어 둔 시나리오로 사용성 카지노 게임를 진행. 참가자에게 시나리오를 하나씩 제시하고, 참가자 시나리오를 어떻게 수행하는지 지켜보기
▪︎시나리오를 통해 알고 싶은 내용이 보이지 않는다면 참가자에게 추가적으로 질문 가능
▪︎질문 시에는 참가자가 질문의 의도를 파악하지 못하도록 중립적이고 객관적인 시각으로 질문해야 하며, 진행자의 선호도가 질문에 드러나지 않도록 유의! 의도가 참가자에게 느껴지면 참가자가 이후 시나리오를 수행할 때 진행자의 의도를 반영하기 때문
▪︎특정한 사용성을 보기 위해, 시나리오를 전달할 때 제약사항을 함께 전달 할 수도 있음 ex) 이 기능을 쓰지 않고 시나리오를 수행해 주시겠어요?
5. 결과 및 분석정리
☞ 공유하고 개선하기
▪︎ 하나의 테스트가 끝나면 관찰자들은 각자 발견한 문제점을 서로 공유
팁
☞많은 홍보를 해라
☞참가자의 시나리오 수행과 참가자가 주는 의견을 구분하라
☞일단 시작하라
☞사용성 체크리스트를 만들자
레퍼런스를 읽다가 찐-하게 공감되는 말을 가져왔다. 사실 UT 뿐만 아니라 이런 방법론들은 효율성에 밀려 대충하거나 넘겨버리기 쉽상이다. 그래서 겉핥기 UX 방법론들을 사용하되는 프로젝트 팀을 보면 안타깝다.
방법론은 회사의 정책이 되어야 하고, 그 정책을 ‘시간’과 ‘의지’로 녹여내려는 노력, 그리고 ‘그렇게 하니까 결국 더 나은 결과가 생기더라’ 라는 프로젝트 구성원간의 암묵적 합의의 결과로써만 드러난다.
스티브크룩의 사용자를 생각하게 하지마!조금 더 알아보자! 구체적인 예시를 보여줘
✍스티브 크룩의 사용성 평가 플로우 _ 실전
☞ 유튜브를 보며 실제 어떻게 사용자 평가(UT)를 진행하는지 볼 수 있다. 실제 처음 하려다 보면 떨릴 수 있으니 미리 한번 보며 학습하는 것도 좋은 듯 하다. 나는 대본 작성을 위해 스크립트도 따라 써 참고했다.
[진행 방법 안내]
소요 시간
실수하지 않아도 된다는 부담감 줄이기
중간중간 질문이 있을거라는 안내 (뭘 보는지, 뭘 찾는지 등)
답을 주지는 않지만 카지노 게임가 끝나면 원한다면 답을 알려준다
녹화, 녹음에 대한 동의 및 활용 목적
해당 카지노 게임를 누가 지켜보는지 누가 확인 할건지 안내 (외부 노출이 없음을 강조)
[스크립트 공유]
안녕하세요, 멜라니 씨 스티브라고 합니다. 제가 오늘 카지노 게임 진행을 맡게 됐습니다. 시작하기 전에 몇가지 알려드릴 게 있어요. 빠짐없이 전달하기 위해 읽어 내려가겠습니다. 여기에 오신 이유는 이미 알고 계시겠지만 다시 한번 간단히 알려드리겠습니다. 웹사이트가 의도대로 작동하는지 알아보기 위한 실제 사용 카지노 게임로 소요시간은 20분 정도 입니다. 저희가 카지노 게임하는 것은 멜라니씨가 아니라 사이트이니 실수할까 걱정하지 마시고 부담없이 실수하셔도 됩니다. 사이트를 이용하시는 중에 질문을 많이 드릴 것입니다. 뭘 보고 있는지, 뭘 하려고 하는 건지, 어떻게 생각하는지 말해주시면 저희에게 큰 도움이 될 겁니다. 혹시 기분 나빠하지 않을까 그런 걱정은 마세요. 이 사이트의 개선을 위해서도 솔직한 의견이 필요합니다. 질문이 있으며 그냥 물어보세요. 도와줄 사람이 없을 때 어떻게 대처하는지 보기 위해 답을 드리지 않을 수도 있지만 카지노 게임가 끝나고 나서도 계속 궁금하다면 그때 답해드리겠습니다. 중간에 쉬고 싶으면 언제든지 말씀해 주십시오. 앞에 마이크가 보이실 겁니다. 동의해 주시면 저희 대화 내용과 화면을 녹화하게 될 것입니다. 녹화 내용은 사이트 개선 방법을 찾는 용도로만 쓰이고 프로젝트 담당자 외에는 누구에게도 공개되지 않을 것입니다. 메모를 많이 할 필요가 없어 저도 한결 수월하고요. 또한 해당 웹사이트 제작 팀이 이 카지노 게임를 지켜보게 될 것입니다. (저희 모습은 안보이고 화면만 보게 됩니다) 그리고 동의서에 서명을 부탁드릴 겁니다. 멜라니 씨의 동의하에 녹화하며 프로젝트 관계자 외에 누구도 녹화 내용을 볼 수 없다는 내용이니 한번 읽어 보세요
[인터뷰 사전 질문]
직업 및 업무 등 전반적인 기초 조사
일주일에 얼마나 인터넷을 사용하나요? (집, 직장, 웹서핑 등 합쳐서)
인터넷을 사용하는 목적, 그리고 퍼센트는 얼마나 되나요?
주로 어떤 사이트에 방문하나요?
평소에 좋아하는 웹사이트가 있나요? 또는 자주 방문하는?
[둘러보기]
(사용자 여정을 확인하는 프로그램을 켜기) 제일 먼저 이 페이지를 보고 떠오르는 생각은? (뭘 하는 사이트 같나요? 클릭은 없이 페이지를 자유롭게 둘러봐주세요 ) → 이해가 되지 않는 문구, 이미지, 느낌을 자유롭게 말하는 것이 중요
페이지를 둘러보니 어떤 사이트인지 좀 알겠나요?
이 사이트에서 뭘 할 수 있는지 감이 오나요?
[과업]
과제 내용을 전달해줌 : 처한 상황, 웹 사이트 방문 경로, 구체적인 목표
메인 화면에서 부터 사용자가 과업을 위해 플로우 이동을 진행, 원하는 기능을 찾는 모습을 관찰 : 사용자가 시간을 오래 쓰거나 원하는 기능이 있음을 바로 체크한다.
과업 이외에도 관심을 끄는 부분이 있나요?
사용자가 경험한 상황, 제안한 의견 정리
다음 과제 제시
[정리]
사용자가 경험한 가장 큰 문제 3가지
개선할 사항 3가지
이제는 실전이야!
✍사용성 테스크 과제 시나리오 작성 방법
☞ 이제 우리 팀의 프로덕트에 맞춰 테스크를 작성 해 볼 시간이 왔다. 테스크를 어떻게 작성하고, 체크리스트를 만들어야 할지에 대한 길라잡이가 되어줄 것이다:-)
1. 테스크 정하기
☞ 테스팅의 명확한 목표 세우기
▪︎피드백 받아야 할 메인 기능/영역이 무엇인지 정하기
☞ 디자인 팀과 함께 하기
☞ 점검
▪︎전반적인 플로우와 인터페이스의 인터랙션에 대한 아이디어 얻기
▪︎‘유저의 입장’이 되어보고 유저라면 할 행동에 대해 생각하며 그들이 경험할 수 있는 모든 가능 문제에 집중하기
▪︎다시 인터페이스를 볼 때 테스크를 발전시키는 일에 집중하기
▪︎Dumas and Fox(2008, p1131) → 사용성 테스팅에서 사용해야 할 테스크의 유형
▪︎ 중요한 테스크 : 자주 수행되는 테스크 또는 중요한 기능과 관련된 테스크
▪︎평가자가 예상하기에 유저가 어려움을 겪을 것 같은 테스크
▪︎보다 철저한 시스템 조사를 하게 하는 테스크 ex) 시스템 체계의 하부에서부터 찾아 들어가야만 성취할 수 있는 테스크, 멀티 링크 또는 지름길이 있는 테스크
▪︎비즈니스 목표에 영향을 미치는 테스크
▪︎재디자인된 영역을 살펴보는 테스크
▪︎새롭게 추가된 기능과 관련된 테스크
2. 테스크 섬세하게 만들기
☞테스크가 얼마나 섬세하게 만들어 졌느냐가 사용성의 신뢰성과 타당성, 그리고 데이터의 요용성을 결정
☞사용될 테스크의 구성 방식
[직접 테스크 또는 시나리오 테스크]
▪︎시나리오 테스크: 미니 유저 스토리 처럼 보임. 보통 캐릭터, 컨텍스트, 목표 달성에 필요한 필수 세부사항 등으로 구성 ex) 여러분은 토요일에 디너 파티를 주최하려 합니다. BBC food 사이트에서 치킨 카레 레시피를 찾고 싶습니다.
▪︎직접 테스크: 완전히 지시적 ex) BBC food 사이트에서 치킨 카레 레시피를 찾아라.
[열린 테스크 또는 닫힌 테스크]
▪︎닫힌 테스크: 참가자가 해야하는 것에 특화. 하나의 정답을 가지고 있으며, 참가자가 테스크를 해결했는지 실패했는지 측정할 수 있음
▪︎열린 테스크: 최소한의 정보를 가지고 있으며, 여러분이 유저가 했으면 하는 것에 대한 덜 구체적인 방향을 가지고 있음. 유저가 시스템을 탐색할 수 있는 자유를 더 많이 줌. 유저가 지속적으로 인터렉트 하는 영역이 어디인지, 또는 그들에게 가장 문제가 되는 것이 무엇인지 찾아내고 싶을 때 특히 유용함
✻ 하지만 열린테스크에는☞제약 사항 3가지 존재
1. 참가자가 테스크를 통제하기 때문에, 유저 피드백이 요구되는 기능을 놓칠 수도 있고, 반대로 테스팅의 요점이 아닌 부분에서 많은 시간을 보낼 수 있음. 해결책은 여러 닫힌 테스크를 준비하여 참가자가 특정 기능을 커버하지 않을 때 사용하는 것
2. 일부 참가자는 어디를 봐야 하는지, 언제 테스크를 완료하였는지에 대해 불확실하게 느낄 수도 있음. 또다른 참가자들은 카지노 게임를 끝내는데 관심이 있어서 실제 하는 만큼 노력하지 않을 수도 있음
3. 열린 테스크에는 테스크 성공률을 매길 수 없으며, 정답이 없기 때문에 퍼포먼스 비교가 필요하다면 적합하지 않은 방법
☞테스크의 표현
▪︎유저를 답으로 유도하는 테스크 단서는 피하라
▪︎현실적이되 애매모호함은 피하라
▪︎적절한 수준의 디테일을 보장하라
정리하고 마치며
✍UT 하며알게 된 것들
사실 UT 방법론에 대해 알고자 한다면 훨씬 더 깊고 넓을 듯 하다. 하지만 실제 기간 내 UT를 진행하기에는 아무래도 시간적인 제약도 존재했다. 그래도 하루 이틀 정도는 날잡고 제대로 많은 자료를 접했으면 한다. 사실 나도 다양한 레퍼런스를 읽기 전에는 인터뷰 정도로만 생각했는데 아니었고, 얻고자 하는 목표 또한 달랐기 때문이다.
우리 팀도 UT 에 대한 지식이나 경험이 없어 그냥 사용자 인터뷰 하죠. 정도로만 생각했고,아무런 시나리오도, 질문도 대책도 없었다. 귀중한 시간 내주는 사람들 불러놓고 뭘 하자는 건지부터 시작해서 그래서 사용자 인터뷰를 하던 UT를 하던 뭘 얻고 싶은건데 라는 체크리스트 조차 뽑는다는 생각을 안하는 듯 했다.난 그게 싫어 혼자 새벽까지 공부해갔다는건 안비밀로 하고싶다.
아무튼, 체크리스트 작성 → 테스크 도출 → 질문 리스트 도출 → 시나리오 작성 → 환경 세팅 → 인터뷰 진행 → 결과 도출 → 개선안 도출
등의 과정을 거치면서 알게 되고 얻게 된 것은 사용자 목소리를 그러니까 그들의 생각을 더 깊이 알 수 있었다는 점이다. 여러명을 대상으로 UT 를 진행하며, 공통으로 도출되는 결과가 있었고 그 결과와 의견들을 중심으로 다음 과제가 도출되었다. 무엇을 개선하고, 어떤 것을 중점으로 봐야하는지 명확하게 도출이 되었다. 또한 평소 기획하며 궁금했던 사용자의 실제 니즈나 불편한 점들을 다이렉트로 알 수 있었다는 것이 가장 큰 목표 달성이었다. All Clear!
UT 관련 참고한 사이트들
감사합니다! 덕분에 좋은 지식 얻어 다시 재생산 합니다 ���♀️
