A/B 테온라인 카지노 게임와 P-Value
A/B테온라인 카지노 게임는 꼭 해야 할까?
들어가기에 앞서, A/B테온라인 카지노 게임는두 그룹의 사용자들에게 서로 다른 페이지를 보여준 뒤 어떤 그룹에서 더 좋은 성과가 나타나는지, 긍정적인 사용자 경험을 제공할 수 있는지 여부를 지속적인 시험을 통해 정량적으로 평가할 수 있는 테온라인 카지노 게임 기법이다.서비스 사용자들의 이탈을 막고 방문객을 구매자로 전환하기 위해서는 일련의 실험 과정이 필요한데, 고객들과의 상호 작용을 이끌어낼 수 있는 요소가 무엇인지 정략적으로 알 수 있다면 제품 성장과 개선의 측면에서 유동적인 대응이 가능해질 것이다.
“아마존에서의 성공은 우리가 1년, 1달, 1주, 그리고 하루에 얼마나 많은 실험을 하는지에 따라 결정됩니다." - 제프 베조스 (아마존 CEO)
"Our success at Amazon is a function of how many experiments we do per year, per month, per week, per day.” - Jeff Bezos (CEO of Amazon)
AB테온라인 카지노 게임는왜해야할까? 꼭해야할까? = 지속적인실험의중요성
1. 서비스의 이탈률을 감소시키고 전환율은 증가시킨다.
"우리는 고객이 어떤 것을 좋아하는지, 싫어하는지 알 수 없다."
그러므로 고객의 이탈률을 감소시키고 전환율은 끌어올릴 수 있는 효과적인 방안을 찾아내야 한다. 우선 퍼널 관점에서 생각해 보자. 스타트업의 경우, 현재 우리 서비스가 가지고 있는 가장 큰 병목은 무엇인지 확인하고 어떤 단계에 가장 초점을 맞춰서 중점적으로 서비스를 개발/개선해야 할지 파악하는 것이 무엇보다도 중요하다. 이 대목에서 A/B 테온라인 카지노 게임는 지속적인 실험을 통해 사용자가 어떤 변수에 반응을 하고 호감을 느끼는지 관찰하고, 방문객을 구매자로 전환시킬 수 있는 요소가 무엇인지 효과적으로 파악할 수 있는 방법이 되어준다.
2. 정량적인 데이터를 기반으로 한 의사 결정을 통해사업의리스크를일부분줄일수있다.
이렇다할검증없이전략을수정하거나변경할시상당한시간적/금전적비용이발생할수있다. 직관에 의존하여 정량적인 분석 없이 내부 관계자들의 시각으로만 의사 결정을 하는 것은 단순히 고객을 배제하는 행동일 뿐만 아니라 실패 확률을 현저히 높이는 무모한 선택이기도 하다. A/B 테온라인 카지노 게임는고객들의행동패턴을파악하여(구체적으로어떤목표가되었든) 성공가능성을높이고, 최대한의효과와효율을통해불필요한위험을지는것을피하도록도움을준다.
3. 단/장기적인관점에서제품의수익률과도 연결된다.
반복적인 실험을 통해 더 많은수의구매전환을유도함으로써수익률을 높이고종국에는 경쟁 우위를 높여충성고객으로통하는활로를뚫을수있다. 단순히일회성으로끝내지않고몇차례의A/B테온라인 카지노 게임를통해고객에관한유의미한데이터를지속적으로쌓는다면이는고객을학습하는과정이되며, 향후실효적인가설을세우고 제품을 개선하는 데긍정적인영향을미친다. (인사이트.. 제게인사이트를내려주소서.. 아카이빙만이 살 길인가) 결국어떤형태의최적화가높은구매전환율로이어지는지과거의교훈, 현재의실험을통해빠르게확인하고개선안을신속하게적용해봄으로써수익률면에서도우위를가진다.
AB테온라인 카지노 게임는 절대적으로 신뢰할 수 있을까?
AB테온라인 카지노 게임가가져다주는이점만보면완벽한테온라인 카지노 게임기법처럼보인다. 하지만 그이전에, 우리는A/B 테온라인 카지노 게임의결과를절대적으로신뢰할수있을지우선적으로 고민해 봐야한다. 테온라인 카지노 게임수행에앞서표본은어떻게설정할것인지, 어떤변수를줄것인지도중요하지만실험에 잠재되어있는 통계적 불안요인도사전에감안해야한다. 일반적으로A/B테온라인 카지노 게임의결과지표는전환율로삼는데, 이통계의차이가정말로유의미한지또는우연에의한것인지는p-value(통계적유의성)을통해확인할수있다고알려져있다. 관례적으로는p-value 값이0.05 이하일때두집단의평균차이가허용가능한수준이라여겨지고있다. (P값에관한잘못된이해와오용사례도많아통계학회에서는해당값의증거능력에관한기사를싣기도했다.)
* 시안 A의 전환율 : 고객 10명 중 5명이 구매 - 전환율 50%
* 시안 B의 전환율 : 고객 10명 중 7명이 구매 - 전환율 70%
위와같은경우, 시안A/B의차이가정말유의미할까? 우선, 표본의크기가작기때문에어떤우연에의해결과의차이가발생한것일수도있다. 만약우연이라면, 우연이일어날수있는정확한확률은얼마나될까? p-value는통계신뢰도의OK/NG sign으로단순 활용되어도 괜찮은 걸까?
https://abtestguide.com/calc/상기의 데이터로 계산기를 돌려보면, A와 B의 전환율에 실질적인 차이가 거의 없다는 결과가 나온다. 정확한 통계를 위해서는 더 많은 수의 표본으로 시험을 해야했다. 그렇다면 표본의 수를 늘려보면 어떨까?
표본수를늘리고전환수에변화를주자해당통계가우연에의한것이아닌신뢰할만한결과임을나타내는창이떴다. 이샘플의경우, p-value 가0.01 이하로수렴한다. 그렇다면이통계는절대적으로신뢰할수있는결과일까? 복잡한계산을통해통계가유의미하다는결론이났다고해서시안B를서비스에적용했을때99%의확률로전환율이증가할것이라는결론을도출해내는것이과연바람직한지에대해서는신중히 고민을 해봐야할부분이라생각된다. (그보다는 우연이일어났을확률이약1% 정도라 참고하는것이안전하지않을까.)
테온라인 카지노 게임를진행할때마다p-value 값이0.05 아래로떨어지는경우가얼마나빈번할까. 오차범위가줄어들때까지계속해서시험을진행할수없는상황에부딪힌다면어떻게대처해야할까? 결국A/B테온라인 카지노 게임는데이터를기반으로가설을검증하는과정이며, 때때로확률과현실은다를수있다는점을염두에둔다면효율적인의사결정에 도움이 될것이라생각된다.
SUMMARY. A/B 테온라인 카지노 게임의 예시, 넷플릭스
아마존, 구글, 쿠팡 등 이미 많은 기업들이 A/B 테온라인 카지노 게임 기법을 적용하여 다양한 가설을 실험하고 있다. 넷플릭스 역시 대표적인 예시로 자주 꼽히는데 그들은 어떤 방식으로 실험을 진행하고 있을까?
https://netflixtechblog.com/its-all-a-bout-testing-the-netflix-experimentation-platform-4e1 ca458c15넷플릭스는 모든 변경 사항을 엄격한 A/B 테온라인 카지노 게임를 거쳐 반영되도록 방침을 세웠다. 이들은 실험을 할 때 실험군과 대조군의 특정 지표(대개는 스트리밍 시간, 리텐션이라고 한다.)를 추적해 유의미한 결과를 이끌어내고 있다. 관련한 대표적인 사례가 바로 '비회원 콘텐츠 브라우징 실험'이다.
"비회원에게도 어떤 콘텐츠가 있는지 보여주면 가입 수가 늘지 않을까요?"
2013년, 제품 디자인 팀은 유저의 피드백으로부터 출발한 하나의 가설을 세웠다. "회원 가입 전 비회원도 콘텐츠를 검색할 수 있는 기능을 도입하면 신규 유저의 유입이 늘 것"이라는 가설이었다. 넷플릭스는 기존 디자인 A와 비회원 콘텐츠 브라우징 기능을 추가한 개선 버전 B로 총 5회의 테온라인 카지노 게임를 진행했다. 그 결과, 5번의 실험 모두 기존 디자인의 승리로 끝이 났다. 짐작과 현실의 차이였다.
넷플릭스의 개인화된 알고리즘 역시 A/B 테온라인 카지노 게임의 대표적인 예시다. 넷플릭스의 인터페이스는 콘텐츠 별 아트워크를 개인 선호도와 일치하는 맞춤형 썸네일로 제공함으로써 더 많은 사람들이 콘텐츠를 재생하게끔 유도했다. 만약 사용자가 조셉 고든 레빗을 좋아한다면, 영화 <인셉션의 썸네일에 디카프리오 대신 조셉 고든 레빗이 포함된 이미지를 보여주는 식. 이러한 퍼스널 큐레이션은 시간이 흐름에 따라(사용자 데이터가 쌓임에 따라) 품질이 개선될 확률이 점차적으로 높아진다.
이는 한 가지 예시일 뿐이며 A/B 테온라인 카지노 게임는 이미 다양한 분야에서 가설 검증을 위해 사용되고 있다. 수행에 앞서 유의해야 할 점이 있는 것은 분명하지만, 잘 활용한다면 세운 가정이 더 나은 퍼포먼스를 낼 수 있을지 예측하는 가치 있는 수단이 될 수 있다.
[참고한 자료]
https://medium.com/@Aaron__Kim/a-b-테온라인 카지노 게임-a-b-test-split-test-8269a1798762
https://growthacking.kr/a-b-테온라인 카지노 게임로-서비스-성장시키기/
https://boxnwhis.kr/2016/04/15/dont_be_overwhelmed_by_pvalue.html
A/B 테온라인 카지노 게임에서 p-value에만 과하게 집중하는 것이 왜 좋지 않은지 설명합니다.
boxnwhis.kr
