A/B test

AB 테스트 추천 도서 : Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing 쿠팡
통계적 지식 뿐 아니라 실제 적용에서 고민해야할 문제들에 대한 상세한 설명이 있다.

Convergence of RV and Testing

https://reflectivedata.com/comprehensive-guide-to-statistics-in-a-b-testing/
https://www.slideshare.net/cojette/ab-150118831
https://onlinemix.tistory.com/entry/significant-result-from-ab-testing
https://cxl.com/blog/ab-testing-guide/
https://hbr.org/2017/06/a-refresher-on-ab-testing

Bayesian
https://is.muni.cz/th/wt0tu/Humaj-thesis.pdf
https://brunch.co.kr/@gimmesilver/15
VWO_SmartStats_technical_whitepaper

Sample size calculation for two independent Groups

https://www.evanmiller.org/ab-testing/

MAB
http://sanghyukchun.github.io/96/
https://kw94.tistory.com/49
https://sumniya.tistory.com/9

• 가설 : 인터뷰, idea, 기존자료 분석
• 실험설계 : control/treatment, 지표, bayesian/frequentist
  • Random unit : user/session/page
  • Target unit : 전체 / segment
  • Size : sample, traffic 분배
  • How long : 학습효과
• 실행 : 모니터링. 오류, 다른 feature들이 떨어지는지, 예상치 못하게 효율이 떨어지는지 (cf. 가드레일 metric)
• 분석 : traffic 분배 정합성, 샘플수, 다른 segments의 특성, 다른 지표, Bot은 없는지
• 결정 : 통계적vs실질적 유의도, A/A test→검증