This is an old revision of the document!
Blogs
배우면서 쓰고, 쓰면서 배웁니다.
Facebook Posting Archive 20년 5월
2020-05-31 19:15:26 까지 총 73개 포스팅 Archived (누적 439개)
최신 Archive
20년 4월 Archive
20년 3월 Archive
20년 2월 Archive
최신 포스팅과 더 많은 소식은 Data.triviaz 좋아요, 팔로잉 해주세요
차원이 문제? 주성분분석? 회의에서 당당하게, 수식없이 알아보자
이전편:
랜덤포레스트가 뭐길래? 회의에서 당당하게, 수식없이 알아보자
라쏘? 로지스틱? 회의에서 당당하게, 수식없이 기초개념부터
인공신경망? 딥러닝? 회의에서 당당하게, 수식없이 알아보자
30명이면 된다고? 회의에서 당당하게, 설문조사를 알아보자.
'차원의 저주'라는 말을 들어보았을 것이다. 빅데이터를 강조하면서 수많은 데이터가 있게 되고 따라서 차원이 늘어나면서 생기는 여러가지 문제점들이 생긴다. 기계학습 분야에서 특성공학feature engineering 의 큰 목적 중 하나가 이런 고차원에 의한 문제점을 해결하기 위한 것이다.
차원의 문제가 무엇인지, 차원 감소에서 많이 쓰이는 주성분분석은 어떤 방식으로 해결하려고 하는 것인지를 살펴보도록 하자.
1) 차원이란 무엇인지, 왜 문제인지
2) 주성분분석의 배경
3) 주성분을 구하기 위한 기계학습의 셋팅 및 해석
4) 주의할 점
순으로 설명해 보도록 하겠다. 차원의 문제는 필연적으로 행렬과 선형대수와 연관이 되어 있다. 최대한 쉬운 설명을 해보도록 하겠다.
기획,분석가가 알아야 할 사람에 대한 사실:계단형정책
사람을 위한 서비스와 마케팅을 기획하는 기획자,
사람이 만드는 데이터를 분석하고 사람에게 설명해야 하는 분석가를 위한
'사람에 대한 사실'에 대해서 살펴보자.
우리의 기획 의도와는 다르게 사람들이 행동하는 경우가 많다. 좋은 의도를 가지고 정책을 시행했지만, 행위자들이 자신의 이익을 위해 행동하려는 인센티브를 가지는 가운데 전혀 다른 결과 (심지어는 더 나쁜 결과)가 생길 수 있다. 특히 정책이 경계값을 가지는 계단형일 때 이런 일이 생길 수 있는데, 이는 데이터를 수집하고 분석할 때에도 염두해 두어야 할 점이라고 할 수 있다. 두 가지 예를 살펴보도록 하자.
Facebook Posting Archive 20년 4월
2020-04-30 21:29:06 까지 총 88개 포스팅 Archived (누적 366개)
최신 Archive
20년 3월 Archive
20년 2월 Archive
최신 포스팅과 더 많은 소식은 Data.triviaz 좋아요, 팔로잉 해주세요
30명이면 된다고? 회의에서 당당하게, 설문조사를 알아보자.
이전편
랜덤포레스트가 뭐길래? 회의에서 당당하게, 수식없이 알아보자
라쏘? 로지스틱? 회의에서 당당하게, 수식없이 기초개념부터
인공신경망? 딥러닝? 회의에서 당당하게, 수식없이 알아보자
마케터나 기획자로서 많이 접하는 것이 설문조사 일 것이다. 빅데이터 시대에 무슨 설문조사냐 라고 하겠지만 빅데이터 시대에도 여전히 고객 대상 설문조사, 샘플링은 필요하다. 마케팅 KPI로 많이 활용되는 NPS(Net Promoter Score,순 추천 고객 지수)는 물론이고, 데이터가 존재하지 않을 때 방향성을 잡기 위한 용도로, A/B 테스트에도 설문조사의 모집단과 표본추출의 개념이 포함되어 있다.
«데이터과학 입문» 에서는 빅데이터 시대의 모집단과 표본에 대해서 아래와 같이 서술하고 있다.
1) 얼마나 많은 양의 데이터가 필요한지는 실제로 여러분의 목표가 무엇인가에 달려있다. 일반적인 분석 또는 추론 목표를 달성하기 위해 모든 데이터를 항상 저장할 필요는 없다.
2) 페이스북, 구글, 또는 트위터의 모든 데이터에 접근한다고 하더라도 우리가 그 데이터로부터 발견한 어떠한 추론도 해당 사용자 집단 또는 어떤 특정한 날의 사용자들 이위의 다른 사람들에 대한 결론으로 확대하지는 말아야 한다.
N=all 이 빅데이터의 특징이라고 하지만, 용도에 따라 샘플링이 효율/효과적일 수 있고 현재 가지고 있는 빅데이터도 전체를 대표하는 것이 아닌 샘플링된 데이터일 수 있다는 의미일 것이다.
이번 시간에는 고등학교 수학시간에 배웠던 것 같은
1) 중심극한정리
2) 정규분포
3) 표본오차와 구간추정
등 가장 기본적인 설문조사의 개념에 대해서 알아보는 시간을 가져보자.
여론조사 등 일상생활에서도 많이 접하는 기본개념이니 상식 측면에서 접근해보는 것도 좋을 것 같다.
인공신경망? 딥러닝? 회의에서 당당하게, 수식없이 알아보자
이전편 보기
랜덤포레스트가 뭐길래? 회의에서 당당하게, 수식없이 알아보자
라쏘? 로지스틱? 회의에서 당당하게, 수식없이 기초개념부터
이번 분류 모형은 3개 층을 가지는 Neural Network 를 사용했습니다.
딥러닝 blah.. 인공지능 blah..
누가 뭐라해도 요즘의 핫한 주제는 인공지능이다. 특히 딥러닝을 통한 이미지, 영상, 자연어처리 등을 통해 다양한 서비스가 나오고 있고, 여러 분야에 적용되고 있다. 그래서 '나도 인공지능이 어떻게 동작하는지 알고 싶다'는 생각을 하고, 인터넷에 검색을 해본다.
Fig. ##: 이미지출처:[[https://www.datanami.com/2017/05/10/machine-learning-deep-learning-ai-whats-difference/]]
저게 뭐지? 의사결정나무 같은건가? 엄청 복잡하네.. 라고 생각을 하고는 생각을 접게 되는 경우가 대다수이다.
조금 어렵게 느껴질 수도 있겠지만, 이번 기회에 기본적으로 인공신경망, 딥러닝이 어떤 방식으로 동작하는지 알아보는 시간을 가져보자.
- 인공지능과 딥러닝의 차이
- 인공신경망과 딥러닝
- 계산방법 (경사하강법, 오차역전파)
순으로 알아보도록 하겠다.
인공지능을 상품을 위해 상품관리자가 알아야 할 것들.
전통적인 PM이 하는 모든 것 뿐 아니라, 더 많은 것이 필요하다
원문에 더 자세한 설명과 레퍼런스 들이 있습니다.
https://www.oreilly.com/radar/what-you-need-to-know-about-product-management-for-ai/
그대, 스스로를 고용하라 Quotes
http://www.yes24.com/Product/Goods/183145
故구본형 변화경영연구소 소장님의 유명한 2001년 책입니다. 한국에 변변한 자기계발 서적이 없던 시기에 선구적인 역할을 하신 분입니다.
디자인도 올드한 옛날 책이지만 지금도 충분히 읽어볼 만한 내용이 있었던 것 같습니다. 변화에 대한 필요성, 전문가란, 전문가가 되기 위해서. 라는 카테고리로 책의 문구들을 정리해 보았습니다.
Discussion