[Day02] Ch.02-데이터의 가치와 미래

1. 빅데이터의 이해
1. 빅데이터의 이해
1. 빅데이터의 정의
1. 활용하는 데이터 규모에 중점을 둔 정의 : 맥킨지, 2011
2. 분석 비용 및 기술에 초점을 맞춘 정의 : IDC, 2011
3. 가트너 그룹의 더그 래니의 3V
1. Volume(양) : 데이터의 규모 측면
2. Variety(다양성) : 데이터의 유형과 소스 측면
3. Velocity(속도) : 데이터의 수집과 처리 측면
4. 메이어-쇤베르거와쿠기어, 2013
5. 빅데이터의 정의를 종합하면 빅데이터를 보는 관점의 범위에 따라 3가지로 정의한다.
1. 좁은 범위의 정의 : 3V로 요약되는 데이터 자체의 특성 변화에 초점
2. 중간 범위의 정의 : 데이터 자체 뿐 아니라 처리, 분석 기술적 변화까지 포함
3. 넒은 범위의 정의 : 인재, 조직 변화까지 포함
2. 빅데이터의 정의의 범주 및 효과
1. 데이터의 변화
1. 규모(Volume)
2. 형태(Variety)
3. 속도(Velocity)
2. 기술 변화
1. 새로운 데이터 처리, 저장, 분석
2. 기술 및 아키텍쳐
3. 클라우드 컴퓨팅 활용
3. 인재, 조직 변화
1. Data Scientist 같은 새로운 인재 필요
2. 데이터 중심 조직
4. 효과
1. 기존 방식으로는 얻을 수 없었던 통찰 및 가치 창출
2. 사업 방식, 시장, 사회, 정부 등에서 변화와 혁신 주도
2. 출현 배경
1. 출현배경
1. 빅데이터 현상은 없었던 것이 새로 등장한 것이 아니라 기존의 데이터, 처리방식, 다루는 사람과 조직 차원에서 일어나는 '변화'를 말한다.
2. 빅데이터 출현 배경
1. 산업계 - 고객 데이터 축적
2. 학계 - 거대 데이터 활용 과학 확산
3. 관련기술발전(디지털화, 저장 기술, 인터넷 보급, 모바일 혁명, 클라우드 컴퓨팅)
2. 빅데이터 출현에 따른 변화
1. 사용자 로그(log) 정보에 대한 프로파일링이 이뤄지기 시작하면서 아이덴티티가 뚜렷해지고 사용자와 광고를 매칭하는 정확도도 향상됨
2. 빅데이터는 모바일 시대가 도래하면서 더 빠르게 진화하고 있다.
3. 개별 기업의 고객 데이터 축적 및 활용 증가, 인터넷 확산, 저장 기술의 발전과 가격하락, 모바일 시대의 도래와 스마트 단말의 보급, 클라우드 컴퓨팅 기술 발전, SNS와 사물네트워크 확산 등이 맞물려 데이터 생산이 폭발적으로 증가하면서 빅데이터 시대는 대세가 되고 있다.
3. 빅데이터 기능
1. 차세대 산업혁명에 꼭 필요한 요소
1. 산업혁명의 석탄, 철
2. 21세기의 원유
3. 렌즈
4. 플랫폼
4. 빅데이터가 만들어 내는 본질적인 변화
1. 사전 처리 --> 사후 처리
2. 표본 조사 --> 전수 조사
3. 질 --> 양
4. 인과관계 --> 상관관계
   
   
2. 빅데이터의 가치와 영향
1. 빅데이터의 가치, 가치 산정이 어려운 이유
1. 데이터 활용 방식 : 재사용, 재조합(mashup), 다목적용 개발
2. 새로운 가치 창출
3. 분석 기술 발전
2. 빅데이터의 영향
1. 매킨지가 언급한 빅데이터가 가치를 만들어 내는 다섯가지 방식
2. 빅데이터의 영향
1. 기업 : 혁신, 경쟁력 제고, 생산성 향상
2. 정부 : 환경 탐색, 성황 분석, 미래 대응
3. 개인 : 목적에 따라 활용
   
   
3. 비지니스 모델
1. 빅데이터 활용 사례
2. 빅데이터 활용 기본 테크닉
1. 연관 규칙 학습 : 어떤 변인들 간에 주목할 만한 상관관계가 있는지를 찾아내는 방법
2. 유형분석 : 문서를 분류하거나 조직을 그룹으로 나눌 때, 온라인 수강생들을 특성에 따라 분류할 때
3. 유전자 알고리즘 : 최적화가 필요한 문제의 해결책을 자연선택, 돌연벼이 등과 같은 메커니즘을 통해 점진적으로 진화(evolve)시켜 나가는 방법
4. 기계 학습 : 훈련 데이터로부터 학습한 알려진 특성을 활용해 예측하는 방법
5. 회귀분석 : 독립변수를 조작하며, 종속변수가 어떻게 변하는지를 보면 두 변인의 관계를 파악할 때
6. 감정 분석 : 특정 주제에 대해 말하거나 글을 쓴 사람의 감정을 분석
7. 소셜 네트워크 분석 : 특정인과 다른 사람이 몇 촌정도의 관계인가를 파악할 때 사용하고 영향력 있는 사람을 찾아낼 때 사용
   
   
4. 위기 요인과 통제 방안
1. 위기 요인
1. 사생활 침해
2. 책임 원칙 훼손
3. 데이터 오용
   
   
2. 통제 방안
1. 동의에서 책임으로
2. 결과 기반 책임 원칙 고수
3. 알고리즘 접근 허용
   
   
5. 미래의 빅데이터
1. 데이터 : 모든 것의 데이터화
2. 기술 : 진화하는 알고리즘, 인공지능
3. 인력
1. 데이터 사이언티스트 : 빅데이터에 대한 이론적 지식과 숙련된 분석 기술을 바탕으로 통찰력, 전달력, 협업 능력을 두루 갖춘 전문인력으로써 빅데이터의 다각적 분석을 통해 인사이트를 도출하고 이를 조직의 전략 방향제시에 활용할 줄 아는 기획자로서 전문가 역할
2. 알고리즈미스트 : 데이터 사이언티스트가 한 일로 부당하게 피해가 발생하는 것을 막는 역할, 알고리즘 코딩 해석을 통해 빅데이터 알고리즘에 의해 부당하게 피해를 입은 사람을 구제하는 전문인력