ADsP 2과목 데이터 분석 기획 정리

<분석 주제 유형>

<분석 과제 목표 시점별 기획 방안>

당면한 분석 주제의 해결 (과제단위)		지속적 분석 문화 내재화 (마스터플랜 단위)
Speed & Test	<1차 목표>	Accuracy & Deploy
Quick-Win	<과제의 유형>	Long Term View
Problem Solving	<접근방식>	Problem Definition

 

<분석 과제의 주요 5가지 특성 관리 영역>

- Data Size : 분석하고자 하는 데이터 양을 고려한 관리방안 수립이 필요

- Data complexity : 초기 데이터의 확보와 통합 외에도 해당 데이터에 잘 적용할 수 있는 분석 모델의 선정 등에 대한 사전 고려가 필요하다.

- Speed : 분석결과가 도출되었을 때 이를 활용하는 시나리오 측면에서의 속도를 고려해야함

- Analytic Complexity : 정확도와 복잡도는 트레이드 오프관계. 모델이 복잡할 수록 정확도는 올라가지만 해석이 어려워짐.

- Accuracy & Precision : Accuracy는 모델과 실제값 사이의 차이가 적다는 정확도. Precision는 모델을 지속적으로 반복했을 때의 편차의 수준으로서 일관적으로 동일한 결과를 제시한다는 것을 의미. 활용적인것에는 Accuracy. 안정적인 측면에서는 Precision. (트레이드 오프이므로 해석 및 적용시 잘 고려해야함)

 

<데이터 거버넌스>

- 전사 차원의 모든 데이터에 대하여 정책 및 지침, 표준화, 운영조직 및 책임 등의 표준화된 관리 체계를 수립하고 운영을 위한 프레임워크 및 저장소를 구축하는 것을 말한다. 특히 마스터데이터, 메타데이터, 데이터 사전은 데이터 거버넌스의 중요한 관리 대상이다. 독자적으로 수행될수도 있지만 전사차원의 IT 거버넌스나 EA의 구성요소로 구축되는 경우도 있다. 

- 구성요소 

 > 원칙 : 데이터를 유지 관리하기 위한 지침과 가이드 / 보안, 품질기준, 변경 관리

 > 조직 : 데이터를 관리할 조직의 역할과 책임 / 데이터관리자, DB 관리자 = 데이터 아키텍트

 > 프로세스 : 데이터 관리를 위한 활동과 체계 / 작업절차, 모니터링 활동, 측정 활동

- 빅데이터 거버넌스와 데이터 거버넌스의 차이

  > 빅데이터 거버넌스는 이러한 데이터 거버넌스의 체계에 더하여 빅데이터의 효율적인 관리, 다양한 데이터와 관리체계, 데이터 최적화, 정보보호, 데이터 생명주기 관리, 데이터 카테고리 관리책임자(Data Steward)지정 등을 포함한다.

 

<하향식 접근방식>

- 문제 탐색 > 문제 정의 > 해결방안 탐색 > 타당성 평가

<상향식 접근방식>

- 문제 정의하기 어려울때 데이터 기반으로 문제의 재정의 및 해결 방안을 탐색하고 지속적으로 개선하는 방식.

- 비지도 학습 방법에 의해 수행됨.

- 디자인 사고 프로세스의 발산 단계에 해당된다.

 

<KDD 분석 방법론>

- 데이터 마이닝 프로세스로서 의미있는 지식을 탐색하는 데이터마이닝, 기곗학습, 인공지능 등에서 응용될 수 있는 구조

- 분석 절차

 > 데이터셋 선택 (selection) > 데이터 전처리(Preprocessing) > 데이터 변환(Transformation) > 데이터 마이닝(Data Mining) > 데이터 마이닝 결과평가 (Intrpretation/Evaluation) 

 

<CRISP-DM 분석 방법론> 

- Phases로 최상위 레벨 단계로 구성되고 각 단계는 일반화 테스크 (Tasks)를 포함, 마지막은 Process Instance는 데이터 마이닝을 위한 구체적인 실행을 포함한다. 

- 단계간 피드백을 통하여 단계별 완성도를 높이게 되어있따.

- 업무이해(Business Understanding) > 데이터 이해(Data Understanding) > 데이터 준비(Data Preparation) > 모델링(Modeling) > 평가(Evaluation) > 전개(Deployment)

 

<빅데이터 방법론>

-  계층적 프로세스 모델, 3계층으로 구성

 > 단계 Phase : 각 단계는 기준선(Baseline)으로 설정되어 관리되어야 하며 버전관리(Configuration Management) 등을 통하여 통제가 이루어져야함

 > 태스크 Task 

 > 스텝 : WBS의 워크 패키지에 해당되고 입력자료, 처리 및 도구, 출력자료로 구성된 단위 프로세스 이다.

> 분석기획 (비즈니스 이해 및 범위 설정 / 프로젝트 정의 및 계획 수립 / 프로젝트 위험 계획수립) 

 >> 데이터 준비 ( 필요데이터정의 / 데이터 스토어 설계 / 데이터 수집 및 적합성 점검)

 >>> 데이터 분석(분석용 데이터 준비 / 텍스트 분석 / 탐색적 분석 / 모델링 / 모델 평가 및 검증) 

  >>>> 시스템 구현 ( 설계 및 구현 / 시스템 테스트 및 운영)

  >>>>> 평가 및 전개 (모델 발전 계획 / 프로젝트 평가 보고 / 평가 및 전개)

 

*WBS(Work Breakdown Structure:작업 분할 구조도)는 전체 업무를 분류하여 구성 요소로 만든 후 각 요소를 평가하고 일정별로 계획하며 그것을 완수할 수 있는 사람에게 할당해주는 역할을 한다.

 

<ROI 관점에서의 4V>

-ROI :  누적 순효과/총비용. IT 투자비용 대비 IT 투자성과 도출. 비즈니스 성과 향상에 기여하는 바를 재무적으로 환산한것

<시급성과 난이도>

- 시급성이 우선순위라면 3 > 4 > 2  (반시계방향)

- 난이도가 우선순위라면 3 > 1 > 2 (시계방향)

- 이행계획 수립 : 데이터 수집 및 확보등 데이터 준비하는 단계는 순차적. 모델링 단계는 반복적인 혼합형 많이 사용

 

 

<분석 준비도 Readiness 6개 영역 >..........ㅎ질리는데 외워지지가 않음

분석 업무 파악	인력 및 조직	분석 기법
- 발생한 사실 분석 업무 - 예측분석 업무 - 시뮬레이션 분석 업무 -최적화 분석 업무 -분석 업무 정기적 개선	- 분석 전문가 직무 존재 - 분석 전문가 교육훈련 프로그램 - 관리자들의 기본적 분석 능력 - 전사 분석 업무 총괄 조직 존재 - 경영진 분석 업무 이해 능력	- 업무별 적합한 분석 기법 사용 - 분석 업무 도입 방법론 - 분석 기법 라이브러리 - 분석 기법 효과성 평가 - 분석 기법 정기적 개선
분석 데이터	분석 문화	- IT 인프라
- 분석 업무를 위한 데이터 충분성 - 분석 업무를 위한 데이터 신뢰성 - 분석 업무를 위한 데이터 적시성 - 비구조적 데이터 관리 - 외부 데이터 활용 체계 - 기준데이터 관리(MDM)	- 사실에 근거한 의사결정 - 관리자의 데이터 중시 - 회의 등에서 데이터 활용 - 경영진의 직관보다 데이터 - 데이터 공유 및 현업 문화	- 운영시스템 데이터 통합 - EAL ETL 등 데이터 유통체계 - 분석 전용 서버 및 스토리지 - 빅데이터 분석 환경 - 통계 분석 환경 - 비주얼 분석 환경

 

<분석 성숙도 모델>

- 비즈니스 부문, 조직 역량 부분, IT 부문 3개 부문을 대상으로 

 > 도입, 활용, 확산, 최적화 단계로 살펴볼 수 있다.

> < 사분면 분석>

<분석 조직 구조>

- 집중구조 : 전사 분석 업무를 별도의 분석 전담 조직에서 담당, 전략적 중요도에 따라 분석조직이 우선순위를 정해서 진행가능, 현업 업무부서의 분석 업무와 이중화/이원화 가능성 높음

- 기능구조 : 일반적인 분석 수행구조. 별도 분석조직이 없고 해당 업무부서에서 분석 수행, 전사적 핵심분석이 어려우며 부서 현황 및 실적 통계 등 과거 실적에 국한된 분석 수행가능성 높음

- 분산구조 : 분석조직 인력들을 현업부서로 직접 배치하여 분석업무 수행, 전사 차원의 우선순위 수행, 분석 겨로가에 따른 신속한  Action 가능. 베스트 프렉티스 공유 가능, 부서 분석업무와 역할분담 명확히 해야함.

 

<분석과제 관리 프로세스 수립(과제발굴, 과제수립) 프로세스>

- 분석 아이디어 발굴 > 분석과제후보제안 > 분석과제확정 > 팀구성 > 분석과제실행 > 분석 과제 진행관리 > 결과공유/개선