[필기] (이기적) 빅데이터 분석 방안

* 분석과제 도출방법

① 하향식 접근방법 : 문제가 먼저 주어지고, 해법을 찾아가는 방법

② 상향식 접근방법 : 데이터 기반으로 문제의 재정의 및 해결방안 탐색

③ 최적의 의사결정을 위한 혼합방식 : 발산과 수렴을 반복하는 혼합방식

 - 상향식 접근 방식의 발산(Diverge)단계 : 가능한 옵션을 도출

 - 하향식 접근 방식의 수렴(Converge)단계 : 도출된 옵션을 분석하고 검증

 

* 하향식 접근 방식

① 문제 탐색 단계 

 - 기준모델을 확인 활용하여 누락없이 문제 도출 및 식별

 - 비지니스 모델기반, 외부 참조 무델기반, 분석 유스케이스 정의 등으로 구분가능 

② 문제 정의 단계

 - 식별된 비지니스 문제를 데이터적인 문제로 변환&정의 

③ 해결방안 탐색 단계

 - 기법 및 시스템 분석 역량 등에 따라 세분화 가능

④ 타당성 평가 단계

 - 경제적 타당성, 데이터 및 기술적 타당성 등을 분석

 

* 하향식 접근 방식의 문제 탐색 방법

① 비지니스 모델 캔버스를 활용한 과제발굴 : 사업모델 도식화한 걸로 3개의 문제발굴 2개의 관리영역으로 도출

② 분석 기회 발굴의 범위 확장 : 환경과 경쟁구도의 변화 및 역량의 재해석으로 분석 기회 추가도출 필요

 

* 상향식 접근방식: 데이터 기반으로 문제를 재정의/해결

 - 데이터로 문제가 왜 발생하는 지 역추적해서 도출

 - 하향식의 문제점해결을 위해 만들어짐( 새로운 탐색이 어려움, 복잡, 다양항 환경에서 발생한 문제는 부적합함)

 

* 상향식 접근기반 전통적 분석 사고 극복방안

① 디자인 사고 접근 방법 ; 현장의 관찰과 감정이입, 대상 관점으로의 전환 수행

② 비지도학습 방법에 의한 수행 : 데이터 자체만을 가지고 결과도출, 새로운 인사이트 도출에 유용

③ 빅데이터 환경에서의 분석 : 인과관계, 상관관계, 연관분석을 통해 문제 해결가능

 

* 상향식 접근방식의 문제 해결방법 : 프로토타이핑 접근법

 

* 프로토타이핑 접근법: 먼저 분석해보고, 결과확인하면서 개선

 - 필요한것 : 문제에 대한 인식 수준, 필요 데이터 존재 여부의 불확실성, 데이터 사용 목적의 가변성

 - 프로세스의 특징 : 불명확성↓, 의도한 결과 도출 가능성 ↑, 지속적으로 반복하는 방법 효과적

 - 프로세스의 구성 : 가설의 생성, 디자인에 대한 실험, 실제 환경에서의 테스트, 통찰 도출 및 가설 확인

 

* 분석 방법론 : 데이터 분석을 효과적으로 수행하기 위해 분석 절차를 체계적으로 정리한 방법

 

* 분석 방법론의 구성요건

① 상세한 절차

② 방법

③ 도구와 기법

④ 템플릿과 산출물

⑤ 어느정도의 지식만 있으면 활용 가능한 수준의 난이도

*  분석 방법론의 생성과정

- 형식화 : 개인의 암묵지가 조직의 형식지로 발전, 문서화

- 체계화 : 형식지로 전개되어 방법론 생성, 문서에서 절차, 활동 등을 정의

- 내재화 : 개인에게 전파,활용되어 암묵지로됨, 전파된 방법론을 학습하고 활용해서 내재화

 

* 계층적 프로세스 모델 구성

① 최상위 계층 - 단계( Phase )

 - 프로세스 그룹으로 완성된 단계별 산출물 생성

 - 각단계는 기준선으로 설정, 버전관리등으로 통제

② 중간계층 - 태스크 ( Task )

 - 단계를 구성하는 단위 활동, 물리적/논리적으로 품질 검토 가능

③ 최하위계층 - 스텝(Step)

 - WBS(Work Breakdown Structure)의 워크패키지(Work Package) 

 - 입력자료, 처리 및 도구, 출력 자료로 구성된 단위 프로세스

 

* 소프트웨어 개발 생명주기 구성요소

①계획(요구명세) ②요구분석 ③설계 ④구현 ⑤시험 ⑥유지보수

 

* 소프트웨어 개발 생명주기(SDLC)의 필요성

 - SW위기 대처, 효과적인 개발 수행, 고품질 SW생산성 확보

 

* 소프트웨어 개발 방법

① 폭포수 모형 : 고전적, 분석 → 설계 → 개발 → 구현 → 시험 및 유지보수 과정을 순차적 

② 프로토타입 모형 : 일시적으로 간략히 구현 후에 요구사항 다시 반영 

 - 실험적 프로토타입 : 실제 개발될 소프트웨어 일부분 직접 개발해서 의사소통 도구로

 - 진화적 프로토타입 : 요구분석만x, 프로토 타입을 지속발전해서 최종으로

③ 나선형 모형 : 점진적으로 완변한 시스템으로 개발, 폭포수의 단계를 계속돌아감

④ 반복적 모형 : 일부분을 반복적으로 개발하여 최종으로

 - 증분형 모형 (incremental Model) : 요구사항과 제품의 일부분을 반복적으로 개발, 대상범위 확대해서 최종 

 - 진화형 모형 (Evelution Model) : 핵심부분을 개발한 후에 각 구성요서를 지속발전

 

* 소프트웨어 개발 생명주기 모형 선정기준

①프로젝트의 규모와 성격 ②방법과 도구 ③시간과 비용 ④ 개발과정에서의 통제수단과, 소프트웨어 산출물 인도방식

 

* KDD( Knowledge Discovery in Database)

: 1996년 fayyad가 만든 프로파일링 기술 기반의 데이터 마이닝 프로세스

- 분석 절차 : ①데이터 셋 선택 ②데이터 전처리 ③데이터변환 ④데이터 마이닝 ⑤데이터 마이닝결과 평가

 

* CRISP-DM 분석 방법론(Cross Industry Standard Process for Data Mining)

: 4계층으로 구성된 데이터 마이닝 프로세스

1) 최상위레벨: 여러단계로 구성

2) 일반화 태스크: 단일 프로세스 수행

3) 세분화 테스크: 일반화 테스크 구체적 수행

4) 프로세스 실행: 데이터마이닝을 구체적으로 실행

- 분석절차 : ① 업무의 이해 ② 데이터 이해 ③ 데이터 준비 ④ 모델링 ⑤ 평가 ⑥ 전개

 

* SEMIMA 분석 방법론 (Sample, Explore, Modify, Model and Assess)

: SAS 기관의 주도로 만들어진 기술과 통계중심의 데이터마이닝 프로세스 

- 특징 : SAS 기관의 데이터 마이닝 도구와 접목쉬움, 모딜링 작업에 중점

- 분석절차: ①추출 ②탐색 ③수정 ④ 모델링 ⑤ 평가

 

* 빅데이터 분석 방법론 : 응용서비스 개발을 위해 3계층으로 구성됨

① 단계 - 절차,기준선설정 및 버전관리

② 테스크 - 세부업무, 완료시 성과얻음

③ 스탭 - 단기 수행가능한 워크패키지, 단위프로세스

 

* 빅데이터 분석 방법론 개발 절차

① 분석 기획 : 비지니스 이해 및 범위 설정, 프로젝트 정의 및 계획 수립, risk 관리

② 데이터 준비 : 필요 데이터 정의, 데이터 스토어 설계, 수집 데이터 및 정합성 점검

③ 데이터 분석 : 분석용 데이터 준비, 텍스트분석, 탐색적 분석, 모델링, 모델평가 및 검증

④ 시스템 구현 : 설계 및 구현, 시스템 테스트 및 운영

⑤ 평가 및 전개 : 모델 발전 계획 수립, 프로젝트 평가 및 보고