[ADsP] 3과목(데이터 분석) - 데이터 분석 개요

데이터 분석 기법의 이해

* 사용 방법
- 데이터웨어하우스(DW) 와 데이터마트(DM)를 통하여 분석 데이터를 가져와 사용
- 신규 시스템이나 DW에 포함되지 못한자료는 기존 운영시스템(Legacy)이나 스테이징 영엉(Staging Area)과 ODS(Operational Data Store)에서 데이터를 가져와 사용
- 비정형 데이터, 관계형데이터로 구분

* 시각화(시각화 그래프)
- 낮은 수준의 분석이지만 잘 활용하면 복잡한 분석보다 더 효율적
- 대용량 데이터의 경우 시각화 필수
- SNA 분석(사회연결망 분석)시 자주 사용

* 공간분석(GIS)
- 공간적 차원과 관련된 속성들을 시각화하는 분석
- 지도위에 속성들 생성하고, 크기, 모양, 선굵기 등으로 구분하여 인사이트 도출

* 탐색적 자료 분석(EDA)
- 특이한 점이나 의미있는 사실 도출하고 분석의 최종목적을 달성해가는 과정
- 데이터 특징과 내재하는 구조적 관계를 알아내기 위한 기법들 통칭
- 4가지 주제(저항성의 강조, 잔차 계산, 자료변수의 재표현, 그래프를 통한 현시성)
- 데이터 이해 단계, 변수생성 단계, 변수선택 단계에서 활용되고 있음

* 통계
- 기술통계: 표본이 가지고 있는 정보를 쉽게 파악할 수 있도록 정리/요약
- 추측(추론)통계: 표본의 표본통계량으로 부터 모집단의 특성인 모수에 관해 통계적으로 추론

* 데이터 마이닝
- 대용량의 자료로부터 정보 요약하고, 미래에 대한 예측을 목표로 자료에 존재하는 관계, 패턴, 규칙 등을 탐색
- 상기의 방버을 통하여 유용한 지식을 추출하는 분석법

* 데이터 마이닝 방법론
- 데이터베이스: 데이터웨어하우스에서 데이터마트를 생성하면서 데이터 속성을 사전분석하여 지식 획득
- 기계학습: 컴퓨터가 학습할 수 있도록 알고리즘과 기술을 개발하는 분야(e.g. 인공신경망, 의사결정나무, 클러스터링, 베이지안 분류, SVM 등)
- 패턴인식: 사전지식+ 원자료의 패턴에서 추출된 통계기반으로 분석(e.g. 장바구니분석, 연관규칙 등)