[필기] (이기적) 데이터 탐색

* 변수간의 상관성 분석

  ① 단순상관분석: 두 변수가 어느정도 강산 관계?

  ② 다중상관분석: 3개 이상의 변수간의 관계 강도 측정

  ③ 편상관계분석: 다중상관분석에서 다른변수와의 관계를 고정하고, 두 변수의 관계 강도 측정

 

* 상관분석의 기본가정

  ① 선형성 ② 동변량성 ③두 변인의 정규분포성 ④무선독립표본

 

* 상관분석 방법

  ① 피어슨 상관계수

  ② 스피어만 상관계수: 데이터가 서열자료일때 이용, 데이터를 작은것부터 차례로 순위 매김 

 

* 중심화 경향 기초통계량

  ① 산술평균 ② 기하평균 ③ 중앙값 ④ 최빈값 ⑤ 분위수 : 자료의 위치를 표현하는 수치 ex) 사분위수

 

* 산포도(분산도)

  ① 분산, 표준편차

  ② 범위

  ③ 평균 절대 편차: 자료값과 표본평균과의 편차의 절대값에 대한 산술평균

  ④ 사분위편차 : 자료를 크기순으로 배열 후 자료의 1/4에 해당하는 1사분위수구함 162쪽 참고

  ⑤ 변동계수 : 평균을 중심으로 한 상대적인 산포도 척도

 

* 자료의 분표형태

  ① 왜도 : 분표가 어느 한쪽으로 치우친 정도 ex)오른쪽 치우침 → 음수, 중간=0, 왼쪽치우침 → 양수

  ② 첨도 : 분포의 뾰족한 정도 ex) 3미만이면 평평, 3은 쏘쏘, 3초과 뚱글

 

* 통계적 시각화 도구 

  ① 도수분포표: 수집된 자료를 적절한 계급에 의해 분류하여 정리한 표

   - 도수: 각 범주별 빈도 

   - 상대도수 : 도수 및 전체자료 수

  ②히스토그램

  ③ 막대그래프 

  ④ 파이차트

  ⑤ 산점도

  ⑥ 줄기 잎 그림 

  ⑦ 상자 수염 그림

 

* 시공간 데이터 : 공간적 정보에 시간의 흐름이 결합된 다차원 데이터

 

* 시간데이터 ex) 유효시간, 거래시간, 사용자 정의시간, 스냅샷 데이터, 거래시간 데이터, 유효시간 데이터, 이원시간 데이터

 

* 공간데이터 ex) 비공간타입, 래스터 공간타입(그리드에서 픽셀표현), 벡터 공간타입, 기하학적 타입, 위상적 타입

* 공간데이터 모델 : 관계형 모델, 객체지향 모델

 

* 시공간데이터 질의어: 

① 정의어: 시공간 테이블 인덱스 및 뷰의 정의문 등

② 조작어: 객체의 삽입, 삭제, 변경 등의 검색문 등

 

* 시공간 데이터의 연산

① 시공간위상 관계 연산 : 공간위상 연산자는 두 객체 간 공간영역상의 관계에 대해 참, 거짓 반환

②시공간 기하 연산 : 공간 기하 연산자+시간 구성 연산자 결합

 

* 다변량 데이터 탐색 : 변수간의 인과관계 규명 및 분석

 

* 종속변수와 독립변수 사이 인과관계

① 다중 회귀: 독립변수2개이상, 각 독립변수는 종속변수와 선형관계

② 로지스틱 회귀: 종속변수가 이항형 문제를 지칭할때

③ 분산분석: 3개이상의 표번들의 차이를 표본 평균 간의 분산과 표본 내의 관측치 간 분산 분석

 

* 변수 축약

① 주성분분석PCA : 비정규성이나 이상치를 발견하기위해 상관관계가 없는 새로운 변수 구하는거

② 요인분석: 상관관계를 분석해서 공통차원들 축약

③ 정준상관분석: 연관성을 각 변수집단에 속한 변수들의 선형결합의 상관계수를 이용해서 분석

 

* 개체유도: 유사개체 분류

① 군집분석 ② 다차원 척도법: 개체들의 거리 또는 비유사성으로 파악 ③ 판별분석 ex)로지싁 판별분석

 

* 데이터의 형태

① 정형데이터 ② 반정형데이터 : 보통 API형태로 제공 ③ 비정형 데이터: 수집데이터 처리어려움

 

 

* 비정형 데이터의 분석

① 데이터 마이닝 : 통계적 규칙이나 패턴을 분석하여 가치있는 정보를 추출

② 텍스트 마이닝 : 인간의 언어로 이루어진 비정형 텍스트 데이터들을 자연어 처리방식으로 데이터 의미 발견

③ 오피티언 마이닝 : 텍스트 미아닝의 한 종류, 감정,뉘앙스, 태도 등을 파악. 감정분석이라고도 불림

④ 웹 마이닝 : 웹으로 통한 모든 것 분석 및 도출

 - 유형 ① 웹구조 마이닝: 구조적 요약정보 추출

          ②웹내용 마이닝: 의미있는 내용추출

          ③ 웹사용 마이닝: 패턴으로부터 통찰이끌어냄