[필기] (이기적) 빅데이터 개요 및 활용

* 데이터 : 추론, 추정의 근거를 이루는 사실

 → 특징 : 객체만으로도 가치 有, 상호관계에서 더큰 가치 

 → 구분 : 정량적/ 정성적

 → 유형 : ① 정형데이터 : 정해진 형식과 구조에 맞게 저장된것 ex) 관계형 DB의 테이블에 저장되는 Data

             ② 반정형 데이터 : 형식과 구조가 유연, 스키마 정보를 데이터와함께 제공 ex) JSON,XML등

             ③ 비정형 데이터 : 구조가 정해지지 않은 대부분의 데이터 ex) 동영상, 이미지

 → 근원에 따른 분류 : 가격 데이터/ㅂ\불가역 데이터

 

* 데이터의 기능 ①암묵지 : 경험으로 체득한것, 무형지식 ②형식지 : 형상화된거

 

* 지식창조 매커니즘 ①공통화: 서로 인식 공유

                           ②표출화: 암묵지를 형식지로

                           ③연결화: 형식지 체계화

                           ④내면화: 형식지를 개인의 것으로

 

* 데이터 > 정보 > 지식 > 지혜

- 데이터: 의미가 중요x 

- 정보: 관계 분석하여 의미 도출

- 지식: 구조화하여 분류, 개인적 경험 결합

- 지혜: 원리 이해, 아이디어 결합

 

* 데이터 베이스: 체계적, 조직적으로 정리되고 전자식으로 소집된 수집물

 

* 데이터 베이스관리시스템 DBMS : DB를 관리하며, 응용 프로그램들이 DB를 공유하며 사용할 수 있또록 제공하는 SW

 → 종류 : ①관계형: 계층형 ②객체지향: 정보를 객체 형태로 ③네트워크: 그래프 구조 기반 ④계층형: 트리구조기반

 

* DB 특징 : ①통합된 데이터 ②저장된 데이터 ③공용 데이터 ④변화되는 데이터

 

* DB활용 

① OLTP (OnLine Transaction Processing) : 호스트 컴이랑 온라인으로 접속되어 DB를 수시로 갱신

② OLAP (OnLine Analytical Processing): 정보 위주의 분석 처리, OLTP에서 처리된 트랜잭션 데이터를 분석

 

* 데이터 웨어하우스 : 의사결정에 도움이 되기위해 데이터 축적, 분류 작업

* 데이터 웨어하우스 특징: ①주제지향성 ②통합성 ③시계열성 ④비휘발성

 

* 데이터 웨어하우스 구성: ①데이터 모델 ②Extract, Transform, Load ③Operational Data Store ④DW 메타데이터 ⑤OLAP ⑥데이터 마이닝 ⑦분석 도구 ⑧경영기반 도구

 

* 빅데이터의 특징 (주로 앞에 3개를 3V로 부름)

 5V ①volume 규모 ②Variety 유형 ③Velocity 속도 ④Veracity 품질 ⑤ Value 가치  

     

* 빅데이터의 활용 요소

① 자원: 빅데이터 ②기술 : 빅데이터 플랫폼, AI ③인력: 알고리즈미스트, 데이터사이언티스트

 

* 빅데이터의 기본 테크닉

①연관규칙학습 ②유형분석 ③유전 알고리즘 ④기계학습 ⑤회귀분석 ⑥감정분석 ⑦소셜네트워크 분석

 

*빅데이터의 기능 및 효과 : 경쟁 우위, 개인맞춤화 가능, 의사결정 지원, R&D 및 관리 효율성 

 

* 데이터 산업의 진화

① 데이터 처리시대 : 프로그래밍으로 데이터 처리 빠르고 정화하게. 급여계산, 회계전표 등에 적용

② 데이터 통합시대 : 쌓인 데이터로, 데이터 모델링과 DB관리 시스템 등장 . 데이터 웨어하우스 도입

③ 데이터 분석시대 : 빅데이터 기술 등장. 데이터 분석으로 인과관계 밝힐 수 있어 업무에 적용

④ 데이터 연결시대 : 모든것들이 연결되어 데이터 주고받음

⑤ 데이터 권리시대 : 데이터에 대한 권리를 스스로 행사하는 마이데이터 등장

 

* 데이터 산업 구조 : ①인프라영역 ②서비스 영역