만땅이의 서랍장

* 데이터 처리 영역 : 기초 데이터를 정의, 수집 및 저장, 분석용 물리적 환경 제공 ① 데이터 소스 : 내부,외부 데이터, 미디어 정보 ② 데이터 수집 : 입력, 로그수집기, 크롤링, 센싱 ③ 데이터 저장 : 정형, 비정형데이터, 저장 장치 ④ 데이터 처리: 배치 처리, 실시간 처리, 분산 처리 * 데이터 분석 영역: 데이터를 가공하여 분석을 수행하고 표현 ① 도메인 이슈 도출 : 현황 파악 및 개선과제 정의, 빅데이터 요건 정의서 작성 ② 분석 목표 수립 : 분석목표 수립, 분석목표 정의서 작성 ③ 프로젝트 계획 수립 : 분석몰표정의서, 프로젝트 소요비용 배분계획을 바탕으로 작업 분할 구조도(WBS) 작성 ④ 보유 데이터 자산 확인 : 현재 데이터의 법률적 이슈나 제약상항 검토 * 데이터 표현 : ..

* 분석과제 도출방법 ① 하향식 접근방법 : 문제가 먼저 주어지고, 해법을 찾아가는 방법 ② 상향식 접근방법 : 데이터 기반으로 문제의 재정의 및 해결방안 탐색 ③ 최적의 의사결정을 위한 혼합방식 : 발산과 수렴을 반복하는 혼합방식 - 상향식 접근 방식의 발산(Diverge)단계 : 가능한 옵션을 도출 - 하향식 접근 방식의 수렴(Converge)단계 : 도출된 옵션을 분석하고 검증 * 하향식 접근 방식 ① 문제 탐색 단계 - 기준모델을 확인 활용하여 누락없이 문제 도출 및 식별 - 비지니스 모델기반, 외부 참조 무델기반, 분석 유스케이스 정의 등으로 구분가능 ② 문제 정의 단계 - 식별된 비지니스 문제를 데이터적인 문제로 변환&정의 ③ 해결방안 탐색 단계 - 기법 및 시스템 분석 역량 등에 따라 세분화..

* 데이터 분석 : 대용량 데이터에서 유용한 정보 찾고 결과예측을 위함, 정형/비정형 대용량 데이터를 구축, 탐새, 분석, 시각화 * 데이터 분석 지향점 ①전략적 통찰이 없는 데이터 분석 배제 ②일차원적인 데이터 분석 지양 ③전략도출을 위한 가치 기반 데이터 분석 지향 * 데이터 분석 기획 : 어떠한 목표를 달성하기 위해 어떠한 데이터를 가지고 어떤 방식으로 수행할 것인가에 대한 일련의 계획 수립 * 분석 기획의 특징 ① 분석 대상과 방법에 따른 분류 ② 목표 시점에 따른 분류 : 단기적 접근 방식, 중장기적 접근 방식, 혼합 방식 * 분석 기획 시 필요역량 ① 분석 기획을 위한 기본적인 소양 ② 프로젝트 관리 역량과 리더쉽 * 분석 기획 시 고려사항 ① 사용 가능한 데이터 확인 ② 적합한 사례 탐색 ③..

* 개인정보: 살아있는 개인에 관한 정보 * 개인정보의 처리와 활용 ①개인정보의 이전 ②개인정보 처리위탁 ③개인정보의 제3자 제공 * 빅데이터 개인정보 보호 가이드라인(방통위) ①비식별화 ②투명성 확보 ③재식별 시 조치 ④민감정보 및 비밀 정보 처리 ⑤기술적/관리적 보호조치 * 개인정보 보호법: 당사자의 동이없이 정보를 수집,활용하며 금지 제2조 제1호 - 범위 : 정보가 특정 개인을 알아볼 수 있게 하는가?, 다른정보랑 결합해서 판단해도! - 처리위탁 : 일정한 내용을 기재한 문서에 의하여 업무 위탁이 이루어져야한다 개인정보보호법 제26조 제1항 - 수탁자에대한 교육, 감독 의무 부담 개인정보보호법 제26조 제3항 - 수탁자가 처리과정에서 위반하면 손해배상책임은 수탁자를 개인정보처리자의 소속직원으로봄 ..

* 빅데이터 플랫폼: 빅데이터 수집,저장,처리,분석 등 전 과정을 통합적으로 제공 * 빅데이터 플랫폼 등장 배경 ① 비지니스 요구사항 변화 ② 데이터 규모와 처리 복잡도 증가 ③ 데이터 구조의 변화와 신속성 요구 ④ 데이터 분석 유연성 증대 * 빅데이터 플랫폼 기능 ( 아래 문제를 해결함 ) ① 컴퓨팅 부하 발생 : 연산과정에서 부하 발생 ② 저장 부하발생 : 입력,가공,출력등 여러 단계에서 발생 ③ 네크워크 부하 발생 : 분산처리시에 노드 산의 통신과정 부하발생 *빅데이터 플랫폼은 서비스 사용자와 제공자 측면 어디에도 치우치면 안됨 * 빅데이터 플랫폼의 구조 ① 소프트웨어 계층 : 어플 구성하며 데이터 처리 및 분석과 이를 위한 데이터 수집, 정제 - 데이터 처리 및 분석 엔진(데이터 처리 및 분석, ..

* 데이터 : 추론, 추정의 근거를 이루는 사실 → 특징 : 객체만으로도 가치 有, 상호관계에서 더큰 가치 → 구분 : 정량적/ 정성적 → 유형 : ① 정형데이터 : 정해진 형식과 구조에 맞게 저장된것 ex) 관계형 DB의 테이블에 저장되는 Data ② 반정형 데이터 : 형식과 구조가 유연, 스키마 정보를 데이터와함께 제공 ex) JSON,XML등 ③ 비정형 데이터 : 구조가 정해지지 않은 대부분의 데이터 ex) 동영상, 이미지 → 근원에 따른 분류 : 가격 데이터/ㅂ\불가역 데이터 * 데이터의 기능 ①암묵지 : 경험으로 체득한것, 무형지식 ②형식지 : 형상화된거 * 지식창조 매커니즘 ①공통화: 서로 인식 공유 ②표출화: 암묵지를 형식지로 ③연결화: 형식지 체계화 ④내면화: 형식지를 개인의 것으로 * 데..