백자의 블로그

기출문제

1. 고성능 분산 메시징 펍/섭(Pub/Sub) 모델 시스템, 카프카의 개요

1. 카프카(Kafka) 개념

- 웹사이트, 애플리케이션, 센서 등에서 취합한 데이터 스트림을 실시간으로 관리하기 위한 오픈소스 시스템

- 원천시스템으로부터 대규모 트랜잭션 데이터가 발생했을 때, 데이터를 버퍼링하면서 목적지 시스템에

안정적으로 전송하기 위한 MOM(Message Oriented Middleware) 시스템

- 링크드인에서 개발, 2011년에 오픈소스로 공개

1. 카프카 특징

1. 카프카 구성요소

1. 카프카 구성요소 개념도

- Kafka는 발행-구독(publish-subscribe) 모델을 기반으로 동작하며 크게 producer, consumer, broker로 구성된다

1. 카프카 구성요소 설명

1. 카프카 동작방식

1. 카프카의 아키텍처

- 카프카는 발생-구도(publish-subscribe)모델을 기반으로 동작

- 데이터 단위를 보내는 측(프로듀서)에서 카프카에 토픽이라는 각각의 메시지 저장소에 저장하면 가져가는

측(컨슈머)이 원하는 토픽에서 데이터를 가져감

1. 카프카의 동작방식

1. 카프카와 클라우드 메시징 서비스 비교

기출문제

1. Subset의 특성을 모델에 반영하는 빅데이터 분석기법, Random Forest의 개요

1. Random Forest 사용 기법

1. Random Forest의 부각배경

• Random Forest의 경우 트리들의 편향은 그대로 유지가 되면서, 분산은 감소하기 때문에 보다 안정적(일반화) 이며 정확도 성능이 향상
  ※ 과적합(overfitting)문제: 감독학습(Supervised Learning)에서 과거의 학습데이터에 대해서는 잘 예측하지만 새로 들어온 데이터에 대해서 성능이 떨어져서 일반화가 어려운 문제

1. Random Forest의 특징
   1. 1. 임의성(randomness)에 의해 서로 조금씩 다른 특성을 갖는 트리들로 구성
      2. 각 트리들의 예측(Prediction)들에 대한 비상관화(decorrelation)
      3. 일반화 성능의 향상 및 노이즈(noise)에 강함
      4. 임의화를 통한 과적합(overfitting)문제를 극복

1. Random Forest의 주요기법
   1. 1. 배깅(bagging)을 이용한 forest 구성
         1. 부트스트랩(bootstrap)을 통해 조금씩 다른 훈련 데이터에 대해 훈련된 기초 분류기(base learner)들을 결합(aggregating)시키는 방법

• 배깅(bagging)을 이용해 T개의 결정 트리들로 구성된 Random Forest를 학습하는 과정

[간단한 개념도]

1. 임의노드 최적화(randomized node optimization)
   • 분석에 사용되는 변수를 랜덤하게 추출하는 것으로써, 훈련단계에서 훈련목적함수를 최대로 만드는 노드분할 함수의 매개변수 θ의 최적값을 구하는 과정
   • 즉, 분석을 위해 준비된 데이터로 부터 임의복원추출을 통해 여러 개의 학습데이터를 추출하고 각각 개별학습을 시켜 트리를 생성하여 투표 또는 확률 등을 이용하여 최종목표변수를 예측

1. 중요 매개변수

1. Random Forest의 응용사례

I. 빅데이터, 머신러닝의 학습 알고리즘(learning algorithm), 앙상블 기법의 개요

가. 앙상블기법의 정의

- 빅데이터 분석 및 기계학습 기법으로써, 개별 모형 하나로 원하는 성능을 낼 수 없을 때 개별로 학습한

  여러 학습기법(배깅, 부스팅, 렌덤 포레스토) 를 조합해, 좋은 예측 성능을 얻는 기법

• 여러 개의 의사결정 트리를 만들고 투표하여 다수결로 결과를 결정하는 방법

1. 앙상블학습의 등장배경

• ※ 과적합(overfitting)문제: 감독학습(Supervised Learning)에서 과거의 학습데이터에 대해서는 잘 예측하지만 새로 들어온 데이터에 대해서 성능이 떨어져서 일반화가 어려운 문제

II. 앙상블학습의 개념도 및 주요기법

가. 앙상블 학습의 개념도

• 여러 개의 분류기를 통해 예측결과를 도출하고 이 결과를 결합하여 신뢰성이 높은 예측 값 도출

1. 앙상블 학습의 주요기법

주요기법	개념도	설명
Bagging		Bootstrap을 통해 모델링한 후 결합하여 최종 예측모델 생성
Boosting		Weak classifier의 가중치를 적용하여 최종 bosting 모델을 만듦
Random forest		배깅을 이용하여 여러 개의 결정트리를 생성 후 학습시키고 투표 및 확률을 이용하여 최종 모델 생성

기출문제

I. RDBMS의 복잡도와 용량 한계 극복, NoSQL의 개요

가. NoSQL(Not Only SQL) 정의

- RDBMS 한계를 벗어나, 고용량의 비정형 데이터를 효율적으로 처리할 수 있는 구조와 유연성을 가진 분산 DBMS

나. NoSQL 특징

II. NoSQL 데이터 모델 구조(유형)

유형	설명
Document 기반
	-데이터를 key/value pair로 저장하지만 value 부분에 문서(json, xml 포멧 같은)가 저장되는 데이터베이스 유형. - 관계형 데이터베이스의 경우, 보유한 열과 기타 열을 알아야 하지만, 문서 기반 데이터베이스는 저장소에 JSON object가 있어서 별도로 찾아가지 않아도 됨. 예) Amazon SimpleDB, CouchDB, MongoDB, Riak, Lotus Notes 활용) CMS, 블로깅 플랫폼, 실시간 분석 & e-commerce app. 단, 복잡한 트랜잭션이나 쿼리가 수행되는 구조에는 사용X
Key-Value 기반
	- 데이터가 key/value pairs로 저장되는 NoSQL DB의 가장 기본적인 데이터베이스 유형 - 많은 양의 Data와 부하를 처리할 수 있도록 설계되었음. - 저장소에는 각 Key가 고유한 Hash table이며, Value에는 Json, BlOB(binary large objects), string 값이 될 수 있음 활용) 컬렉션, 연관배열 등에 사용. schema-less 데이터를 저장. Shopping cart 컨텐츠에 적합
Column 기반
	- Google의 BigTable paper를 기반으로 한 Column에서 작동하는 데이터베이스 유형. - 컬럼명을 Columns 속성에 데이터로 저장하고, Value 속성에는 해당 컬럼의 값을 저장 - 유연성 극대화 - 단점은 타 테이블과 조인이 안 됨, 조인이 필요한 데이터는 하나의 테이블에 중복으로 관리하여 처리 속도 향상 (관리 어려움) 예) HBase, Cassandra, HBase, Hypertable 활용) data warehouses, business intelligence, CRM, Library card catalogs
Graph 기반	Node: 동그라미(Entities), Edge: relations
	- Entities와 Entities 간의 관계(relations)를 저장하는 데이터베이스 유형 - 테이블이 느슨하게 연결된 RDBMS와 비교할 때, Graph 기반 DB는 본질적으로 다중 관계형 DB임. - 모든 Node(Vertex)와 Edge에 고유 식별자가 부여됨. - Traversing relationship가 이미 DB에 저장되어 있어서 추가적인 계산이 필요 없기 때문에 검색 속도가 빠름. 예) Neo4J, Infinite Graph, OrientDB, FlockDB 활용) 소셜 네트워크, logistics, spatial data

- NoSQL은 비 관계형, 비 구조적 데이터 저장 위해 Shared Nothing 기반의 분산저장과 수평확장이 가능한 DB

III. NoSQL 데이터 모델링 패턴과 데이터 모델링 절차

1. NoSQL 데이터 모델링

나. NoSQL 데이터 모델링 절차

IV. NoSQL 데이터 모델링 예시

가. 관계형 모델

- 영화평 ER 모델로 평론가는 여러 영화를 한줄 영화평을 작성할 수 있고 한 영화도 여러 평론가에 의하여 한줄 영화평이 작성될 수 있을 경우 다음과 같이 표현

나. NoSQL 모델

- 기본적인 nested 엔티티로 구성할 수 있고 요구사항에 따라 아래와 같이 테이블을 변경해서 설계 가능

[참고] Brewer의 CAP 이론과 Base 이론 비교