중 매니코어 프로세서
(many core CPU(Central Processing Unit))		 [정의] CPU에 수십개에서 수백개의 코어를 집적하여 극한의 병렬화 된 프로그램 실행을 목적으로 하는 프로세서
[기술요소]
프로세싱 ( 병렬 컴퓨팅, 캐시 일관성, 하드웨어 추상화 )
메모리 ( Messaing Passing, Scratchpad memory, 메모리 주소 분할 )		 123회 컴시응 1교시 기출
토픽 이름 (상) 매니코어 프로세서(many core CPU(Central Processing Unit))
분류 CA > 컴퓨터 구조 > 매니코어 프로세서
키워드(암기) NUCA, NoC, Nano 집적기술, 3D die Stacking, DVFS
암기법(해당경우)  

 

기출문제

번호 문제 회차
1 5. 매니코어 프로세서(many core CPU(Central Processing Unit)) 123.컴시응.1

 

I. 극한의 병렬 처리 프로세서, 매니코어 프로세스(Many core CPU)의 개요

정의 CPU에 수십개에서 수백개의 코어를 집적하여 극한의 병렬화 된 프로그램 실행을 목적으로 하는 프로세서
특징 - 병렬처리, 다수 코어 집적, 캐시 일관성, 메모리 분할

- 병렬처리에 최적화 되어 있어 병렬 프로그램 이외엔 성능이 하락

 

II. 매니코어 프로세서의 개념도 및 기술요소 설명

가. 매니코어 프로세서의 개념도

- 다수의 Core를 하나의 CPU에 집적해 병렬처리를 극대화 함

 

나. 매니코어 프로세서의 기술요소

구분 핵심 기술 설명
하드웨어
측면		 NUCA(Non-Uniform Cache Architecture) - 각 코어블록과 지리적 근접 L2 Cache Bank에 접근하도록 하여 Bandwidth를 향상

3D die Stacking - SOC die 내부의 여러 지점에 Memory die와 연결되는 via를 제공하여 대여폭을 향상시키고 훨씬 많은 수의 연결을 지원

NoC(Network on Chip) - 프로세스 내 인터커넥션을 위한 라우터를 통한 고속의 네트워크를 구현

DVFS(Dynamic Voltage Frequency Scaling) - 프로세서의 전력 효율을 향상, 처리량 대비 가변적 전압과 주파수 적용
- 처리량이 많을 시는 전압과 주파수를 높이고, 처리량이 적을 시는 전압과 주파수를 낮추어 에너지 효율성 향상

Internal Memory Controller - 프로세서 내부에 메모리 컨트롤러를 내장하여 매니코어의 메모리 접근성을 향상

Nano 집적 기술 - 단일 프로세서 칩에 집적하기 위한 50nm 이하의 소자를 집적하는 기술, 현재 10nm 이하 소자 집적으로 기술 발전중
소프트웨어
측면		 Massage Passing - 병렬 처리에서 정보 교환 시에 필요한 기본 기능들과 문법, 프로그래밍 API에 대한 표준 기술

Transaction Memory - 병렬 컴퓨팅에서 공유 메모리 접근을 제어하기 위한 동시성 제어 기법

SPMT(Serial Port Memory Technology) - 수행 확률이 높은 부분을 다른 core를 통해 미리 수행하여 전체 성능을 향상시키는 기법

Token Based Coherence Protocol - cache coherence 위한 토큰 기반의 프로토콜

SW 지원 플랫폼 - OpenMP, OpenCL, CUDA등 병렬 프로그램 지원 플랫폼

- 병렬 컴퓨팅에 최적화 되 다수의 코어를 사용해 연산처리에 매니코어 프로세서 활용 가능

 

III. 매니코어 프로세서와 멀티코어 프로세서의 비교

비교 매니코어 프로세서 멀티코어 프로세서
개념 - CPU에 다수의 코어를 집적 - 다이에 다수의 CPU를 집적
코어 - 동일한 코어 집적 - 다양한 기능의 코어를 집적
예시 - Intel Core i5 - Intel Xeon

“끝”

 

반응형
저작자표시 비영리 변경금지

'정보관리기술사 > CA_OS' 카테고리의 다른 글

집합연관사상  (1) 2023.11.12
연관사상(Associative Mapping)  (0) 2023.11.11
직접사상(Direct Mapping)  (0) 2023.11.10
Cache 일관성 유지방법  (0) 2023.11.09
GPGPU - CUDA  (0) 2023.11.07

 

상 GPGPU - CUDA [정의] GPU를 CPU가맡고있는응용프로그램들의계산에사용할수있도록활용하고자하는기법
[목적] 그래픽연산, 데이터병렬연산
[장점] 부동소수점연산빠름, 문맥교환속도빠름, 다수쓰레드사용
[단점] 흐름제어기능빈약,프로그래밍기법의제약, Core 당클럭이 CPU에비해느림
[플랫폼]
1. [CUDA-NVIDIA] 프로그램모델제공, 병렬처리, SM/SP 구성, 제한된호환성
2. [OpenCL-크로노스그룹] 이기종시스템지원, C,런타임API, 애플/AMD/IBM
3. [OpenACC-NVIDA] CUDA의추상화모델, 컴파일러지시문기반, 플랫폼독립
4. [C++ AMP-MS] Visual studio에추가된이기종지원, 람다표현, 병렬반복문
HAS(Heterogeneous System Architecture) 고려: OpenCL, OpenACC, C++ AMP
플랫폼독립성: OpenCL, OpenACC		  
토픽 이름 (상) GPGPU(General Purpose Graphic processing unit)
분류 CA > 컴퓨터 구조 > GPGPU
키워드(암기) PCI express bus, 연동부, SIMD 코어, 그래픽 메모리, 캐시 메모리
CUDA, OpenCL, C++ AMP, OpenACC, SM, SP
암기법(해당경우)  

 

기출문제

번호 문제 회차
1 12. CPU(Central Processing Unit)와 GPGPU(General-Purpose computing on Graphics Processing Units) 120.정보관리.1교시
2 GPGPU(General Purpose Graphics Processing Units) 111.정보관리.1교시
3 CPU와 GPU를 비교 설명하고, 모바일 GPU 아키텍처와 GPGPU(General-Purpose GPU)기술에 대해 설명하시오 합숙_2014.07.응용.D5
4 5. 인공지능,빅데이터 등 4차 산업혁명으로 대변되는 새로운 기술의 발전이 대용량의 데이터를 효율적으로
처리하는 GPU의 성장을 견인하고 있고 최근 국내에서 금융산업에서도 GPU기반의 아키텍처 도입되고 있다. 다음 아래의 질문에 대하여 설명하시오.
가. GPU와 GPGPU 개념
나. GPU와 CPU의 차이점		 모의_2018.05.응용.3교시
5 6. GPGPU 프로그래밍 모델 모의_2016.04.응용.1교시
6 3. GPGPU의 개념을 설명하고, GPGPU기반 컴퓨팅 플랫폼의 종류를 2개 이상 제시하시오. 모의_2015.11.관리.1교시
7 14. GPGPU기반 프로그래밍 모델의 종류에 대하여 설명하시오. 합숙_2019.01.응용

 

1. GPU의 수행능력 확대, GPGPU(General Purpose Graphics Processing Units)의 개요

가. GPGPU(General Purpose Graphics Processing Units)의 개념

- GPU(Graphics Processing Unit)를 그래픽 연산 뿐 아니라 일반 컴퓨팅 영역에도 활용하는 것을

목적으로, 중앙처리장치(CPU)가 맡았던 응용 프로그램들의 계산에 GPU를 사용하는 기술

나. GPGPU(General Purpose Graphics Processing Units)의 등장배경 및 주요특징

구분 내용 내용 상세 설명
등장
배경		 기계학습 성장 - 기계학습기반 딥러닝 폭발적 성장 기인

빅데이터 처리 - 단순비정형 등 고성능 아니어도 GPU로 처리 충분
주요
특징		 초병렬 SIMD/SIMT구조 - Control, Cache 부분 간소화한 코어집적/병렬처리

플랫폼 지원 - CUDA, OpenCL 등 GPGPU 플랫폼기반 구현 가능

-  초병렬 SIMD 처리에 의한 강력한 연산능력으로 딥러닝, 인공지능, 빅데이터 처리에 활용확대

 

2. GPGPU(General Purpose Graphics Processing Units)의 구성도/구성요소 및 플랫폼/비교

가. GPGPU(General Purpose Graphics Processing Units)의 구성도 및 구성요소

구분 상세 설명
구성도

구성
요소		 PCI express bus
연동부		 - CPU와 통신하거나 CPU측 메모리 접근위한 버스
  (PCI Controller, Host Memory, CPU 연동)

SIMD 코어 - 병렬 연산 처리를 위한 스레드 프로세서들 집합

그래픽 메모리 - GPU에서 사용하는 고속의 메모리
 (DDR Memory Controller, DDR5 Memory Module)

캐시 메모리 - 코어 내/외부 공유메모리와 메모리와의 정합수행

- AMD HD5870 GPU는 SIMD코어와 그래픽 메모리, 캐시 및 컨트롤러 등으로 구성

 

나. GPGPU(General Purpose Graphics Processing Units)의 플랫폼 및 비교

구분 플랫폼 유형 플랫폼 설명 관련社
GPGPU
플랫폼		 CUDA - 프로그램 모델 등 제공 병렬처리
- CUDA Runtime API와 Driver API 구성
- 제한된 호환성(Geforce8급 이상지원)
* Compute Unified Device Architecture		 NVIDIA

OpenCL - Heterogeneous 이기종 시스템 지원
- C, 런타임, API로 구성
- 애플최초개발, AMD, IBM 등 공동참여
* Open Computing Language		 크로노스그룹
(Khronous Group)

C++ AMP - Visual Studio에 추가된 이기종 지원
- 람다(Lamda)표현과 병렬반복문 결합
- VS 2012, Windows 8, DirectX 11이상
* C++ Accelerated Massive Parallelism		 마이크로
소프트

OpenACC - CUDA 추상화시킨 프로그래밍 모델
- 컴파일러 지시문(Directive)기반
- 플랫폼 독립, Cross-Platform, C/포트란
* for Open Accelerators		 NVIDIA
GPGPU
플랫폼
비교







- 제어측면 : HAS(Heterogeneous System Architecture) 고려한 3가지 이용
            à OpenCl, OpenACC, C++ AMP
- 플랫폼 종속성 : 플랫폼 독립적인 2가지기반 구현
à OpenCL, OpenACC

- 기술 사용목적 및 난이도 고려한 플랫폼 선택 중요하며, CPU와 GPU 연계 기술 활용 가능

 

3. GPGPU 효율을 위한 CPU와 GPU 연계, HAS(Heterogeneous System Architecture)

구분 세부 설명
HSA
개념		 - CPU와 GPU를 하나의 연산체로 간주하는 추상계층을 생성하여 GPU를 연산
보조용으로 사용하는 이기종 아키텍쳐 (Heterogeneous System Architecture)
GPGPU
활용




- 로보어드바이저, 핵심시스템융합관제 등 GPGPU 기반 구축시 HAS 연계로 효율성 도모 “끝”

 

[참고] CUDA

I. CUDA 개념

개념 -그래픽 처리 장치(GPU)에서 수행하는 병렬 처리) 알고리즘을 C 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성할 수 있도록 하는GPGPU 기술
특징 G8X GPU로 구성된 지포스 8 시리즈급 이상에서 동작한다. CUDA는 CUDA GPU 안의 명령셋과 대용량 병렬 처리 메모리를 접근할 수 있도록 해 준다.
목적 GPU를 이용함으로써 커다란 성능 향상을 기대

 

2. CUDA의 데이터 처리 절차

가. CUDA 데이터 처리 흐름도

- GPU Memory 에서 동시 병렬 처리를 통한 연산 속도 향상

나. CUDA의 데이터 처리 설명

순서 설명 영역
1   PC -> GPU
2   CPU 에서 명령
3   GPU 에서 처리
4   GPU -> Main Memory

 

III. CUDA SM(Stream Multiprocessor)& SP 개념

 나. CUDA의 SP(Streaminng Processor) 설명

  

 

다. CUDA 프로그래밍 함수 예시

 

 

 

[참고]

 

반응형
저작자표시 비영리 변경금지

'정보관리기술사 > CA_OS' 카테고리의 다른 글

집합연관사상  (1) 2023.11.12
연관사상(Associative Mapping)  (0) 2023.11.11
직접사상(Direct Mapping)  (0) 2023.11.10
Cache 일관성 유지방법  (0) 2023.11.09
매니코어 프로세서  (0) 2023.11.08

ITSM(IT Service Management)은 기업에서 흔히 도입하는 관리 기법이다.

 

이는 현업에서 비즈니스 목적을 이루기위해 IT자원을 효율적으로 관리하자 라는 취지이다.

 

IT자원이라 하면 기본적으로 인력, 조직, 기술을 들 수 있다.

 

한마디로 IT개발자/운영자와 이들이 사용하는기술 그리고 이것을 구성하는 조직구성 체계를 일컫는다.

 

전통적인 절차지향적 개발방법론인 Waterfall(폭포수모델)에서 ITSM은 기본적으로 깔끔하게 맞아 떨어진다.

 

흔히 컨베이어 벨트처럼 IT조직을 전통적인 제조업 기준으로 바라보 았을때는 정량적 측정이 훨씬 간편해진다.

 

이는 변화가 적지만 리스크가 큰 업무(금융에서 전통적인 입/출금 관리등)에 잘 맞게 된다.

 

하지만 요즘들어서 빠른 비즈니스 변화로 인해 전통적인 개발방법론이 더이상 속도를 따라잡지 못하게 되었다.

 

이로인해 Agile이나 XP같은 개발방법론들이 나오게 되고 기존에 절차지향적인 ITSM에서도 이와 같은 변화에 대한 적용이 필요해 졌다.

 

하지만, 대다수의 기업은 ITSM자체를 '관리'목적으로 사용하고, 이 기법의 개념또한 '관리'에 있기 때문에 프로세스를 줄이는데에는 한계가 있다. 

 

IT소스의 형상관리 조차 수많은 승인 프로세스를 둠으로 인해, 적시성 뿐만아니고 변경용이성 까지 품질을 저하시키고 있는 현재실정이다.

 

이에 ITSM도 IT개발에 있어서 Next Generation에 대한 고민이 필요해진 때 이다.

 

AI 중심의 산업 발달, 그리고 그에 맞는 관리 기법이 필요하다.

 

사실 빅데이터 및 AI에서는 Learning쪽에서는 실시간성에 대한 Needs가 떨어지기 때문에 대량의 데이터를 크롤링하고 분석하고 학습하는데에 더 큰 비중이 있는것이 사실이다.

 

하지만 ChatGPT 혹은 챗봇처럼 양방향 서비스가 보편화 되고, 더이상 사용자가 정형화된 화면위주의 서비스가 아닌 대화형으로 변경됐을때에 IT서비스 전체적인 모습이 달라지게 된다.

 

그때를 위해서는 ITSM도 적극적으로 Iteration을 받아 들이고, 절차를 간소화 하고, 리스크를 어느정도 컨트롤 가능한 선에서 관리 할 수 있게 혁신이 필요하지 않을까 생각해본다.

 

그리고 현재에도 많은 스타트업 기업들은 극한의 효율을 추구하기 때문에 이러한 시도를 하고있다. 다만 이것을 대규모의 회사(1000명이상)에 적용하기 위해서는 자동화된 모니터링, 실시간 관리 체계가 구축되어야 한다.

반응형
저작자표시 비영리 변경금지

'주절주절 이야기' 카테고리의 다른 글

부동산 강사는 왜 강의를 할까?  (0) 2024.02.20
공유를 좋아하는 개발자 Vs 공유를 싫어하는 개발자  (0) 2024.01.12
[가을 핑크뮬리 , 민들레구경] 안성 팜랜드 미취학 5세아이와 함께  (0) 2022.10.28
[군산어린이교통공원] 아이와 가볼만한 곳 (예약필수)  (0) 2022.10.27
[아이가족여행] 캠핑카 3박4일 렌트정보 by 모두의 캠핑카  (0) 2022.10.20
상 개방형 연결 데이터(Linked Open Data)
LOD		 [정의]사용자가정확하게원하는정보를찾을수있도록웹상의모든데이터와데이터베이스를공개하고연결하는데이터
---------------------------------------------------------------------------------
웹상에존재하는데이터를개별 URI로식별하고각 URI에링크정보를부여함으로써상호연결되웹을지향하는모델
(발행절차: LOD로웹상에데이터개방, LOD열람및검색, 타LOD연결RDF, LOD공개데이터레파지토리에등록)		 122회 기출
100.토픽 이름(중) 개방형 연결 데이터 (Linked Open Data)
분류 DB > 기타
키워드(암기) 생성/관리/발행/협업, URI, HTTP, RDF, Link, SPARQL, Ontology
암기법(해당경우)  

 

기출문제

번호 문 제 회 차
1 LOD(Linked Open Data) 122.관리.1
2 5.빅데이터분석 기술 중 오픈데이터 플랫폼을 구성하기 위한 LOD(Linked Open Data) 기술요소를 설명하시오 119.관리.4
3 12. LOD(Linked Open Data)와 공공데이터에 대하여 설명하시오. 합숙_2019.01
관리. Day-5
4 3.LOD(Linked Open Data)에 대하여 다음 내용을 설명하시오.
1)LOD의 개념
2)문서 웹(web)과 LOD에 의한 데이터 웹의 차이점
3)LOD 기술 요소		 110.응용.3
5 12. LOD(Linked Open Data)에 대해 설명하시오 모의_2017.07.응용.1

I. 공공데이터의 개방형 플랫폼, 개방형 연결 데이터의 개요

가. 개방형 연결 데이터 (Linked Open Data)의 정의

- 사용자가 정확하게 원하는 정보를 찾을 수 있도록 웹상의 모든 데이터와 데이터베이스를 공개하고 연결하는 데이터

1) 웹 상에 존재하는 데이터를 개별 URI(Uniform Resource Identifier)로 식별하고, 각 URI에 링크 정보를 부여함으로써

상호 연결된 웹을 지향하는 모형

2) 팀 버너스리에 의해 2006년 제안되었으며, 이는 시맨틱 웹 기술의 일부를 활용하여 웹을 보다 유용하게 만들기 위해

 구조화된 데이터를 웹에서 유통할 수 있는 방법

3) LOD는 ‘사람만 이해하는 웹’에서 ‘기계가 이해하는(의미처리) 웹’으로 전환하기 위한 기법으로, 데이터를 누구나 이용할 수

있는 형식으로 개방해 링크시켜 나가는 구조

 

나 . LOD(Linked Open Data)의 4가지 원칙   

구 분 설   명
URI의 사용 Linked Data는 웹문서의 위치를 나타내는 URL 중심의 식별체계를 지양하며, 개별 문서에 존재하는 개별 객체에 각각 URI를 부여
HTTP URI의 사용 Linked Data는 URI 중에서도 HTTP 프로토콜을 통해 접근할 수 있는 URI를 제안하고 있다. 이는 링크드 데이터에 대한 접근성을 강화하려는 목적
RDF의 사용 Linked Data는 RDF와 같이 트리플 모형으로 구조화된 데이터를 사용해야 함. 웹의 데이터를 정형화된 구조로 나타내고, 연계하기 위함
링크정보의
부여		 위 3가지 원칙을 지켰다고 해도, Linked Data에서는 보다 발전된 시맨틱 웹을 위해 링크정보를 부여하는 것이 매우 중요.

 

II. LOD의 구축절차

구 분 내  용
Linked Data 생성단계 Linked Data를 위한 모델 및 지식 베이스 생성
Linked Data 관리단계 대용량 Linked Data 저장, 관리, 질의처리,추론지원
Linked Data 발행단계 서비스에 따라 SPARQL Endpoint 접점을 생성하고 Linked Data 발행
Linked Data 협업단계 Linked Data를 통한 협업 설계

III. LOD의 구성도 및 구성요소

 가. 구성도

나. 구성요소

구 분 내   용
URI  
IRI - International Resource Identifier with UNICODE
XML - 언어를 표현하는 언어 역할인 메타언어(meta-language)의 기능
- XML은 임의의 문서구조를 지정할 수 있는 반면에 문서구조가 갖는 의미에 대해서는 아무 것도 정의하지 않으며 따라서 표현한 문서의 의미를 해석하는 역할은 하지 않음
Namespace - XML 문서에서 요소(element)나 속성(attribute)의 이름으로 쓰일 수 있는 이름 들의 집합
- XML을 사용할 때 상이한 의미를 가지는 동일한 용어간의 불확실성을 해결
RDF  
RDFS - RDF의 Schema 정보로 경량의 온톨로지를 표현
- 의미를 기술하는 RDF 형식 언어
R2RML - RDB(데이터베이스)의 데이터를 RDF로 바꿔주는 랭귀지
Ontology - RDF Schema에 “분류”와 “논리적인 추론”을 부과하여 기계가 web의 의미를 해석하는 semantic web을 완성
- 종류 : DAML+OIL, SHOE, OWL (Web ontology language)
OWL - DAML+OIL에서 파생된 web ontology 언어
- 속성과 클래스를 기술할 다양한 의미 표현 어휘를 제공 : 클래스 간 관계, 관계차수, 동치성, 풍부한 속성타입, 속성 특징, 열거형 클래스 등
- 3개의 하위 언어를 구성 (OWL Lite, OWL DL, OWL Full)
Logic - 기존에 정의된 정보들을 바탕으로 새로운 결론을 도출하는 추론 기능 등을 의미
- 추론을 위한 로직
SPARQL - 온톨로지 질의 언어
- 그래프 구조로 되어 있는 RDF에서 정보를 취하기 위한 언어
- Query 만 할 수 있는 게 아니라 결과에 따른 새로운 RDF를 구성할 수 있는 장점
- RDF 구조에서 모든 하위 구조를 검색하여 정보를 취득하고 새로운 RDF 문장을 RDF 문서에 삽입할 수 있음
Proof/Trust - 웹의 정보에 대한 신뢰를 의미
RIF - Rule Interchange Format
- 규칙의 정의와 교환을 위한 계층

IV. LOD의 활용사례

구 분 상 세 내 용
해외 ‘DB pedia’ : 위키피디아 데이터베이스 검색 및 추출 커뮤니티
‘BBC’ : 영국공영방송
‘OCLC WorldCat’ 미국세계도서관검색포털
‘LOV’ 미국의 수많은 용어집을 보유
‘GeoNames’ 지리정보서비스
국내 공공WiFi 위치정보
생물도감 및 이미지, 표본사진 통합
유물/유적 데이터 등 국내 한국사와 관련된 자료를 통합

- 국가적으로 보존 및 이용 가치가 있는 자료로서 학술, 문화, 과학기술, 행정 등에 관한 지식정보자원을 디지털화 진행 중

 

V. 문서의 웹과 LOD의 차이

- 웹을 활용하는 사회문화적 환경이 웹상의 정보를 공유․연계․재이용해서 가치를 창출하는 추세로 변하면서 정보의 의미적 연결을 지원하는 LOD에 주목

- 팀버너스리는 오픈데이터 형식․품질, 재이용성 평가와 LOD 확산 유도를 위해 5스타(★) 전개(deployment) 스킴을 제안, LOD 형식 개방을 4, 5단계에 배치

- LOD는 웹의 한계를 극복하기 위해 문서 단위가 아닌 기계가 이해할 수 있는 데이터를 의미 있게 하이퍼링크로 연결하는 ‘데이터의 웹(Web of Data)’을 추구

 

5. 팀버너스리의 5스타 전개 스킴

 

 

[참고 – 합숙 2019.01 D5 1교시]

나. 공공데이터 제공관리 단계

 

나. LOD발행(Publishing 절차)

추가 : 119회 기출

 

 

 

반응형
저작자표시 비영리 변경금지

'정보관리기술사 > DB_데이터분석' 카테고리의 다른 글

[서브암기] DB튜닝  (0) 2024.05.03
[서브암기] 옵티마이저  (0) 2024.05.03
공공데이터  (0) 2023.08.30
New SQL  (0) 2023.08.29
DB Table partitioning  (2) 2023.08.28
공공데이터
(Open Data)		 상 공공데이터 [정의] 공공기관이생성또는취득하여관리하고있는광(光) 또는전자적방식으로처리되어부호·문자·도형·색채·음성·음향·이미지및영상등(이들의복합체포함)으로표현된모든종류의자료또는정보
[오픈데이터플랫폼] CKAN : Comprehensive Knowledge Archive Network, 공공데이터개방지원플랫폼
[플랫폼기능] 데이터등록, 데이터발생, 데이터현황, 데이터포털, 데이터시각화
[기반기술] LOD, RDF, Semantic Web, URI, XML, Script
[데이터등급] 오픈라이선스(PDF), 구조화된데이터(Excel), 비독점(범용) 형식(CSV), URI사용(RDF), 다른데이터와링크(LOD)
[주요쟁점] 개인정보3법(개인정보보호법, 정보통신망법, 신용거래정보법) 국회계류 -> 데이터개방지연
토픽 이름(중) 공공데이터
분류 MG > 범정부 IT전략/정책 > 공공데이터(Open Data)
키워드(암기) 오픈데이터 플랫폼, 품질관리
공공데이터의 제공 및 이용 활성화에 관한 법률
암기법(해당경우)  

 

기출문제

번호 문제 회차
1 3. 국가에서 보유하고 있는 다양한 데이터를 개방하여 국민들이 보다 쉽고 용이하게 공유 및 활용할 수 있도록 개방하고 있다. 이런 개방되는 공공 데이터의 품질을 관리하기 위한 공공데이터 품질관리 수준평가 체계에 대하여 설명하시오. 모의_2018.05.응용.2
2 4. 정부3.0 시대에 발맞춰 각 중앙 부처는 정보 개방의 폭을 확대하고 국민 누구나 쉽게 찾아 이용할 수 있도록 공공데이터를 개방하고 있다. 공공데이터 제공 및 이용에 따르는 기본원칙, 주요 활용사례, 기대효과에 대하여 설명하시오. 101.응용.4
모의_2016.01.관리.2
3 최근 정부 3.0 기조에 맞추어 공공데이터에 대한 개방과 활용이 전반적으로 확산되고 있다.
이에 공공데이터 시각화의 개념, 공공데이터의 활용기법과 활용효과를 극대화 시킬 수 있는 시각화 기법에 대해 설명하시오.		 모의_2015.11.응용.4
4 1. 공공데이터개방 기반기술인 LOD(Linked Open Data)에 대해 설명하시오. 모의_2015.06.관리.1
5 3. 공공데이터 개방을 위한 오픈데이터 플랫폼 (Open Data Platform)에 대해서 상술하시오. 모의_2014.06.공통.4
6 1. 최근 우리나라를 비롯하여 영국, 미국, 호주 등 전세계 여러 국가들이 정부∙공공기관이 보유하고 있는 공공데이터의 개발과 활용을 위한 효율적인 서비스를 추진 중이다.
가. 오픈데이터 정책의 추진단계에 대해 설명하시오.
나. 주요 오픈데이터 플랫폼의 특징에 대해 설명하시오.		 모의_2014.05.관리.2

 

I. 신규서비스 창출과 알권리를 보장하는 공공데이터 개요 제21조(공공데이터포털의 운영)
공공데이터 <공공데이터의 제공 및 이용 활성화에 관한 법률>
공공기관이 생성 또는 취득하여 관리하고 있는 광(光) 또는 전자적 방식으로 처리되어 부호·문자·도형·색채·음성·음향·이미지 및 영상 등(이들의 복합체 포함)으로 표현된 모든 종류의 자료 또는 정보
공공데이터 플랫폼 공공데이터의 개방 활용과 효율적 서비스를 위해 데이터를 편리하고 손쉽게 개방, 활용케 하는 오픈소스 기반 플랫폼

공공데이터를 만들게 된 공무상의 최초 이용 목적 이외에 이용자에게 데이터를 재이용할 수 있도록 제공하고, 제공받은 데이터를 영리적· 비영리적으로 이용할 권한을 부여.

 

II. 공공데이터 제공 및 이용에 따르는 기본원칙과 플랫품의 기능과 역할

 가. 공공데이터 제공 및 이용에 따르는 기본원칙

데이터 제공 측면 이용권의 보편적 확대 노력 공공기관은 공공데이터를 편리하게 이용할 수 있도록 노력해야 함.

이용에 대한 평등의 원칙 국민의 이용과 접근에 평등의 원칙을 보장해야 함

이용권 보장 이용자의 접근제한, 차단, 저해행위를 하여서는 아니 된다.
단, 제3자 권리침해, 불법행위 악용하는 경우는 제외 됨.

영리적 활용 보장 공공데이터의 영리적 이용인 경우에도 이를 금지 제한하여서는 아니 된다. 단, 제3자 권리침해, 불법행위 악용하는 경우는 제외 됨.
데이터 이용 측면 이용자의 의무 준수 원칙 국가안전보장 등 공익이나 타인의 권리를 침해하지 아니하고 법령이나 이용조건 등에 따르는 의무를 준수해야 함.

- 공공데이터의 제공 및 이용 활성화에 관한 법률 제3조에 기본원칙 명시

- 국가안보, 개인정보 등 예외적인 경우를 제외한 공공데이터의 개방 및 자유로운 활용을 보장

 

나. 공공데이터 오픈데이터 플랫폼의 기능과 역할

- 오픈데이터 플랫폼을 이용한 비용절감, 협업인프라, 인터페이스 향상

 

구분 설 명
데이터
등록		 - 데이터 개방을 위해 데이터 업로드, 데이터 저장 등의 역할을 수행
- 데이터 등록을 위해 지원가능 한 파일 형식을 정의하고, 데이터의 API 추출 등의 기능 제공
데이터
발생		 - 등록된 데이터에 대해 지원가능한 파일형태로 데이터를 제공
- 데이터 제공에 따른 보안, 표준 등 관리 기능
데이터
현황		 - 사용자 및 관리자를 위해 데이터 출처, 분류, 내용 등이 포함된 데이터 카달로그
- 데이터의 원활할 사용을 위한 다양한 검색 기능
데이터
포털		 - 사용자, 고객센터, 포털 운영 관련 서비스 지원 기능
기타 - 플랫폼 기술 수준에 따라 데이터 추출 및 필터링을 통한 도표, 그래프 등 시각화 기능 등

 

III. 공공데이터 품질관리 및 품질평가

가. 공공데이터 품질관리

- 테이터의 최신성, 정확성, 상호연계성 등을 확보하여 사용자에게 유용한 가치를 줄 수 있는 수준

 나. 공공데이터 품질평가

구분 설 명
목적 - 기관 자체적인 품질관리 역량을 축적하여 양질의 데이터를 관리, 개방‧활용으로 이어지는 선순환 관리체계 구축 도모
추진근거 - 「공공데이터법」제9조(제공 운영실태 평가), 제22조(공공데이터의 품질관리)
평가항목 - 4개 영역(계획·구축·운영·활용), 9개 평가지표
평가지표 체계

평가등급 1등급 (최적확) - 조직 전체의 데이터 품질관리 활동의 선순환 체계 확립
- 품질항상 및 유지가 보장됨

2등급 (체계화) - 조직 차원의 데이터 품질관리 프로세스 이행
- 체계적 수행 가능

3등급 (관리화) - 데이터 풀질관리 위한 필수적인 활동들이 관리 및 통제
- 품질향상이 가능한 수준

4등급 (도입) - 데이터 품질관리 인식
- 기초적인 품질관리 활동 도입 밎 시작

5등급 (도입전) - 데이터 품질관리 인식 미흡
- 기본적 품질관리 활동 수행 불가능

 

IV. 공공데이터 주요 활용사례

구분 사례 설명 제공기관
교통 GPS Logger 측정소 정보 활용 한국환경공단

교통정보 CCTV 전국 도로 CCTV 영상 활용 EX한국도로공산, 공공데이터포털, 서울특별시

다방 아파트, 오피스텔, 단독/다가구의 전월세 및 매매 정보 활용 국토교통부
행정 해로드 해양관련 정보 활용 해양수산부

공무원연금 공무원 연금관련 정보 활용 공무원연금공단

뿡뿡이 전국의 공중화장실 정보 활용 공공데이터활용지원센터
산업 나들가게 소상공인 상가업소 정보 활용 소상공인시장진흥공단

잡코리아 취업관련 정보 활용 고용노동부

CATCH JOB 12만 가량의 기업 정보 활용 국민연금공단
의료 국가암정보센터 국립암정보 및 국립암센터 진료 일정 정보 활용 국립암센터

시각장애인편의센터 시각장애인 편의시설 정보 활용 행정안전부

[추가]LOD

[잠고] 공공데이터 포털 시스템 구성도

 

반응형
저작자표시 비영리 변경금지

'정보관리기술사 > DB_데이터분석' 카테고리의 다른 글

[서브암기] 옵티마이저  (0) 2024.05.03
개방형 연결 데이터(Linked Open Data)  (0) 2023.08.31
New SQL  (0) 2023.08.29
DB Table partitioning  (2) 2023.08.28
샤딩(Sharding) / Shard  (0) 2023.08.27
중 New SQL NewSQL is a class of relational database management systems that seek to provide the scalability of NoSQL systems
토픽 이름(출제예상) New SQL
분류 DB > 기타 > New SQL
키워드(암기) SQL기반 상호작용,ACID 지원, 비 잠금 동시성 제어, 노드 단위 고성능, 병렬/비 공유 아키텍처
암기법(해당경우)  

 

기출문제

번호 문제 회차
1 11. NewSQL에 대해 설명하시오. ITPE_2021.01.1
2 NewSQL에 대하여 설명하시오. 합숙_2019.08.관리.3

 

I. ACID + BASE 특성을 갖춘 NewSQL의 개념

II. NewSQL의 기능 및 기술요소

가. NewSQL의 기능

구분 기능 설명
트랜잭션 - SQL 기반 상호작용 - App 의 DBMS 연계(입력/조회/갱신/삭제) 시 SQL 을 사용해 통신

- ACID 지원 - RDBMS 에서 가장 중요한 트랜잭션 커밋(Commit)을 위한 필요 속성인 ACID(원자성, 일관성, 고립성, 지속성)를 지원해야 함

- 비잠금 동시성제어 - 데이터 무결성 처리를 위해 지원하는 트랜잭션 동시 제어 잠금 처리와 관련해 기존 방식과 다른 Non-locking 구조를 지원
아키텍처 - 노드단위 고성능 - 각 단일 DBMS 서버 노드 단위로 확장해 고성능을 보장

- 병렬/비공유 - 병렬 아키텍처 기반 수행으로 데이터를 고성능으로 처리
- 분산 처리시 데이터가 각 서버에 중복되지 않고 독립적으로 존재

- NewSQL은 트랜잭션 ACID 특성과 Non-locking 동시성제어 구조를 지원하고, 병렬 아키텍처 기반 분산처리 기능을 제공

 

 

나. NewSQL의 기술요소

구분 기술요소 설명
RDBMS
측면		 - 인덱싱 - 데이터베이스 검색 속도 향상, 테이블 연관, 독립적인 저장공간

- MVCC - 트랜잭션의 다중 버전 동시성 제어로 트랜잭션 직렬화

- 샤딩 - 동일 테이블 스키마의 데이터를 다수 데이터베이스에 분산 저장
NoSQL
측면		 - 스키마리스 - 테이블과 컬럼 스키마 없이 Key-Value 기반 단순 검색, 추가 용이

- 인메모리 - 고성능, 저지연 서비스, 버퍼 관리 불필요

- DB 스케일링 - scale-out 방식의 유연한 데이터 구조

- NewSQL은 데이터 크기에 상관없이 빠르고 안정적인 성능 구현과 분산 아키텍처 기반 확장성을 제공

 

III. NewSQL, RDBMS, NoSQL 비교

구분 NewSQL RDBMS NoSQL
ACID 특성 - ACID 특성 제공 - ACID 특성 제공 - ACID 특성 미제공
BASE 특성 - BASE 특성 제공 - BASE 특성 미제공 - BASE 특성 제공
스키마 - Schema-less - Schema-full - Schema-less
확장성 - Scale-out - Scale-up - Scale-out
솔루션 - Volt DB, Spanner - Oracle, MSSQL - MongoDB, Redis

- NewSQL의 등장으로 RDBMS, NoSQL을 대체하는 것이 아닌 각각의 분야에서 발전하는 형태로 전망.

반응형
저작자표시 비영리 변경금지

'정보관리기술사 > DB_데이터분석' 카테고리의 다른 글

개방형 연결 데이터(Linked Open Data)  (0) 2023.08.31
공공데이터  (0) 2023.08.30
DB Table partitioning  (2) 2023.08.28
샤딩(Sharding) / Shard  (0) 2023.08.27
Hadoop 3.0  (0) 2023.08.26
중 DB Table partitioning 데이터액세스시(특히풀스캔시) 액세스의범위를줄여성능을향상을위한, 여러개의세그먼트로나눈작업. 데이터가용성확보, I/O 분산
[기법] Vertical partitioning, Horizontal partitioning
[유형] 레인지파티셔닝, 리스트파티셔닝, 해시파티셔닝, 결합파티셔닝
[동향] Reference 파티션, Interval 파티션
 
106.토픽 이름(중) 데이터베이스 파티셔닝(Database Partitioning)
분류 DB > Data 관리 및 운영
키워드(암기) DB, 레인지, 리스트, 해쉬, 결합 파티셔닝
암기법(해당경우)  

 

기출문제

번호 문제 회차
1 5. 대용량의 데이터 처리가 산업 전반에 걸쳐 상용화되고 있다. 대용량 데이터의 처리 및 검색 성능을 고려하여 데이터베이스를 파티션을 통해 분산 및 저장하는 것을 검토하고 있다. 다음에 대하여 설명하시오.
1) 파티셔닝을 추진하는 목적 2) 파티셔닝 종류 3) 분할 기준		 119.컴시응.3교시.5
 

 

I. DB 파티셔닝의 배경과 종류 및 기준

- 서비스의 크기와 대용량 데이터의 증가에 따라 단일 DB의 용량과 성능 한계에 봉착

- 이를 극복하기 위해 테이블을 기준에 따라 분할하여 저장하는 파티셔닝 기법 등장

 

II. DB 파티셔닝의 추진 목적 및 파티셔닝 종류

  1. DB 파티셔닝의 추진 목적

  1. DB 파티셔닝의 종류
항목 수평 파티셔닝 수직 파티셔닝
개념도
개념 - 하나의 Table을 행을 기준으로 서로 다 른 Table로 분리 시키는 파티셔닝 - 하나의 Table을 컬럼을 기준으로 서로 다른 Table로 분리시키는 파티셔닝
Schema - 파티셔닝 된 table간 schema 동일 - 파티셔닝 된 table간 서로 다른 schema 사용
식별자 - Key 기반으로 서로다른 table로 분산 - 동일 key를 이용하여 서로 다른 column 저장

- 수평 파티셔닝은 Sharding 과 동일한 개념으로 사용

 

     III. DB 파티셔닝의 분할 기준

  1. DB 파티셔닝 분할 기준 종류

- 동일한 논리적 속성을 가지며, 분할 하기 위해 Column값, Partitioning Key, 복합 Partitioning 방식으로 분할

 

  1. DB 파티셔닝의 분할 기준 상세 설명
파티셔닝기준 파티셔닝 종류 상세 설명
Column 값 기준 Range Partition - Logical 한 Column 값의 분산에 활용
- month, 분기 등 범위 값

List Partition - 유사한 분포의 값의 분산에 활용
파티셔닝 Key 기준 Hash Partition - Partition Key값에 Hash 함수를 적용하여 분할
복합 파티셔닝 Range-Hash Partition - Range 방식과 Hash 방식의 Hybrid
- Range 방식 파티셔닝, 파티션 내부 해시방식

Range-List Partition - Range 방식과 List 방식의 Hybrid
- Range 방식 파티셔닝, 파티션 내부 List 방식

- 동일한 논리적 속성을 가지며, 분할 하기 위해 Column값, Partitioning Key, 복합 Partitioning 방식으로 분할

 

Ⅳ. DB 파티셔닝과 분산 DB

항목 파티셔닝 분산DB
개념 - 대용량 데이터를 동일한 논리적 속성을 가진 테이블로 분할하는 기법 - 다수의 물리적인 DB를 하나의 논리적 DB로 연결하고 관리하는 DB의 한종류
물리적 DB 수 1대 여러대
목적 - 대용량 테이블 처리
- 성능향		 - 데이터 분산 저장
- 고가용성 확보

- 대용량 데이터의 필요성 증가로 인해, 효율적으로 저장하고 관리하기 위한 다양한 기법 및 기술이 등장

 

[참고] DB Table partitioning 의 유형

유형 개념도 설명
레인지 파티셔닝
(Range Partitioning)
-파티션 키 값의 범위로 분할
-가장 일반적인 형태로 일정 범위를 주어 분할 하는 기법
리스트 파티셔닝
(List Partitioning)
-불연속적인 값의 목록 을 각 파티션에 지정
-순와 연관성이 없는 데 이터의 그룹핑
해시 파티셔닝
(Hash Partitioning)
-파티션 키 값에 해시 함수 적용, 해쉬테이블로 파티션 매핑
-데이터가 모든 파티션 에 고르게 분산
-병렬 처리시 성능 향상
결합파티셔닝 (Composite Partitioning)
-레인지 파시셔닝 후 각 파티션내에서 해쉬, 혹은 리스트 기법으로 서브 파 티션 구성
-각 기법의 장점 결합 가능
Reference
파티션
부모 테이블 파티션 키를 이용해 자식 테이블을 파티셔닝 하는기능
Interval
파티셔닝
Range 파티션을 생 성할 때 interval, 기 준을 정의함으로써 정해진 간격으로

- 최근 다양한 결합 파티셔닝이 가능 해지면서 Range-Range , 리스트-해시, 리스트-리스트, 리스트-Range 기법들과 함께 Reference 파티션, Interval 파티셔닝 기법도 추가됨

 

 

반응형
저작자표시 비영리 변경금지

'정보관리기술사 > DB_데이터분석' 카테고리의 다른 글

공공데이터  (0) 2023.08.30
New SQL  (0) 2023.08.29
샤딩(Sharding) / Shard  (0) 2023.08.27
Hadoop 3.0  (0) 2023.08.26
HDFS(Hadoop Distributed File System)  (0) 2023.08.25
중 샤딩(Sharding) / Shard [정의] 물리적으로다른 DB에샤드라는개별파티션으로수평분할방식으로분산저장하고조회하는방법
[장점] 성능개선, 신뢰성개선, 위치추상화, 대량DB처리
[분할방법] Vertical Partitioning, Range based Partitioning, Key or Hash Based Partitioning, Directory Based Partitioning		 샤드
수범키디




토픽 이름 (중) 샤딩(Sharding) / Shard
분류 DB > Data 관리 및 운영 > 샤딩(Sharding) / Shard
키워드(암기) 샤드, 라우팅프로세스, 수평분할, 분산저장
암기법(해당경우)  

 

기출문제

번호 문제 회차
1 대용량 데이터 처리를 위한 Sharding에 대하여 설명하시오 102.관리.1.4
2 데이터베이스의 전체 시스템 부하 증가시에도 서비스의 품질을 유지시키는 기능이 바로 확장성(Scalability)이다. 확장성에 관한 다음 질문에 대하여 설명하시오.
가. Scale-out, Scale-up 비교
나. Horizontal scale-out, Vertical scale-out 비교
다. Sharding, Query-off loading 비교		 2017.01.관리.2.3
3 데이터베이스에서 성능 향상을 위한 샤딩(Sharding), 파티셔닝(Partitioning) 기법과 가용성을 위한 리플리케이션 Replication)과 쿼리 오프로딩(Query offloading)기법에 대해 설명하시오. 2018.11.관리.3.6

 

I. 대용량 데이터 처리를 위한 데이터베이스 파티셔닝 기술, Sharding의 개념

가. Sharding의 정의

- DBMS 레벨에서 데이터를 나누는 것이 아니고 물리적으로 다른 데이터베이스에 데이터를 샤드(Shard)라고 부르는 각각의 개별 파티션으로 수평 분할 방식으로 분산 저장하고 조회하는 방법

나. Sharding의 장점

장점 설명
성능 개선 큰 데이터를 압축, 개별 테이블은 각 샤드에서 더 빠른 작업을 지원
신뢰성 개선 한 샤드가 실패하더라도 다른 샤드는 데이터 서비스를 제공
위치 추상화 애플리케이션 서버에서 어떤 데이터가 어떤 데이터베이스에 위치한지 알 필요가 없음

다. Sharding의 개념도(몽고DB 사례)


 - 샤드 키로 설정된 칼럼의 범위를 기반으로 각각의 값에 맞는 샤드에 저장
- 어플리케이션 레이어에서는 MongoS라는 라우팅 프로세스만 연결하므로 Shard의 구조에 대해서는 알 필요도 없고, 구조변경에 따른 수정도 필요 없음

II. Sharding의 데이터베이스 분할 방법과 샤딩 적용시 가이드라인

  1. Sharding의 데이터베이스 분할방법
방법 설명 사례/특징
Vertical Partitioning -테이블 별로 서버를 분할하는 방식
-구현 간단. 전체 시스템에 큰 변화 필요 없음. 각 서버 데이터 거대해지면 추가 샤딩 필요		 -사용자 프로필정보용 서버, 사용자 친구리스트용 서버, 사용자가 만든 콘텐츠용 서버 등으로 분할하는 방식
Range based Partitioning -하나의 feature나 table이 점점 거대해지는 경우 서버를 분리하는 방식
-데이터를 분할하는 방법이 예측 가능해야 함		 -사용자가 많은 경우 사용자의 지역정보를 이용해서 user 별로 서버를 분리하거나, 일정데이터라면 연도별로 분리, 거래정보라면 우편번호를 이용하는 방식
Key or Hash Based Partitioning -엔티티를 해쉬 함수에 넣어서 나오는 값을 이용해서 서버를 정하는 방식
-해쉬 결과 데이터가 균등하게 분포되도록 해쉬함수를 정하는 게 중요 		-예) 사용자ID가 숫자일 경우 나머지연산을 이용하는 방법
Directory Based Partitioning -파티셔닝 메커니즘을 제공하는 추상화된 서비스를 생성 -샤드키를 look-up 할 수 있으면 되므로, 구현은 DB와 캐쉬를 적절히 조합해서 만들 수 있음
  1. 샤딩 적용 시 가이드라인
구분 가이드라인 주요 내용
DB 설계
가이드라인		 데이터 재분배 서비스 정지 없이 scale-up 할 수 있어야 함

조인 Sharding-DB 간에 조인이 불가능 하기에 처음부터 역정규화도 고려해야 함

파티션 샤드 해쉬 함수 설계가 중요

데이터는 작게 Table의 단위를 가능한 작게 만들어야 함
응용 설계
가이드라인		 트랜잭션 Global Transaction을 사용하면 shard DB간의 트랜잭션도 가능

Global Unique Key DBMS 에서 제공하는 auto-increment를 사용하면 key가 중복될 수 있기 때문에, 어플리케이션 레벨에서 GUID를 생성해야 함

III. 일반 데이터베이스와 샤딩 적용 데이터베이스의 비교

방법 일반 데이터 샤딩
개념 데이터 및 정보 관리 기술 테라 단위의 데이터 관리 기술
구성도


유형 Clustering ,HA, Vertical,  range based, key hash, directory based
특징 - 데이터의 효율적 관리 기술 대량 데이터 처리를 위한 파티셔닝 기술 구현
빅데이터 활용 기술로 주목받고 있음.










반응형
저작자표시 비영리 변경금지

'정보관리기술사 > DB_데이터분석' 카테고리의 다른 글

New SQL  (0) 2023.08.29
DB Table partitioning  (2) 2023.08.28
Hadoop 3.0  (0) 2023.08.26
HDFS(Hadoop Distributed File System)  (0) 2023.08.25
Big Data 보안  (0) 2023.08.24

+ Recent posts

티스토리툴바