Chapter.02 데이터 엔지니어링이란?-04. Hadoop Ecosystem

💡

(Apache) Hadoop : High-Availability Distributed Object-Oriented Platform의 약자로 대용량 데이터를 분산처리할 수 있는 Java기반 프레임워크

Source : https://velog.io/@shinychan95/0323-2-Hadoop-Ecosystem

• Apache(아파치) 재단에서 관리하는 프리웨어인 Hadoop Project에서 만들어지는 모든 소프트웨어 솔루션들의 집합을 얘기한다.

• Hadoop은 HDFS라는 파일처리 시스템과 Yarn이라는 리소스 관리 시스템, MapReduce라는 대용량 처리 시스템을 기반으로 하는 프레임워크이다.

• 대용량 데이터를 효과적으로 처리할 것을 목적으로 하는 많은 소프트웨어들이 함께 있는 플랫폼 이라고 볼 수 있다.

HDFS (Hadoop Distributed File System)

Source : https://hadoop.apache.org/docs/r1.2.1/hdfs_design.html

• Hadoop에서 관리하는 모든 데이터를 저장/관리하는 시스템 (스토리지 관리)

• Namenode, Datanode로 데이터를 분산관리 한다.

• node : 컴퓨터 한 대 rack : Node 여러대를 물리적으로 묶어놓은 것, 같은 네트워크 스위치를 공유한다. cluster : 여러 rack을 물리적으로 묶은 것.

• Namenode는 실제 데이터가 어떤 Datanode에 저장되어 있는지를 관리하는 메타데이터를 관리하는 노드이다.

• Datanode엔 실제 데이터가 분산 저장된다. (replica들이 존재함)

YARN (Yet Another Resource Negotiator)

• Hadoop에서 처리되는 모든 리소스를 관리해주는 시스템.

• 어떤 요청이 어떤 클러스터에 할당되어야 하는지 관리한다.

• Resource Manager와 Node Manager가 리소스를 관리한다.

• Resource Manager는 각 Node Manager가 각 Node의 리소스를 얼마나 사용하는지를 관리한다.

• Node Manager는 각 Node를 관리하며, Node의 리소스를 관리한다. Resource Manager의 요청을 수행하는 역할이다.

• Client가 작업을 요청하면 Resource Manager가 Node Manager들을 관리하여 리소스를 할당하고, 작업을 수행한다.

MapReduce

• Hadoop에서 데이터를 분산 처리하는 방법 중에 하나이다. (가장 많이 쓰임)

• Map task와 Reduce task가 있다.

• Map task를 수행하는 노드를 Mapper, Reduce task를 수행하는 노드를 Reducer라고 한다.

Process

1. 전처리기가 Mapper가 일을 할 수 있는 형태로 데이터를 정의하여 Mapper들에게 전달한다.

2. Mapper는 처리해야하는 데이터를 Reducer가 연산할 수 있는 형태로 변환한다. (mapping)

3. Reducer에게 전달하기 전에 데이터를 기준에 맞게 Sort & Merge 한다. (Shuffring)

4. Reducer는 전달 받은 데이터에 요청한 연산을 수행한다. (Reducing = sum)

5. Reducer들이 처리한 데이터를 합친다.

요약

• Hadoop Ecosystem은 대용량 데이터를 처리하는 프로그램의 플랫폼(또는 집합체).

• HDFS, YARN, MapReduce 핵심 컨셉에 따라 실제 데이터를 처리한다.

• Hadoop Ecosystem에 있는 구성 프로그램들은 모두 오픈소스며, 대용량 데이터 처리를 위해서 기능별로 구현되고 있다.

---

Hands-on

1. HDFS에 대해서 정리된 블로그를 3개 읽고, 아카이빙해보세요.

2. YARN에 대해서 정리된 블로그를 3개 읽고, 아카이빙해보세요.

3. MapReduce에 대해서 정리된 블로그를 3개 읽고, 아카이빙해보세요.

Uploaded by N2T