Chapter.02 데이터 엔지니어링이란?-01. Job Description으로 살펴보는 Data Engineering

💡

Data Engineering : 빅데이터 수집, 가공하는 모든 시스템을 구축/관리하는 과정 또는 작업

• 대용량 데이터 처리를 위한 Database(DB)를 관리하는 작업

• Database란, 데이터를 효율적으로 저장/관리하기 위한 시스템

• 회사/기관이 운영하는 서비스에서 발생하는 모든 데이터를 데이터베이스로 효과적으로 관리하기 위해서 모든 시스템을 운영한다.

• 주로 Hadoop, Ecosystem과 관련이 깊다.

• 하나의 확정된 개념은 아니다. → 그래서 단체/기관마다 정의하는 Data Engineering의 개념이 약간씩 다르다.

• Data Engineering을 업으로 삼는 사람들이 Data Engineer 이다. 그들이 하는 일들을 살펴보면 Data Engineering이 어떤 일인지 조금 더 알 수 있다.

• 각 회사들이 정의하는 Data Engineer들의 역할을 살펴보면서 Data Engineering은 어떤 것들로 구성되어 있는지 확인해보자!

Job Description

1. Amazon

Data Engineer, AWS Data Platform

Each day, thousands of developers make trillions of transactions worldwide on our cloud. Almost all of them are harnessing the power of Amazon Web Services (AWS) to enable innovative applications, websites, and businesses. We store all these transactions for analysis and reporting.Amazon Web Services is seeking an outstanding Data Engineer to join the AWS Data Lake team.

https://www.amazon.jobs/en/jobs/1446001/data-engineer-aws-data-platform

2. Kakao

카카오 영입

데이터로 할 수 있는 일이라면 분야/서비스에 제한을 두지 않고 진행하는 조직입니다.카카오의 여러 서비스에서 만들어지는 데이터를 기반으로 다양한 관점에서 분석 및 모델링을 수행함으로써, 보다 많은 서비스에서 데이터 기반 지식들을 활용할 수 있도록 지원합니다.자유로운 분위기 속에서 새로운 기술이나 아이디어를 탐구하고 실험해 볼 수 있습니다.

https://careers.kakao.com/jobs/P-11888?page=6

3. 두나무

[두나무(업비트/증권플러스)] 데이터 (Data) 엔지니어 채용 | 원티드

두나무(업비트/증권플러스)에 지원하고 합격하면 보상금 50만원

https://www.wanted.co.kr/wd/92730

요약

• 데이터 엔지니어 포지션 역시 비슷한 역량을 요구했다.

• 역량들

  • Hadoop Ecosystem

  • Spark / Hive

  • 대용량 데이터 처리 경험

  • 데이터 파이프라인 설계

  • Python / C++ / Java / Scala

  • 대용량 데이터 전처리

  • CS 지식 (자료구조, 알고리즘, 운영체제, 데이터베이스, 네트워크, 컴퓨터구조, 오토마타/프로그래밍 언어론/컴파일러)

• 대용량 데이터를 처리하는 시스템을 만드는 역할 = Data Engineer

• 대용량 데이터를 효과적으로 처리하는 것이 중요하다.

---

Hands-on

1. 여러분들이 생각하는 좋은 기업의 Data Engineer JD를 2가지 찾아서 아래에 정리해보세요.

2. 찾은 2가지의 JD에서 요구하는 사항이 위에 요약에서 정리한 사항과 비슷한지 비교해보세요.

3. 위의 JD들을 보면서 몰랐던 용어들을 모두 적어보세요. (나중에 이 강의가 끝나고 다 알게되었는지 체크해보면 좋겠죠?)

Uploaded by N2T