Daily IT Study

AWS

• S3: 지역(Region)별로 있는 저장소에 접속하는 개념

• (서울: ap-northeast-2 처럼 버킷이 등록된 고유 Region이 있음)

• Bucket: S3상 저장하고 싶은 디렉토리

• 버킷을 만들면, 내가 만든 버킷에 접속 할 수 있는 권한을 부여한 Accesskey SecretKey를 생성할 수 있음

• AccessKey, SecretKey가 있다고 해서 모든 버킷 내부 디렉토리에 들어 갈 수 있는것이 아니라, 추가적인 접근을 허가해주어야 함

AWS S3에서 파일 다운로드

• 대중적으로 많이 사용하는 데이터 파일 확장자(Extention)은 “.csv”, “.parquet” 이 많이 사용됨.

• 관리자는 확장자에 따라서 접속한 사용자에게 다운로드 권한을 부여할 수 있음.

• 파일을 다운로드 받는 방법은 터미널에서 awscli를 사용하는 방법이 가장 단순함

boto3 다운로드

• boto3은 파이썬 코드를 사용해서 다운로드/업로드 하기 위해서 사용

pip3 install boto3

awscli 다운로드

• awscli를 다운로드 하고 터미널 접속

pip3 install awscli

# 접속 및 정보등록
aws configure

AWS Access Key ID [None]: "액세스 키 입력"
AWS Secret Access Key [None]: "시크릿 키 입력"
Default region name [None]: ap-northeast-2
Default output format [None]: json

# Accesskey, Secretkey 확인
aws configure list

aws s3 디렉토리 확인

• 파일 확장자명을 살벼보면 “.parquet”, “.csv” 등 다양한 파일들이 업로드되어 있음

# 파일 디렉토리 확인
aws s3 ls

# 세부 오브젝트 확인
aws s3 ls "Bucket Name"

s3 저장소에서 파일 다운로드/업로드 하기

• 터미널에서 간단하게 다운로드하는 방법

• 로컬 디렉토리에 폴더가 생성되어 있지 않아도 다운로드 하면서 생성됨

• 폴더까지만 쓰면 하위 파일이 모두 다운로드 됨.

• sync, cp를 사용하여 다운로드 가능

• 폴더 전체를 내려받을 때 sync, 파일 하나만 받을때 cp

• 접속 거부 상태에서는 403에러가 발생

• s3://쓸 때 s 대문자로 쓰면 에러발생

Download

aws s3 sync s3://BucketName/ Download Path --request-payer requester
aws s3 cp s3://BucketName/ Download Path

Upload

aws s3 sync Upload Path s3://BucketName/ --request-payer requester

AWS s3 ID 확인방법

• 간단히 확인 가능, 기본적으로는 s3 객체는 해당 객체를 업로드한 AWS 계정의 소유임

• ID가 일치하지 않는 경우에는 사용자가 객체를 소유하고 있지 않은 것임

#버킷리스트 확인
aws s3api list-buckets

#Owner id 확인
aws s3api list-buckets --query Owner.ID

#세부항목들의 Owner id 확인 방법
aws s3api list-objects --bucket BucketName --prefix prefix

# 계정 조회
aws sts get-caller-identity