728x90
반응형
AWS
- S3: 지역(Region)별로 있는 저장소에 접속하는 개념
- (서울: ap-northeast-2 처럼 버킷이 등록된 고유 Region이 있음)
- Bucket: S3상 저장하고 싶은 디렉토리
- 버킷을 만들면, 내가 만든 버킷에 접속 할 수 있는 권한을 부여한 Accesskey SecretKey를 생성할 수 있음
- AccessKey, SecretKey가 있다고 해서 모든 버킷 내부 디렉토리에 들어 갈 수 있는것이 아니라, 추가적인 접근을 허가해주어야 함
AWS S3에서 파일 다운로드
- 대중적으로 많이 사용하는 데이터 파일 확장자(Extention)은 “.csv”, “.parquet” 이 많이 사용됨.
- 관리자는 확장자에 따라서 접속한 사용자에게 다운로드 권한을 부여할 수 있음.
- 파일을 다운로드 받는 방법은 터미널에서 awscli를 사용하는 방법이 가장 단순함
boto3 다운로드
- boto3은 파이썬 코드를 사용해서 다운로드/업로드 하기 위해서 사용
pip3 install boto3
awscli 다운로드
- awscli를 다운로드 하고 터미널 접속
pip3 install awscli
# 접속 및 정보등록
aws configure
AWS Access Key ID [None]: "액세스 키 입력"
AWS Secret Access Key [None]: "시크릿 키 입력"
Default region name [None]: ap-northeast-2
Default output format [None]: json
# Accesskey, Secretkey 확인
aws configure list
aws s3 디렉토리 확인
- 파일 확장자명을 살벼보면 “.parquet”, “.csv” 등 다양한 파일들이 업로드되어 있음
# 파일 디렉토리 확인
aws s3 ls
# 세부 오브젝트 확인
aws s3 ls "Bucket Name"
s3 저장소에서 파일 다운로드/업로드 하기
- 터미널에서 간단하게 다운로드하는 방법
- 로컬 디렉토리에 폴더가 생성되어 있지 않아도 다운로드 하면서 생성됨
- 폴더까지만 쓰면 하위 파일이 모두 다운로드 됨.
- sync, cp를 사용하여 다운로드 가능
- 폴더 전체를 내려받을 때 sync, 파일 하나만 받을때 cp
- 접속 거부 상태에서는 403에러가 발생
- s3://쓸 때 s 대문자로 쓰면 에러발생
Download
aws s3 sync s3://BucketName/ Download Path --request-payer requester
aws s3 cp s3://BucketName/ Download Path
Upload
aws s3 sync Upload Path s3://BucketName/ --request-payer requester
AWS s3 ID 확인방법
- 간단히 확인 가능, 기본적으로는 s3 객체는 해당 객체를 업로드한 AWS 계정의 소유임
- ID가 일치하지 않는 경우에는 사용자가 객체를 소유하고 있지 않은 것임
#버킷리스트 확인
aws s3api list-buckets
#Owner id 확인
aws s3api list-buckets --query Owner.ID
#세부항목들의 Owner id 확인 방법
aws s3api list-objects --bucket BucketName --prefix prefix
# 계정 조회
aws sts get-caller-identity
728x90
반응형
'AI Study > AI.etc' 카테고리의 다른 글
Edge AI 정의 및 시장동향 (0) | 2022.02.28 |
---|---|
라벨링(Labeling) VS 어노테이션(Annotation) (0) | 2022.02.08 |