Скачать объекты S3 с Python и Boto 3
В этом посте мы покажем примеры того, как загружать файлы и изображения из корзины aws S3 с использованием библиотеки Python и Boto 3.
Boto - это AWS SDK для Python. Он предоставляет простые в использовании функции, которые могут взаимодействовать с сервисами AWS, такими как корзины EC2 и S3.
Загрузить объекты S3 с помощью Python и Boto 3
В следующем примере мы загружаем один файл из указанной корзины S3.
Сначала мы должны создать клиента S3, используя boto3.client(s3).
import boto3 BUCKET_NAME = 'my_s3_bucket' BUCKET_FILE_NAME = 'my_file.json' LOCAL_FILE_NAME = 'downloaded.json' def download_s3_file():
s3 = boto3.client('s3')
s3.download_file(BUCKET_NAME, BUCKET_FILE_NAME, LOCAL_FILE_NAME) download_file метод принимает три параметра:
Первый параметр - это имя сегмента в S3. Второй - это файл (имя и расширение), который мы хотим загрузить, а третий параметр - это имя файла, который мы хотим сохранить как.
Загрузить все объекты S3 в указанном сегменте
В следующем примере мы загружаем все объекты в указанную корзину S3.
Фрагмент кода предполагает, что файлы находятся непосредственно в корне корзины, а не в подпапке.
import boto3 def download_all_files():
#initiate s3 resource
s3 = boto3.resource('s3')
# select bucket
my_bucket = s3.Bucket('bucket_name')
# download file into current directory
for s3_object in my_bucket.objects.all():
filename = s3_object.key
my_bucket.download_file(s3_object.key, filename) Загрузить все объекты в сегменте подпапки S3
В следующем коде показано, как загружать файлы, которые находятся в подпапке в корзине S3.
Предположим, файлы находятся в следующей корзине и в следующем месте:
BUCKET_NAME = 'images'
PATH = pets/cats/
import boto3 import os def download_all_objects_in_folder():
s3_resource = boto3.resource('s3')
my_bucket = s3_resource.Bucket('images')
objects = my_bucket.objects.filter(Prefix='pets/cats/')
for obj in objects:
path, filename = os.path.split(obj.key)
my_bucket.download_file(obj.key, filename) 
