Что такое Amazon S3

Amazon Simple Storage Service (Amazon S3) - это сервис объектного хранилища, который предлагает лучшую в отрасли масштабируемость, доступность данных, безопасность и производительность. Клиенты всех размеров и отраслей могут использовать Amazon S3 для хранения и защиты любого объема данных в различных сценариях использования, таких как озера данных, веб-сайты, мобильные приложения, резервное копирование и восстановление, архивирование, корпоративные приложения, устройства IoT и большие данные аналитики. Amazon S3 предоставляет функции управления, позволяющие оптимизировать, систематизировать и настраивать доступ к своим данным в соответствии с конкретными бизнес-требованиями, организационными и нормативными требованиями.

Особенности Amazon S3

Классы хранения

Amazon S3 предлагает ряд классов хранилищ, предназначенных для различных сценариев использования. Например, вы можете хранить критически важные производственные данные в S3 Standard для частого доступа, сократить расходы за счет хранения редко используемых данных в S3 Standard-IA или S3 One Zone-IA, а также архивировать данные с наименьшими затратами в S3 Glacier и S3 Glacier Deep Archive.

Вы можете хранить данные с изменяющимися или неизвестными шаблонами доступа в S3 Intelligent-Tiering, который оптимизирует затраты на хранение за счет автоматического перемещения данных между четырьмя уровнями доступа при изменении шаблонов доступа. Эти четыре уровня доступа включают два уровня доступа с малой задержкой, оптимизированные для частого и нечастого доступа, и два уровня доступа к архивам с подпиской, предназначенные для асинхронного доступа к редко используемым данным.

Управление хранилищем

Amazon S3 имеет функции управления хранилищем, которые можно использовать для управления расходами, соблюдения нормативных требований, уменьшения задержки и сохранения нескольких отдельных копий данных для соответствия требованиям.

S3 Lifecycle - настройте политику жизненного цикла для управления объектами и их экономичного хранения на протяжении всего их жизненного цикла. Вы можете перенести объекты в другие классы хранилища S3 или удалить объекты, срок жизни которых подошел к концу.
S3 Object Lock - предотвращение удаления или перезаписи объектов Amazon S3 в течение фиксированного или неопределенного времени. Вы можете использовать Object Lock, чтобы соответствовать нормативным требованиям, которые требуют хранилища с однократной записью и многократным чтением (write-once-read-many, WORM), или просто добавить еще один уровень защиты от изменений и удалений объектов.
S3 Replication - репликация объектов и их соответствующих метаданных и тегов объектов в один или несколько целевых сегментов в одном или разных регионах AWS для уменьшения задержки, соответствия требованиям, безопасности и других вариантов использования.
S3 Batch Operations - управляйте миллиардами объектов в любом масштабе с помощью одного запроса S3 API или нескольких щелчков мышью в консоли Amazon S3. Вы можете использовать пакетные операции для выполнения таких операций, как копирование, вызов функции AWS Lambda и восстановление для миллионов или миллиардов объектов.

Управление доступом

Amazon S3 предоставляет функции для аудита и управления доступом к вашим корзинам и объектам. По умолчанию корзины S3 и объекты в них являются частными. У вас есть доступ только к тем ресурсам S3, которые вы создаете. Чтобы предоставить детализированные разрешения на ресурсы, которые поддерживают ваш конкретный вариант использования, или для аудита разрешений ваших ресурсов Amazon S3, вы можете использовать следующие функции.

S3 Block Public Access - запретить общий доступ к корзинам и объектам S3. По умолчанию параметры блокировки общего доступа включены на уровне учетной записи и корзины.
AWS Identity and Access Management (IAM) - создайте пользователей IAM для своей учетной записи AWS, чтобы управлять доступом к вашим ресурсам Amazon S3. Например, вы можете использовать IAM с Amazon S3 для управления типом доступа пользователя или группы пользователей к корзине S3, принадлежащей вашей учетной записи AWS.
Bucket policies - используйте язык политик на основе IAM для настройки разрешений на основе ресурсов для корзин S3 и объектов в них.
Access control lists (ACL, Списки управления доступом). Предоставление разрешений на чтение и запись для отдельных корзин и объектов авторизованным пользователям. Как правило, рекомендуется использовать политики на основе ресурсов S3 (политики корзин и политики точек доступа) или политики IAM для управления доступом вместо списков контроля доступа. ACL - это механизм управления доступом, предшествующий ресурсным политикам и IAM.
Access Analyzer for S3 (Анализатор доступа для S3) - оценка и мониторинг политик доступа к корзине S3, гарантируя, что политики предоставляют только предполагаемый доступ к вашим ресурсам S3.

Обработка данных

Чтобы преобразовать данные и запустить рабочие процессы для автоматизации множества других операций обработки в нужном масштабе, вы можете использовать следующие функции.

S3 Object Lambda - добавьте свой собственный код в запросы S3 GET для изменения и обработки данных по мере их возврата в приложение. Фильтруйте строки, динамически изменяйте размер изображений, редактируйте конфиденциальные данные и многое другое.
Event notifications (Уведомления о событиях) - запускайте рабочие процессы, использующие Amazon Simple Notification Service (Amazon SNS), Amazon Simple Queue Service (Amazon SQS) и AWS Lambda при изменении ваших ресурсов S3.

Ведение журнала и мониторинг

Amazon S3 предоставляет инструменты ведения журналов и мониторинга, которые можно использовать для отслеживания и контроля использования ресурсов Amazon S3.

Инструменты автоматизированного мониторинга

Метрики Amazon CloudWatch для Amazon S3 - отслеживайте работоспособность ваших ресурсов S3 и настраивайте уведомления о выставлении счетов, когда расчетные расходы достигают определенного пользователем порога.
AWS CloudTrail - записывайте действия, предпринятые пользователем, ролью или сервисом AWS в Amazon S3. Журналы CloudTrail предоставляют подробное отслеживание API для операций на уровне корзины и объекта S3.

Инструменты ручного мониторинга

Ведение журнала доступа к серверу (Server access logging) - получайте подробные записи о запросах, сделанных к корзине. Вы можете использовать журналы доступа к серверу для многих случаев использования, таких как проведение аудита безопасности и доступа, изучение своей клиентской базы и понимание вашего счета за Amazon S3.
AWS Trusted Advisor - оцените свою учетную запись с помощью проверок передового опыта AWS, чтобы определить способы оптимизации инфраструктуры AWS, повышения безопасности и производительности, снижения затрат и отслеживания квот на обслуживание. Затем вы можете следовать рекомендациям по оптимизации своих услуг и ресурсов.

Аналитика и инсайты

Amazon S3 предлагает функции, которые помогут вам получить представление об использовании хранилища, что дает вам возможность лучше понимать, анализировать и оптимизировать хранилище в любом масштабе.

Amazon S3 Storage Lens - понимание, анализ и оптимизация хранилища. S3 Storage Lens предоставляет более 29 показателей использования и активности, а также интерактивные панели мониторинга для агрегирования данных для всей организации, конкретных учетных записей, регионов AWS, корзин или префиксов.
Анализ класса хранилища (Storage Class Analysis) - анализируйте шаблоны доступа к хранилищу, чтобы решить, когда пора переместить данные в более экономичный класс хранилища.
Инвентаризация S3 с отчетами инвентаризации (S3 Inventory with Inventory reports) - аудит и составление отчетов об объектах и их соответствующих метаданных, а также настройка других функций Amazon S3 для выполнения действий в отчетах инвентаризации. Например, вы можете сообщить о состоянии репликации и шифрования ваших объектов.

Надежная согласованность

Amazon S3 обеспечивает надежную согласованность операций чтения после записи для запросов PUT и DELETE объектов в вашей корзине Amazon S3 во всех регионах AWS. Это поведение применяется как к записи новых объектов, так и к запросам PUT, которые перезаписывают существующие объекты, и к запросам DELETE. Кроме того, операции чтения в Amazon S3 Select, списках управления доступом (ACL) Amazon S3, тегах объектов Amazon S3 и метаданных объекта (например, объекта HEAD) строго согласованы.

Поиск по этому блогу

Alex tools