Essai gratuit de 14 jours

Optimisation des coûts de stockage AWS : le playbook SRE pour gp3 et le cycle de vie S3

Réduisez vos coûts de stockage AWS de 35 %. Maîtrisez la migration gp2 vers gp3, les règles de cycle de vie S3 et le nettoyage des disques avec CostGlass.

Optimisation des coûts de stockage AWS : le playbook SRE pour gp3 et le cycle de vie S3
Figure 1: Architectural overview of Optimisation des coûts de stockage AWS : le playbook SRE pour gp3 et le cycle de vie S3.

Migrer les volumes Elastic Block Store (EBS) gp2 existants vers gp3 et mettre en place des transitions de cycle de vie précises sur Simple Storage Service (S3) permet de réduire immédiatement les dépenses de stockage de 20 % à 50 %. Pourtant, comme les ressources de stockage s'accumulent progressivement sur des centaines de comptes de développement, ces opportunités sont fréquemment négligées jusqu'à ce qu'elles représentent une part majeure de la facture cloud.

Ce guide détaille les mécanismes techniques précis de l'optimisation d'EBS et de S3, fournit des étapes concrètes de remédiation et explique comment traduire les actions d'ingénierie en un impact tangible sur la marge brute, prêt pour le comité de direction.

Le coût réel de l'inertie du stockage

Contrairement aux instances de calcul, qui peuvent être planifiées ou arrêtées, le stockage est persistant. Il engendre des coûts 24h/24 et 365 jours par an, que les machines virtuelles associées soient en cours d'exécution ou inactives.

Dans de nombreux environnements AWS matures, trois principaux anti-patterns architecturaux entraînent le gaspillage du stockage :

  1. Volumes gp2 surdimensionnés : L'utilisation de volumes gp2 historiques où les opérations d'entrée/sortie par seconde (IOPS) et le débit sont artificiellement liés à la taille du disque, contraignant les équipes à allouer des gigaoctets superflus uniquement pour atteindre les objectifs de performance.
  2. Volumes EBS et snapshots orphelins : La conservation des volumes de stockage en mode bloc après la suppression de leurs instances EC2 hôtes, ou le maintien indéfini de snapshots de sauvegarde quotidiens sans politique de rotation.
  3. Mauvaise gestion des classes de stockage S3 : Le stockage de pétaoctets de logs historiques, de sauvegardes brutes de bases de données ou de données analytiques temporaires dans S3 Standard pour une durée indéterminée, au lieu de les basculer vers Glacier ou Intelligent-Tiering.

En s'attaquant méthodiquement à ces aspects, les ingénieurs de plateformes peuvent récupérer des milliers de dollars de dépenses cloud mensuelles gaspillées.


EBS gp2 vs gp3 : performances et équations financières

En 2020, AWS a introduit gp3 pour découpler les performances de stockage de la capacité. Avec gp2, les volumes bénéficient d'une performance de référence de 3 IOPS par Go, jusqu'à un maximum de 16 000. Si une application requiert 3 000 IOPS, les ingénieurs sont contraints de provisionner un volume de 1 000 Go, même si un espace de stockage réel de 50 Go leur suffit.

À l'inverse, gp3 offre un socle standard de 3 000 IOPS et 125 Mo/s de débit inclus dans le prix de base du stockage, de manière totalement indépendante de la taille du volume. Vous pouvez ainsi provisionner un volume de 10 Go tout en conservant 3 000 IOPS.

Comparatif des coûts unitaires

Métrique Volume gp2 (Référence) Volume gp3 (Optimisé) Économies nettes
Coût de stockage par Go-mois 0,10 $ 0,08 $ Réduction de 20 %
IOPS de référence inclus 3 IOPS par Go (min 100, max 16k) 3 000 (quelle que soit la taille du volume) Performance sans surcoût
Débit de référence inclus N/A (lié à la taille du volume) 125 Mo/s (quelle que soit la taille) Performance sans surcoût
Coût pour 10 To (3 000 IOPS) 1 000,00 $ 800,00 $ 200,00 $ (20 % économisés)
Coût pour 100 Go (10 000 IOPS) 1 000,00 $ (taille imposée de 3 333 Go) 138,00 $ (8,00 $ stockage + 130,00 $ IOPS) 862,00 $ (86,2 % économisés)

Exécuter des migrations gp2 vers gp3 à chaud

Les volumes EBS peuvent être modifiés à la volée, sans détacher le volume ni redémarrer l'instance. AWS Elastic Volumes prend en charge la transition en arrière-plan sans aucune interruption de service. Les SRE peuvent exécuter cette modification via l'AWS CLI :

aws ec2 modify-volume \
  --volume-id vol-0123456789abcdef0 \
  --volume-type gp3 \
  --iops 3000 \
  --throughput 125

Pour exécuter cette migration en toute sécurité à grande échelle, les équipes de plateforme doivent privilégier Terraform. Cela garantit que votre infrastructure as code (IaC) reste synchronisée avec votre environnement cloud réel, évitant ainsi toute dérive de configuration :

resource "aws_instance" "app_server" {
  ami           = "ami-0c55b159cbfafe1f0"
  instance_type = "m7g.xlarge"

  root_block_device {
    volume_type           = "gp3"
    volume_size           = 100
    iops                  = 3000
    throughput            = 125
    delete_on_termination = true
  }
}

Ingénierie du cycle de vie S3 et d'Intelligent-Tiering

Amazon S3 semble très économique à 0,023 $ par Go-mois pour le niveau Standard. Cependant, lorsque le volume de données atteint des centaines de téraoctets, la facture S3 devient une part prépondérante du coût de revient des ventes (COGS).

Comprendre les classes de stockage S3

  • S3 Standard (0,023 $/Go) : Conçu pour les données actives et fréquemment consultées.
  • S3 Standard-IA (0,0125 $/Go) : Pour les données consultées moins d'une fois par mois, mais exigeant un accès en quelques millisecondes. Attention aux frais de récupération (0,01 $ par Go).
  • S3 Glacier Instant Retrieval (0,004 $/Go) : Idéal pour les dossiers médicaux ou les archives médias consultés une ou deux fois par an, avec un temps d'accès instantané.
  • S3 Glacier Deep Archive (0,00099 $/Go) : La classe la plus économique, conçue pour les sauvegardes de conformité réglementaire sur plusieurs années, avec un délai de récupération de 12 heures.

Le piège des frais de transition S3

Les SRE définissent souvent des règles de cycle de vie agressives pour déplacer des objets vers Glacier sans évaluer les coûts de transition. AWS facture des frais de requête de transition par millier d'objets (entre 0,03 $ et 0,05 $ selon la classe de destination).

Si vous disposez de 10 millions de petits fichiers (chacun inférieur à 100 Ko) dans un bucket S3, leur migration vers Glacier Deep Archive coûte 500 $ rien qu'en requêtes d'API, tandis que les économies mensuelles de stockage pourraient n'être que de 5 $.

Règle empirique : Ne transférez vers les classes froides que les objets volumineux (> 1 Mo), ou regroupez les petits fichiers dans des archives compressées plus volumineuses avant leur envoi.

Implémentation de S3 Intelligent-Tiering

Pour les buckets aux profils d'accès imprévisibles, S3 Intelligent-Tiering déplace automatiquement les objets entre les niveaux d'accès fréquent, peu fréquent et d'archivage en fonction de l'historique d'utilisation. Il n'applique aucun frais de récupération, seulement de faibles frais de surveillance de 0,0025 $ par millier d'objets (pour les fichiers de plus de 128 Ko).

Voici la commande AWS CLI pour appliquer une configuration Intelligent-Tiering à un bucket S3 existant :

aws s3api put-bucket-lifecycle-configuration \
  --bucket my-production-data-lake \
  --lifecycle-configuration '{
    "Rules": [
      {
        "ID": "AutoTieringRule",
        "Status": "Enabled",
        "Filter": {
          "Prefix": ""
        },
        "Transitions": [
          {
            "Days": 0,
            "StorageClass": "INTELLIGENT_TIERING"
          }
        ]
      }
    ]
  }'

Le piège du « Build vs Buy » dans la gouvernance du stockage

Pour maîtriser les coûts de stockage, de nombreuses organisations d'ingénierie tentent de concevoir leurs propres pipelines d'automatisation internes. Généralement, cela consiste à développer des scripts Python exécutés chaque nuit via des fonctions AWS Lambda pour interroger l'API EC2, identifier les volumes EBS non attachés, repérer les anciens snapshots et alerter les équipes via Slack.

Cette approche artisanale s'essouffle presque systématiquement avec le temps :

  • Charge de maintenance : Les schémas d'API évoluent, les scripts tombent en panne et les SRE consacrent de précieuses heures d'ingénierie à maintenir des tableaux de bord internes plutôt qu'à développer les fonctionnalités clés du produit.
  • Fatigue d'alerte : Les notifications Slack brutes listant des centaines de disques non attachés sont ignorées par les équipes de développement surchargées, laissant le gaspillage s'installer.
  • Absence de visibilité unifiée multi-cloud : Si votre entreprise utilise également Azure Managed Disks ou Google Cloud Persistent Disks, les SRE doivent concevoir et maintenir des scripts distincts et complexes pour chaque fournisseur cloud.

Comment CostGlass élimine le gaspillage de stockage prêt à l'emploi

Plutôt que d'épuiser vos ressources d'ingénierie internes à créer des outils de suivi instables, CostGlass se connecte à vos environnements AWS, Azure et Google Cloud en cinq minutes à l'aide de rôles IAM sécurisés en lecture seule.

CostGlass identifie et agrège immédiatement le gaspillage de stockage sur l'ensemble de votre empreinte multi-cloud :

  1. Détection des volumes inactifs : Identifie les volumes EBS, les disques managés Azure et les disques persistants GCP non attachés, en chiffrant précisément les montants gaspillés par le stockage orphelin.
  2. Recommandations de dimensionnement de gp2 vers gp3 : Analyse l'ensemble des volumes EBS actifs, calcule les économies potentielles liées à la migration vers gp3 et génère les commandes exactes pour Terraform ou l'AWS CLI afin de réaliser la migration.
  3. Analyse des buckets S3 : Visualise les tendances de croissance du stockage et identifie les buckets qui constituent d'excellents candidats pour S3 Intelligent-Tiering ou pour des règles de transition Glacier.

De plus, avec le forfait Scale (1 499 $/mois), vous n'avez même pas besoin d'écrire le code de remédiation vous-même. CostGlass inclut 8 heures par mois dédiées d'ingénieurs seniors DevOps et SRE. Nos ingénieurs rédigent les pull requests Terraform, configurent les politiques de cycle de vie S3 et nettoient les volumes orphelins à votre place, offrant un retour sur investissement immédiat sans mobiliser votre équipe produit principale.


Workflow de remédiation du stockage étape par étape avec CostGlass

Pour éliminer méthodiquement le gaspillage de stockage au sein de votre organisation, suivez ce workflow en trois étapes avec CostGlass :

Étape 1 : Isoler les dépenses de stockage dans Cost Explorer

Connectez-vous à votre compte CostGlass et accédez au Cost Explorer. Filtrez votre registre multi-cloud par Service (par exemple, AmazonEC2 et AmazonS3) et regroupez par UsageType ou Resource ID. Cela met en évidence les volumes et buckets précis à l'origine de vos coûts de stockage.

Étape 2 : Examiner les recommandations de dimensionnement

Rendez-vous sur le Rightsizing Playbook pour consulter la liste priorisée des volumes inactifs et des candidats à la migration de gp2 vers gp3. CostGlass calcule les économies mensuelles exactes pour chaque ressource, en intégrant les configurations d'IOPS et de débit afin de prévenir toute dégradation de performance.

Étape 3 : Valider l'exécution

Si vous bénéficiez du plan Scale ou Enterprise, sélectionnez les recommandations validées dans votre tableau de bord. Votre SRE CostGlass dédié prendra en charge les tâches, produira le code Terraform nécessaire et se coordonnera avec votre équipe pour déployer les mises à jour en toute sécurité pendant vos fenêtres de maintenance habituelles.


Foire aux questions

La migration de gp2 vers gp3 entraîne-t-elle une interruption de service pour l'application ?

Non. AWS Elastic Volumes vous permet de modifier le type de volume, sa taille et ses IOPS sur des volumes EBS actifs lorsqu'ils sont rattachés à des instances en cours d'exécution, sans interruption d'activité. Toutefois, les performances du volume peuvent être légèrement réduites pendant l'état de modification ; nous préconisons donc d'exécuter les migrations pendant les heures creuses.

Existe-t-il des scénarios où gp2 est moins cher que gp3 ?

Non. À 0,08 $ par Go-mois, le stockage gp3 est systématiquement 20 % moins cher que gp2 (0,10 $ par Go-mois). Le seul cas particulier concerne le provisionnement d'IOPS très élevés (> 3 000) et d'un débit très important (> 125 Mo/s) sur de très petits volumes, où le coût des performances additionnelles de gp3 pourrait théoriquement dépasser le coût de base. Le moteur de recommandations de CostGlass détecte automatiquement ces cas raréfies et ne suggère que les migrations garantissant des économies nettes positives.

Comment S3 Intelligent-Tiering gère-t-il l'archivage profond ?

S3 Intelligent-Tiering comprend deux niveaux d'accès aux archives configurables : Archive Access (90 jours d'inactivité) et Deep Archive Access (180 jours d'inactivité). Une fois activés, les objets sont automatiquement basculés vers ces paliers à coût ultra-faible, alignés sur les tarifs de Glacier et Glacier Deep Archive, tout en garantissant une récupération automatisée dès que les données sont sollicitées.

Prêt à ne plus subir la taxe sur le stockage hérité ? Découvrez comment automatiser le nettoyage du stockage et les migrations gp3 en consultant notre Savings Playbook. Pour comparer les tarifs forfaitaires de CostGlass aux outils facturés au pourcentage des dépenses, consultez notre comparatif CostGlass vs CloudZero. Pour une tarification forfaitaire transparente débutant à 0 $, découvrez la tarification CostGlass.

Ready to unify your multi-cloud costs?

See your AWS, Azure, GCP, and Kubernetes spend in canonical FOCUS 1.0 in under 15 minutes.

Start 14-day free trial →

Plus d’articles

Tout voir →