14 Tage kostenlos testen

AWS-Speicherkostenoptimierung: Das SRE-Playbook für gp3 und S3-Lifecycle-Engineering

Senken Sie AWS-Speicherkosten um bis zu 35 %. Meistern Sie gp2-zu-gp3-Migrationen, S3-Lifecycle-Regeln und verwaiste Volumes mit CostGlass FinOps.

AWS-Speicherkostenoptimierung: Das SRE-Playbook für gp3 und S3-Lifecycle-Engineering
Figure 1: Architectural overview of AWS-Speicherkostenoptimierung: Das SRE-Playbook für gp3 und S3-Lifecycle-Engineering.

Die Migration älterer Elastic Block Store (EBS) gp2-Volumes zu gp3 und die Implementierung präziser Simple Storage Service (S3) Lifecycle-Übergänge können Speicherausgaben unmittelbar um 20 % bis 50 % senken. Da Speicherressourcen jedoch inkrementell über Hunderte von Entwicklerkonten hinweg anwachsen, werden diese Optimierungspotenziale häufig übersehen, bis sie einen erheblichen Teil der Cloud-Rechnung ausmachen.

Dieser Leitfaden beschreibt die technischen Mechanismen der EBS- und S3-Optimierung, liefert konkrete Schritte zur Behebung und erläutert, wie sich Engineering-Maßnahmen in eine messbare Steigerung der Bruttomarge für das Board übersetzen lassen.

Die wahren Kosten von Speicher-Inertia

Im Gegensatz zu Compute-Instanzen, die zeitgesteuert oder abgeschaltet werden können, ist Speicher persistent. Er verursacht 24 Stunden am Tag und 365 Tage im Jahr Kosten – unabhängig davon, ob die angeschlossenen virtuellen Maschinen aktiv sind oder im Leerlauf laufen.

In vielen gewachsenen AWS-Umgebungen treiben drei primäre architektonische Anti-Patterns die Speicherverschwendung:

  1. Überdimensionierte gp2-Volumes: Die Verwendung veralteter gp2-Volumes, bei denen Input/Output Operations Per Second (IOPS) und Durchsatz künstlich an die Festplattengröße gekoppelt sind. Dies zwingt Teams dazu, überschüssige Gigabytes einzukaufen, nur um Leistungsziele zu erreichen.
  2. Verwaiste EBS-Volumes und Snapshots: Das Beibehalten von Block-Storage-Volumes nach dem Beenden ihrer EC2-Host-Instanzen oder das unbegrenzte Aufbewahren täglicher Backup-Snapshots ohne Rotationsrichtlinie.
  3. Fehlkonfiguration von S3-Speicherklassen: Das dauerhafte Speichern von Petabytes an historischen Logs, rohen Datenbank-Backups oder transienten Analysedaten in S3 Standard, anstatt sie in Glacier oder Intelligent-Tiering zu überführen.

Durch das systematische Bereinigen dieser Bereiche können Plattformingenieure monatlich Tausende von Dollar an verschwendeten Cloud-Ausgaben zurückholen.


EBS gp2 vs. gp3: Performance- und Kostenrechnung

Im Jahr 2020 führte AWS gp3 ein, um die Speicherleistung von der Kapazität zu entkoppeln. Bei gp2 erhalten Volumes eine Baseline-Performance von 3 IOPS pro GB, bis zu einem Maximum von 16.000. Benötigt eine Anwendung 3.000 IOPS, sind Ingenieure gezwungen, ein 1.000-GB-Volume bereitzustellen – selbst wenn sie nur 50 GB tatsächliche Speicherkapazität benötigen.

Im Gegensatz dazu bietet gp3 eine feste Baseline von 3.000 IOPS und 125 MB/s Durchsatz, die im Grundpreis des Speichers enthalten sind – völlig unabhängig von der Volume-Größe. Sie können ein 10-GB-Volume bereitstellen und erhalten dennoch 3.000 IOPS.

Der Einheitskostenvergleich

Metrik gp2-Volume (Baseline) gp3-Volume (Optimiert) Netto-Ersparnis
Speicherkosten pro GB-Monat $0.10 $0.08 20 % Reduktion
Enthaltene Baseline-IOPS 3 IOPS pro GB (min. 100, max. 16k) 3.000 (unabhängig von der Volume-Größe) Kostenlose Performance
Enthaltene Baseline-Throughput Nicht verfügbar (an Volume-Größe gekoppelt) 125 MB/s (unabhängig von der Größe) Kostenlose Performance
Kosten für 10 TB (3.000 IOPS) $1,000.00 $800.00 $200.00 (20 % gespart)
Kosten für 100 GB (10.000 IOPS) $1,000.00 (erzwungene Größe von 3.333 GB) $138.00 ($8.00 Speicher + $130.00 IOPS) $862.00 (86,2 % gespart)

Ausführen von gp2-zu-gp3-Migrationen im laufenden Betrieb

EBS-Volumes können im laufenden Betrieb modifiziert werden, ohne das Volume auszuhängen oder die Instanz neu zu starten. AWS Elastic Volumes übernimmt die Umstellung im Hintergrund ohne Ausfallzeit. SREs können diese Transition über das AWS CLI durchführen:

aws ec2 modify-volume \
  --volume-id vol-0123456789abcdef0 \
  --volume-type gp3 \
  --iops 3000 \
  --throughput 125

Um diese Migration in großem Maßstab sicher durchzuführen, sollten Plattform-Teams Terraform nutzen. Dies stellt sicher, dass Ihre Infrastructure as Code (IaC) synchron mit Ihrer tatsächlichen Cloud-Umgebung bleibt und Configuration Drift vermieden wird:

resource "aws_instance" "app_server" {
  ami           = "ami-0c55b159cbfafe1f0"
  instance_type = "m7g.xlarge"

  root_block_device {
    volume_type           = "gp3"
    volume_size           = 100
    iops                  = 3000
    throughput            = 125
    delete_on_termination = true
  }
}

S3-Lifecycle & Intelligent-Tiering Engineering

Amazon S3 ist mit $0.023 pro GB-Monat in der Standard-Stufe scheinbar günstig. Wenn der Speicher jedoch auf Hunderte von Terabytes anwächst, werden die S3-Rechnungen zu einem erheblichen Bestandteil Ihrer Cost of Goods Sold (COGS).

S3-Speicherklassen im Überblick

  • S3 Standard ($0.023/GB): Konzipiert für aktive, häufig abgerufene Daten.
  • S3 Standard-IA ($0.0125/GB): Für Daten, auf die weniger als einmal im Monat zugegriffen wird, die jedoch einen Abruf im Millisekundenbereich erfordern. Beachten Sie die Abrufgebühr ($0.01 pro GB).
  • S3 Glacier Instant Retrieval ($0.004/GB): Ideal für medizinische Aufzeichnungen oder Medienarchive, auf die ein- bis zweimal im Jahr zugegriffen wird, mit sofortigem Abruf.
  • S3 Glacier Deep Archive ($0.00099/GB): Die kostengünstigste Speicherklasse, gedacht für mehrjährige regulatorische Compliance-Backups mit Abrufzeiten von bis zu 12 Stunden.

Die Kostenfalle bei S3-Transitionsgebühren

SREs definieren oft aggressive Lifecycle-Richtlinien, um Objekte in Glacier zu überführen, ohne die Transitionskosten zu kalkulieren. AWS berechnet eine Transition-Anfragegebühr pro 1.000 Objekte ($0.03 bis $0.05 je nach Zielspeicherklasse).

Wenn Sie 10 Millionen kleine Dateien (jeweils unter 100 KB) in einem S3-Bucket haben, kostet die Migration zu Glacier Deep Archive allein an API-Aufrufen $500, während die monatliche Speicherersparnis möglicherweise nur $5 beträgt.

Faustregel: Überführen Sie nur große Objekte (> 1 MB) in Cold Tiers oder fassen Sie kleine Dateien vor dem Hochladen in größere Archive (z. B. Tarballs) zusammen.

Implementierung von S3 Intelligent-Tiering

Für Buckets mit unvorhersehbaren Zugriffsmustern verschiebt S3 Intelligent-Tiering Objekte basierend auf dem Nutzungsverlauf automatisch zwischen Frequent-, Infrequent- und Archive-Access-Tiers. Es fallen keine Abrufgebühren an, lediglich eine geringe Überwachungsgebühr von $0.0025 pro 1.000 Objekte (für Objekte größer als 128 KB).

Hier ist ein AWS-CLI-Befehl, um eine Intelligent-Tiering-Konfiguration auf einen bestehenden S3-Bucket anzuwenden:

aws s3api put-bucket-lifecycle-configuration \
  --bucket my-production-data-lake \
  --lifecycle-configuration '{
    "Rules": [
      {
        "ID": "AutoTieringRule",
        "Status": "Enabled",
        "Filter": {
          "Prefix": ""
        },
        "Transitions": [
          {
            "Days": 0,
            "StorageClass": "INTELLIGENT_TIERING"
          }
        ]
      }
    ]
  }'

Die Build-vs.-Buy-Falle bei der Storage Governance

Um die Speicherkosten unter Kontrolle zu halten, versuchen viele Engineering-Organisationen, interne Automatisierungs-Pipelines zu entwickeln. Typischerweise schreiben sie Python-Skripte, die als nächtliche AWS-Lambda-Funktionen laufen, um die EC2-API abzufragen, nicht angehängte EBS-Volumes zu lokalisieren, alte Snapshots zu finden und Ingenieure über Slack zu benachrichtigen.

Dieser Do-it-yourself-Ansatz scheitert im Laufe der Zeit fast immer:

  • Wartungsaufwand: API-Schemas ändern sich, Skripte brechen ab und SREs verbringen wertvolle Entwicklungszeit damit, interne Dashboards zu warten, anstatt sich auf zentrale Produktfeatures zu konzentrieren.
  • Alert Fatigue: Unstrukturierte Slack-Benachrichtigungen, die Hunderte von ungenutzten Datenträgern auflisten, werden von viel beschäftigten Entwicklungsteams ignoriert, sodass die Verschwendung bestehen bleibt.
  • Keine einheitliche Multi-Cloud-Sicht: Wenn Ihr Unternehmen auch Azure Managed Disks oder Google Cloud Persistent Disks nutzt, müssen SREs separate, komplexe Skripte für jeden Cloud-Anbieter erstellen und pflegen.

Wie CostGlass Speicherverschwendung standardmäßig eliminiert

Anstatt interne Engineering-Ressourcen für den Bau fragiler Tracking-Tools zu binden, verbindet sich CostGlass über sichere, schreibgeschützte IAM-Rollen in fünf Minuten mit Ihren AWS-, Azure- und Google Cloud-Umgebungen.

CostGlass identifiziert und aggregiert Speicherverschwendung über Ihren gesamten Multi-Cloud-Footprint hinweg unmittelbar:

  1. Erkennung ungenutzter Volumes: Erkennt unangehängte EBS-Volumes, Azure Managed Disks und GCP Persistent Disks und zeigt exakt an, wie viel Geld für verwaisten Speicher verschwendet wird.
  2. Empfehlungen zum gp2-zu-gp3-Rightsizing: Durchsucht alle aktiven EBS-Volumes, berechnet das Einsparpotenzial einer Migration zu gp3 und liefert die exakten Terraform- oder AWS-CLI-Befehle zur Durchführung.
  3. S3-Bucket-Analyse: Visualisiert Speichertrends und identifiziert Buckets, die sich ideal für S3 Intelligent-Tiering oder Glacier-Transitionsrichtlinien eignen.

Darüber hinaus müssen Sie im Scale-Plan ($1,499/Monat) den Bereinigungscode nicht einmal selbst schreiben. CostGlass beinhaltet jeden Monat 8 Stunden dedizierte Senior-DevOps- und SRE-Arbeitszeit. Unsere Ingenieure erstellen die Terraform-Pull-Requests, konfigurieren die S3-Lifecycle-Regeln und bereinigen die verwaisten Volumes für Sie – für einen sofortigen ROI, ohne Ihr Kernprodukt-Team abzulenken.


Schritt-für-Schritt-Workflow zur Speicherbereinigung mit CostGlass

Um Speicherverschwendung in Ihrer Organisation systematisch zu eliminieren, folgen Sie diesem dreistufigen Workflow mit CostGlass:

Schritt 1: Speicherausgaben im Cost Explorer isolieren

Melden Sie sich in Ihrem CostGlass-Konto an und navigieren Sie zum Cost Explorer. Filtern Sie Ihr Multi-Cloud-Ledger nach Service (z. B. AmazonEC2 und AmazonS3) und gruppieren Sie nach UsageType oder Resource ID. Dadurch werden genau die Volumes und Buckets sichtbar, die Ihre Speicherkosten in die Höhe treiben.

Schritt 2: Rightsizing-Empfehlungen prüfen

Wechseln Sie zum Rightsizing Playbook, um eine priorisierte Liste ungenutzter Volumes und Kandidaten für die Migration von gp2 zu gp3 anzuzeigen. CostGlass berechnet die exakte monatliche Ersparnis für jede Ressource unter Berücksichtigung von IOPS- und Durchsatzkonfigurationen, um Performance-Einbußen zu verhindern.

Schritt 3: Ausführung autorisieren

Wenn Sie den Scale- oder Enterprise-Plan nutzen, markieren Sie die freigegebenen Empfehlungen in Ihrem Dashboard. Ihr dedizierter CostGlass-SRE übernimmt die Aufgaben, erstellt den erforderlichen Terraform-Code und stimmt sich mit Ihrem Team ab, um die Änderungen sicher während Ihrer regulären Wartungsfenster auszurollen.


Häufig gestellte Fragen (FAQ)

Führt die Migration von gp2 zu gp3 zu Ausfallzeiten der Anwendung?

Nein. AWS Elastic Volumes ermöglicht es Ihnen, den Volume-Typ, die Größe und die IOPS aktiver EBS-Volumes zu ändern, während sie an laufende Instanzen angehängt sind – ganz ohne Downtime. Allerdings kann die Volume-Leistung während des Modifikationsprozesses leicht beeinträchtigt sein, weshalb wir empfehlen, Migrationen außerhalb der Spitzenzeiten durchzuführen.

Gibt es Szenarien, in denen gp2 günstiger ist als gp3?

Nein. Mit $0.08 pro GB-Monat ist gp3-Speicher pauschal 20 % günstiger als gp2 ($0.10 pro GB-Monat). Der einzige Ausnahmefall tritt auf, wenn Sie extrem hohe IOPS (> 3.000) und Durchsätze (> 125 MB/s) auf sehr kleinen Volumes provisionieren, bei denen die zusätzlichen Performance-Kosten von gp3 theoretisch die Basiskosten übersteigen könnten. Die Recommendation Engine von CostGlass erkennt diese seltenen Szenarien automatisch und schlägt nur Migrationen vor, die eine garantierte Ersparnis bringen.

Wie handhabt S3 Intelligent-Tiering die Archivierung in Deep Archive?

S3 Intelligent-Tiering beinhaltet zwei optionale Archiv-Zugriffsstufen: Archive Access (nach 90 Tagen Inaktivität) und Deep Archive Access (nach 180 Tagen Inaktivität). Nach der Aktivierung werden Objekte automatisch in diese extrem günstigen Stufen verschoben, was den Preisen von Glacier und Glacier Deep Archive entspricht, während der automatisierte Abruf erhalten bleibt, falls die Daten jemals wieder angefordert werden.

Sind Sie bereit, die Altlasten-Steuer für Ihren Speicher zu stoppen? Erfahren Sie, wie Sie Speicherbereinigungen und gp3-Migrationen automatisieren können, indem Sie unser Savings Playbook lesen. Um zu sehen, wie die Pauschalpreis-Tarife von CostGlass im Vergleich zu prozentualen Abrechnungsmodellen abschneiden, werfen Sie einen Blick auf unseren Vergleich: CostGlass vs. CloudZero. Transparente Festpreise ab $0 finden Sie unter CostGlass Pricing.

Ready to unify your multi-cloud costs?

See your AWS, Azure, GCP, and Kubernetes spend in canonical FOCUS 1.0 in under 15 minutes.

Start 14-day free trial →

Mehr aus dem Blog

Alle ansehen →