Wie REWE mit Apache Kafka die digitale Transformation meistert

REWE ist für die meisten Menschen ein klassischer Supermarkt. Was macht ihr im Bereich Datenverarbeitung?

Paul Puschmann: Wir bewegen uns in zwei Welten: Zum einen haben wir den klassischen stationären Handel mit unseren Märkten und Logistikzentren. Zum anderen sind wir mit unserem Online-Shop, dem Lieferservice und unseren Apps stark digital aufgestellt. Besonders im digitalen Bereich verarbeiten wir große Datenmengen in Echtzeit – von Produktinformationen über Bestellungen bis hin zu Marktdaten.

Wozu braucht ihr da Kafka?

Patrick Wegner: Kafka ist für uns wie ein digitales Nervensystem. Es verbindet unsere verschiedenen Services und ermöglicht, dass Daten in Echtzeit dort ankommen, wo sie gebraucht werden. Wenn zum Beispiel jemand im Markt den Self-Checkout nutzt oder online eine Bestellung aufgibt, müssen viele Systeme koordiniert zusammenarbeiten. Kafka macht das möglich.

Über welche Datenmengen reden wir?

Patrick Wegner: Allein auf einem unserer Cluster verarbeiten wir in Spitzenzeiten bis zu 90.000 Nachrichten pro Sekunde. Und das ist nur einer von mehreren Clustern. Was besonders beeindruckend ist: Trotz dieser enormen Datenmengen läuft das System sehr ressourcenschonend und stabil.

Was bedeutet das konkret für die Kunden?

Paul Puschmann: Ein gutes Beispiel ist unser mobiler Self-Checkout: Kunden können Produkte selbst scannen und bezahlen, ohne an der Kasse anzustehen. Dahinter steckt ein komplexes System aus Echtzeitdaten, das über Kafka gesteuert wird. Auch wenn Sie online bestellen, sorgt Kafka dafür, dass alle beteiligten Systeme – vom Warenwirtschaftssystem bis zur Auslieferung – koordiniert zusammenarbeiten.

Warum habt ihr euch für Kafka entschieden?

Paul Puschmann: Wir haben 2015 mit Kafka begonnen, als wir unseren Online-Shop modernisiert haben. Der große Vorteil von Kafka ist seine Flexibilität: Wir können neue Features entwickeln und alte Systeme parallel weiterlaufen lassen. Das ermöglicht uns eine schrittweise Modernisierung ohne große Systemausfälle.

Klingt nach einer großen technischen Herausforderung…

Patrick Wegner: Interessanterweise ist Kafka selbst erstaunlich "langweilig" – und das im positiven Sinne. Es läuft einfach stabil. Die eigentliche Herausforderung liegt im Drumherum: Wie machen wir das System für Entwickler einfach nutzbar? Wie gestalten wir die Zugriffsrechte? Wie stellen wir sicher, dass Kafka optimal eingesetzt wird?

Welche Rolle spielt Kafka in eurer zukünftigen IT-Strategie?

Paul Puschmann: Kafka ist für uns die Brücke zwischen der klassischen IT-Welt und modernen Microservice-Architekturen. Neue Anwendungen bauen wir direkt mit Kafka auf. Bestehende Systeme migrieren wir Schritt für Schritt, wenn es einen klaren Mehrwert gibt. Das ist eine strategische Architekturentscheidung.

Was war bisher die größte Herausforderung im Betrieb?

Patrick Wegner: In den Jahren des Betriebs hatten wir nur zwei nennenswerte technische Probleme: Einmal einen fehlerhaften Konfigurationseintrag im Zookeeper, verursacht durch unzureichende Validierung eines externen Tools. Der zweite Fall waren Performance-Probleme durch Java Garbage Collection. Beide Fälle konnten wir durch gezielte Konfigurationsanpassungen lösen. Das zeigt, wie stabil das System grundsätzlich läuft.

Welche Entwicklungen wünscht ihr euch für die Zukunft?

Patrick Wegner: Eine bessere native Unterstützung für Schema-Validierung direkt auf Broker-Ebene wäre sehr hilfreich. Das würde uns ermöglichen, Constraints direkt auf der Broker-Ebene durchzusetzen, statt in vorgelagerten Komponenten. Damit könnten wir bessere Garantien für die Datenqualität in unseren Topics erreichen.

Paul Puschmann: Vor ein paar Jahren hätte ich noch gesagt, dass ich mir bessere Metriken wünsche, aber das wurde mittlerweile durch sehr gute Metric-Exporter erfüllt. Was mir jetzt am wichtigsten ist: Dass Kafka seine bisherigen Stärken beibehält. Wir nutzen das System seit Version 0.8, und die Tatsache, dass wir bei unseren Clients nicht bei jedem Update umbauen müssen, ist ein enormer Vorteil. Diese Stabilität und Rückwärtskompatibilität sollten unbedingt erhalten bleiben.

Und zu guter Letzt: Ihr kennt unsere Kafka-Trainings seit einigen Jahren. Was überzeugt euch an diesem Schulungsansatz?

Patrick Wegner: Die Art des Trainings ist ja sehr unterschiedlich von Mensch zu Mensch - es gibt Menschen, die mögen frontalen Unterricht, andere bevorzugen interaktives Erarbeiten. Was mir bei der Zusammenarbeit mit Anatoly besonders gut gefällt, ist genau diese interaktive Herangehensweise. Diese Art des Lernens und der Wissensvermittlung funktioniert für uns sehr gut.

Vielen Dank euch für das interessante Gespräch