Snowflake / CDC / Apache Iceberg Consultant

Wir führen TigerData als zentrale Time-Series-Management-Plattform ein. Die in TigerData verfügbaren Daten müssen kontinuierlich und zuverlässig nach Snowflake synchronisiert werden.


TigerData stellt hierfür einen CDC-Ansatz (Change Data Capture) auf Basis von Apache Iceberg bereit. Zur Unterstützung unseres Teams suchen wir ab sofort Fachexpertise, um die technische Zielarchitektur zu definieren, Snowflake und Iceberg optimal zu konfigurieren und eine produktionsfähige End-to-End-Lösung aufzubauen. Die neue Lösung soll hinsichtlich Zuverlässigkeit, Transparenz und Betriebsfähigkeit ein vergleichbares Niveau erreichen wie unsere bestehenden CDC-Prozesse mit Fivetran HVR.Ihre Aufgaben

• Architektur & Konzeption: Analyse des TigerData-Ansatzes sowie Definition einer skalierbaren Zielarchitektur für die Synchronisation nach Snowflake.
• Snowflake & Iceberg Setup: Optimale Konfiguration von Snowflake für die Verarbeitung von Iceberg-Daten sowie Konzeption der relevanten Iceberg-Komponenten und -Strukturen.
• Data Integration & Reliability: Sicherstellung einer zuverlässigen Verarbeitung von Inserts, Updates und Deletes (inkl. Schema Evolution, Datenkonsistenz, Wiederanlauf, Monitoring und Fehlerbehandlung).
• Collaboration & Rollout: Technische Abstimmung mit TigerData sowie bei Bedarf direkt mit Snowflake; aktive Unterstützung bei Implementierung, Validierung und Produktivsetzung.
• Knowledge Transfer: Vollständige Dokumentation der Architektur und Übergabe an das interne Team.

Ihr Profil

• Nachweisbare, fundierte Praxis- und Projekterfahrung im Umfeld von Snowflake und Apache Iceberg.
• Tiefgehendes Verständnis von Change Data Capture (CDC), Datenreplikation und modernen Streaming-/Synchronisationsverfahren.
• Praktische Erfahrung beim Aufbau produktionsfähiger CDC- und Datenintegrationsplattformen.
• Starkes technisches Know-how in den Bereichen Datenkonsistenz, Schemaänderungen, Latenz, Recovery, Reconciliation und Monitoring.
• Fähigkeit, technische Lösungsoptionen gemeinsam mit Softwareherstellern strukturiert zu analysieren und voranzutreiben.
• Selbstständige, lösungsorientierte und kommunikationsstarke Arbeitsweise.
• Von Vorteil: Erfahrung mit Fivetran HVR oder vergleichbaren Enterprise-Replikationslösungen.