Confluent Q1’22 Release: neue Konnektoren, dynamische Skalierung von Kafka-Clustern und Daten-Streaming über Cloud- und Hybrid-Umgebungen hinweg

Confluent kündigt den Launch von Confluent Q1’22 an und erweitert das branchenweit größte Portfolio von komplett verwalteten Daten-Streaming-Konnektoren. Zusätzlich umfasst das Update sowohl Funktionen für die kosteneffiziente Skalierung von Apache Kafka® Cluster bei einem sehr hohen Datendurchsatz als auch für die Gewährleistung der Datenqualität in globalen IT-Umgebungen.

„Die Art und Weise, wie wir heute Daten konsumieren, hat sich verändert. Deshalb erwarten Unternehmen und Kunden zunehmend eine direkte und relevante digitale Erfahrung und Kommunikation“, so Amy Machado, Research Manager, Streaming Data Pipeline bei IDC in IDCs Worldwide Continuous Analytics Software Forecast, 2021-2025. „Echtzeit-Datenströme und deren Verarbeitung werden künftig die Norm und nicht die Ausnahme bilden.“

Viele Unternehmen haben weiterhin nur eingeschränkten oder gar keinen effizienten Zugriff auf Echtzeit-Daten. Die Daten befinden sich zumeist in Silos verschiedener Systeme und Anwendungen. Das liegt mitunter daran, dass die Entwicklung von Integrationen mehrere Monate sowie beträchtliche Ressourcen beansprucht. Daten-Streaming als Reaktion auf sich kontinuierlich ändernde Geschäftsanforderungen kann sich als komplexes Unterfangen herausstellen, was Infrastrukturausgaben in die Höhe treibt. Darüber hinaus ist die Anpassung der Streaming-Kapazität an die sich ständig ändernden Geschäftsanforderungen ein komplexer Prozess, der zu übermäßigen Infrastrukturausgaben führen kann. Und zu guter Letzt stehen Unternehmen vor der Herausforderung, sowohl Datenqualität als auch Compliance auf globaler Ebene gewährleisten zu müssen, was in der Regel die enge Zusammenarbeit sämtlicher Kafka-Teams erfordert.

Alle Neuerungen für die cloud-native Daten-Streaming-Plattform von Confluent

Mit den ab sofort verfügbaren Updates erhalten Kunden neue Features, die die Nutzung der cloud-nativen Daten-Streaming-Plattform optimieren und vereinfachen. So legt Confluent aktuell besonderen Fokus auf die Vollständigkeit des Konnektoren-Portfolios, das cloud-native Management von Kapazitäten sowie die Verfügbarkeit in jeder Umgebung. 

Vollständigkeit: Moderne Anwendungen mit Echtzeit-Datenpipelines dank neuer Konnektoren

Confluent erweitert das bereits verfügbare Portfolio von über 50 komplett verwalteten Konnektoren um weitere neue und deckt dadurch noch mehr gängige Datenquellen und -zielsysteme ab – darunter: Azure Synapse Analytics, Amazon DynamoDB, Databricks Delta Lake, Google BigTable und Redis.

Mit den Konnektoren, die nur über Confluent Cloud verfügbar sind, können Unternehmen Streaming-Anwendungen entwickeln und die Datenportabilität verbessern. Die auf Basis der Kafka-Expertise von Confluent konzipierten Konnektoren schaffen für Unternehmen die perfekte Grundlage, ihre Data Warehouses, Datenbanken und Data Lakes mithilfe von Echtzeit-Datenpipelines zu modernisieren.

• Data-Warehouse-Konnektoren: Snowflake, Google BigQuery, Azure Synapse Analytics, Amazon Redshift
• Datenbank-Konnektoren: MongoDB Atlas, PostgreSQL, MySQL, Microsoft SQL Server, Azure Cosmos DB, Amazon DynamoDB, Oracle Database, Redis, Google BigTable
• Data-Lake-Konnektoren: Amazon S3, Google Cloud Storage, Azure Blob Storage, Azure Data Lake Storage Gen 2, Databricks Delta Lake 

Für mehr Transparenz des Anwendungs- und Systemumfelds ist ab sofort die Integration mit Datadog und Prometheus möglich. Nutzer erhalten mithilfe ihrer bekannten Monitoring Tools tiefergehende und vollständige Einsichten in Confluent Cloud. Dadurch lassen sich auftretende Probleme leichter identifizieren, beheben und vermeiden, während gleichzeitig wertvolle Zeit für alle anderen Aufgaben zur Verfügung steht.

„Wenn man den größten Online-Marktplatz für unabhängige Künstler betreibt, müssen Daten in Bewegung verwendet werden, damit wir unseren Nutzern ein optimales Erlebnis bieten können“, so Joe Burns, CIO bei TeePublic. „Unser kleines Team macht Echtzeit-Nutzerdaten im Data Warehouse und Data Lake für die direkte Analyse und Insights verfügbar. Mithilfe der komplett verwalteten Sink- und Source-Konnektoren für Amazon S3, Elasticsearch, Salesforce CDC und Snowflake waren wir in der Lage, schnell und einfach leistungsstarke Streaming Datenpipelines zu bauen. Diese verbinden alle unsere Geschäftsbereiche über Confluent Cloud und beschleunigen unsere gesamte Projekt-Timeline, ohne den Betrieb zu beeinträchtigen.“

„Es braucht einen holistischen Überblick über das gesamte Unternehmen, damit wir Eigentümern und Wohnungsunternehmen die bestmögliche Customer Experience bescheren können“, so Mustapha Benosmane, Product Leader bei ADEO. „Dank der Confluent-Integration mit Datadog können wir Echtzeit-Datenströme mit dem Monitoring Tool unserer Wahl synchronisieren – ganz ohne Middleware und Komplexität. Unsere Teams haben jetzt einen Überblick über den Zustand all unserer Systeme und können so zuverlässige, stets verfügbare Always-on Services anbieten.

Cloud-natives Management: Erweiterung und Verringerung der GBps+ Cluster-Kapazitäten nach Bedarf für dynamische Echtzeitanforderungen des Business’

Oftmals richten Unternehmen mehr Kapazitäten für ihre Kafka Cluster ein als sie eigentlich benötigen, um die Verfügbarkeit ihrer Services zu gewährleisten. Folglich zahlen sie hohe Preise für überschüssige Infrastrukturen, die sie schlussendlich gar nicht nutzen. Confluent löst dieses Problem mithilfe dedizierter Cluster: Diese lassen sich nach Bedarf über das Confluent Cloud UI, CLI oder die API verwalten. Dank der Self-Service-Funktionen können Kapazitäten entsprechend des Durchsatzes im Gigabit-Bereich (und höher) hinzugefügt oder entfernt werden. Durch den automatischen Datenausgleich (data balancing) optimieren die Cluster kontinuierlich die Datenplatzierung, um die Workload ohne zusätzlichen Aufwand auszugleichen. Außerdem wird verhindert, dass Cluster auf ein Volumen sinken, das unterhalb der Mindestanforderung für den aktiven Traffic liegt.

Mithilfe von Confluents neuer Load Metric API erhalten Unternehmen einen Echtzeit-Einblick in die Nutzung ihrer Cluster. Dadurch sind sie in der Lage, fundierte Entscheidungen darüber zu treffen, wann sie ihre Kapazitäten erweitern und wann sie sie einschränken müssen. Dank dieser elastischen Skalierbarkeit können Unternehmen ihren Workload-Durchsatz ganz unkompliziert, kosteneffizient und mit hoher Verfügbarkeit managen.

„Die dauerhafte Verfügbarkeit unserer E-Commerce-Plattform sicherzustellen ist eine komplexe, funktionsübergreifende und kostspielige Angelegenheit – vor allem angesichts der deutlichen Traffic-Fluktuationen, die wir über das gesamte Jahr beobachten“, so Cem Küçük, Senior Manager, Product Engineering, bei Hepsiburada. „Unsere Teams stehen vor der Herausforderung, die Überprovisionierung teurer Infrastrukturen zu umgehen und exakt die Kapazitäten bereitzustellen, die wir zu einem bestimmten Zeitpunkt benötigen. Cloud-native Kafka Cluster können ganz in Self-Service-Manier erweitert und verkleinert werden. Dadurch ermöglicht es uns Confluent, jedem unserer Kunden eine simple und kosteneffiziente Echtzeit-Erfahrung zu verschaffen.“

Verfügbarkeit: Schema Linking für globales Daten-Streaming in Cloud- und Hybrid-Umgebungen  

Das Management der Datenqualität ist wichtig, wenn globale Unternehmen planen Kafka langfristig und standardmäßig über die gesamte Organisation hinweg einzusetzen. Mithilfe von Schema Linking können sie vertrauensvolle und kompatible Datenströme mit geteilten Schemas sowohl in reinen Cloud- als auch hybriden Umgebungen etablieren, die in Echtzeit synchronisieren. In Kombination mit Cluster Linking lassen sich Schemas überall dort teilen, wo sie benötigt werden. Dies gewährleistet einen hohen Grad an Datenintegrität ungeachtet des Anwendungsfalls – einschließlich des Datenverbunds, Cluster-Migrationen sowie Echtzeit-Failover für die Wiederherstellung von Daten im Falle eines Not- oder Ausfalls.

Weitere Informationen

***

Über Confluent:

Confluent ist Vorreiter einer grundlegend neuen Kategorie von Dateninfrastruktur, die sich auf Daten in Bewegung konzentriert. Die zentrale Cloud-native Plattform von Confluent fungiert als intelligentes Nervensystem und ermöglicht, dass “Data in Motion” in Echtzeit aus verschiedenen Quellen kontinuierlich durch das gesamte Unternehmen fließen. Mit Confluent können Unternehmen den neuen geschäftlichen Anforderungen gerecht werden, die darin bestehen, umfassende, digitale Kundenerlebnisse im Front-End-Bereich zu liefern und auf hochentwickelte, softwaregesteuerte Back-End-Abläufe in Echtzeit umzustellen. Weitere Informationen finden sich auf http://www.confluent.de