Was ist DataOps?

DataOps lässt DevOps und Data Science verschmelzen.


Foto: LuckyStep – shutterstock.com

DataOps – oder Data Operations – ist eine aufkommende Disziplin, die DevOps-Teams mit Dateningenieuren und Datenwissenschaftlern zusammenbringt. Das Ziel: Tools, Prozesse und Organisationsstrukturen bereitzustellen, die das datenorientierte Unternehmen unterstützen.

DataOps ist eine agile, prozessorientierte Methodik, um Analysen zu entwickeln und bereitzustellen. Michele Goetz, Vice President und Principal Analyst bei Forrester, definiert DataOps als “die Fähigkeit, Lösungen zu ermöglichen, Datenprodukte zu entwickeln und Daten für den Geschäftswert über alle Technologieebenen hinweg zu aktivieren – von der Infrastruktur bis hin zur Experience”.

Laut Dataversity besteht das Ziel von DataOps darin, das Design, die Entwicklung und die Wartung von Applikationen zu rationalisieren, die auf Daten und Datenanalysen basieren. DataOps soll die Art und Weise verbessern, wie Daten gemanagt und Produkte erstellt werden – und diese Verbesserungen mit den Unternehmenszielen koordinieren.

DevOps ist eine Softwareentwicklungsmethodik, die den Lebenszyklus der Systementwicklung um eine kontinuierliche Bereitstellung (Continuous Delivery) erweitert. Dazu werden Development- und Operations-Teams zu einer Einheit zusammengeführt, die für ein Produkt oder einen Service verantwortlich zeichnet.

DataOps baut auf diesem Konzept auf, und fügt Datenspezialisten (also Datenanalysten, Datenentwickler, Dateningenieure und/oder Datenwissenschaftler) zum “Mix” hinzu. Diese konzentrieren sich auf die kollaborative Entwicklung von Datenströmen und die fortlaufende Nutzung von Daten im gesamten Unternehmen.

Ted Dunning, CTO für MapR bei HPE und Co-Autor von “Machine Learning Logistics: Model Management in the Real World“, klärt auf: “DevOps ist ein bewährter Trend, aber immer mehr Unternehmen tragen Data-Science-Fähigkeiten in die Softwareentwicklung und Systeme. Das erfordert jemanden innerhalb des DevOps-Teams, der ein Data Mindset mitbringt.”

Wie DevOps orientiert sich auch DataOps an der agilen Methodik. Der Ansatz legt Wert auf die kontinuierliche Bereitstellung von analytischen Erkenntnissen – mit dem vorrangigen Ziel, die Kunden zufrieden zu stellen. DataOps-Teams sollten gemäß dem DataOps-Manifest:

• Wert auf funktionierende Analysen legen und deren Performance an den Erkenntnissen messen, die sie liefern;
• offen für Veränderungen sein und versuchen, die sich entwickelnden Kundenbedürfnisse zu verstehen;
• sich selbst um Ziele herum organisieren und “Heldentum” zugunsten nachhaltiger und skalierbarer Teams und Prozesse über Bord werfen;
• Daten, Tools, Code und Umgebungen von Anfang bis Ende orchestrieren, um reproduzierbare Ergebnisse zu erzielen; sowie
• Analyse-Pipelines als Analogie zu schlanken Fertigungsstraßen betrachten und regelmäßig über das Feedback von Kunden, Teammitgliedern und betrieblichen Statistiken reflektieren.

Unternehmen setzen heute zunehmend Machine Learning in einer Vielzahl von Produkten und Dienstleistungen ein. DataOps ist ein Ansatz, der darauf ausgerichtet ist, die End-to-End-Anforderungen des maschinellen Lernens zu unterstützen.

“Dieser Ansatz macht es zum Beispiel für Datenwissenschaftler einfacher, die Unterstützung der Softwareentwicklung zu erhalten”, schreiben Dunning und Co-Autorin Ellen Friedman, Principal Technologist bei HPE. Er helfe dabei, das bereitzustellen, was benötigt wird, wenn Modelle während der Bereitstellung an den Betrieb übergeben werden. Der DataOps-Ansatz sei jedoch nicht auf maschinelles Lernen beschränkt, fügen sie hinzu: “Diese Art der Organisation ist für jede datenorientierte Arbeit nützlich und erleichtert es, die Vorteile zu nutzen, die der Aufbau einer globalen Datenstruktur bietet. Darüber hinaus passt DataOps auch gut zu Microservices-Architekturen.”

Um maximalen Nutzen aus dem DataOps-Ansatz zu ziehen, müssten Unternehmen ihre Data-Management-Strategien weiterentwickeln, um mit Daten in großem Umfang umgehen und auf reale Ereignisse reagieren zu können, sobald diese einträten, schreibt das Autoren-Duo: “Traditionell isolierte Rollen können sich als zu starr und langsam erweisen, um in Big-Data-Organisationen, die eine digitale Transformation durchlaufen, eine gute Figur zu machen. Hier kann DataOps helfen.”

Da DataOps auf DevOps aufbaut, sind funktionsübergreifende Teams, die sich über Fachbereiche wie Operations, Software-Engineering, Produktmanagement, Datenanalyse oder Data Engineering erstrecken, unerlässlich. DataOps-Teams sollten dabei so geführt werden, dass eine bessere Zusammenarbeit und Kommunikation zwischen Entwicklern, Operations- und Datenexperten gewährleistet ist.

Laut Dunning könnten auch Datenwissenschaftler als wichtige Mitglieder in DataOps-Teams einbezogen werden: “Das Wichtigste dabei ist meiner Meinung nach, nicht an der traditionellen Elfenbeinturm-Organisation festzuhalten, in der Data Scientists von den Entwicklungsteams abgeschottet arbeiten. Der wichtigste Schritt ist, Data Scientists tatsächlich in ein DevOps-Team einzubinden.”

Dabei weist der Manager aber auch darauf hin, dass Data Scientists nicht unbedingt dauerhaft in ein DataOps-Team eingebettet sein müssten: “Typischerweise ist ein Datenwissenschaftler für eine gewisse Zeit in das Team eingebettet. Seine Fähigkeiten und seine Denkweise beginnen abzufärben. Anschließend kann jemand im Team die Rolle des Dateningenieurs übernehmen und zu einer Art Low-Budget-Datenwissenschaftler werden.”

1. Bernd Wachter, Capgemini
   „DevOps ist einer der zentralen Bausteine, um Software schneller releasen zu können, Agilität, DevOps und Cloud werden in Summe die IT-Landschaft so verändern, wie sie in den vergangenen Jahren nicht verändert worden ist. Die Kunst dabei ist, die Transformation vom projekt- zu einer produktorientierten Organisation aktiv zu gestalten. Und das ist kein rein technologisches Thema, sondern ein primär kulturelles, das bis in die Führungsebenen hineinreicht und oft unterschätzt wird. Deshalb scheitert die erfolgreiche Umsetzung von DevOps derzeit noch bei vielen Unternehmen in Deutschland.“
2. Mark Aichholz, IBM
   „Es ist wichtig, die Brücke zwischen Business und IT zu schlagen. Ein probates Mittel dafür ist, die Menschen beim Kunden zusammenzubringen und in Workshops herauszuarbeiten, wo das Business die IT sieht. Wie weit bin ich vom Bild eines perfekten agilen Unternehmens entfernt? Wo verliert man die meiste Zeit, wo ist die Qualität nicht ausreichend, und wo schmerzt es das Business am meisten? Ohne begleitenden Schulungs- und Überzeugungsprozess wird es schwierig, DevOps über die Fläche auszurollen.“
3. Mark Hlawatschek, ATIX
   „Ein aufgezwungener Ansatz funktioniert nicht, weil DevOps eine Kultur ist. Das Team muss verstehen, dass es Verantwortung haben will und am Ende auch tragen muss. Es geht bei der Entscheidung für DevOps nicht um Ja oder Nein, sondern um die Frage, warum man DevOps machen möchte. Es ist auch nicht die Frage, mit welcher Hardware ein Kulturwandel vollzogen wird. Es braucht die Zusammenarbeit von Entwicklung und Betrieb sowie Automatisierungslösungen. Eine funktionierende DevOps-Kultur ist ausschlaggebend für den Erfolg digitaler Geschäftsmodelle. Die Geschwindigkeit, mit der neue Softwareversionen veröffentlicht werden können, ist einer der wichtigsten Erfolgsfaktoren.“
4. Ulrich Eschbaumer, CGI
   „Das Thema DevOps ist aktuell ein Hype, bei dem man nicht auf der grünen Wiese anfängt. Es muss mit Kompetenz und jahrelangem Know-how implementiert werden, weshalb der Altersdurchschnitt der Beteiligten relativ hoch ist. Die Umstellung in den Köpfen ist dabei eine der wesentlichen Herausforderungen. Eine andere liegt in der Hybridsituation aus agilen und klassischen Vorgehensweisen. Diese zu verheiraten und zusätzlich noch Geschwindigkeit aufzunehmen ist eine echte Challenge.“
5. Donald S. Fitzgerald, EasiRun
   „Um die Implementierung von DevOps als Strategie zu rechtfertigen, benötigt man deutliche Mehrwerte, und die kommen hauptsächlich vom damit erreichten verbesserten Erfolg im Markt. Im Markt entscheidet nur einer über Qualität und Vorteile: der Kunde! Erfolgreiche Implementierungen von DevOps-Strategien und -Prozessen realisieren die Qualitätsansprüche von Kunden nicht durch die Geschwindigkeit, wobei Patches und Releases täglich beziehungsweise stündlich rausgehen – ganz im Gegenteil: Wenn alle Beteiligten in die Wertschöpfungskette eingebunden sind, ihre Beiträge leisten und das Bewusstsein entwickeln, dass der Kunde über die Qualität entscheidet, wird die Wahrnehmung für Qualität als Ziel geschärft – auch die des Kunden.“
6. Markus Eisele, Red Hat
   „DevOps hat seine Wurzeln in der Open-Source-Kultur. Die hohe Geschwindigkeit, die heute durch kürzere Produktionszyklen und die Automatisierung bei der Infrastrukturbereitstellung angestrebt wird, spielt in der Open-Source-Gesellschaft seit vielen Jahren eine herausragende Rolle. Allerdings wird hier aufgrund der großen Community viel offener kommuniziert, nach ganz anderen Regeln und mit weniger Bürokratie, also in einer offenen Kultur. Das Kultur-Thema ist letztlich auch der Dreh- und Angelpunkt, an dem Unternehmen immer wieder sehen, warum Pilotprojekte scheitern.“
7. Peter Schmidt, PKS Software
   „Es gibt kein Patentrezept für die Einführung von DevOps, denn die beteiligten Personen – junge und langjährig erfahrene Softwareentwickler, IT-Abteilung und Fachbereich, Entscheider und Umsetzer – sind über ganz unterschiedliche Aspekte für solch ein Vorhaben zu motivieren. Hier braucht es also neben IT- und Tool-Experten vor allen Dingen auch das Wissen um die Belohnungssysteme der Menschen und darüber, wie man Teams so zusammenstellt, dass der Projekterfolg programmiert ist. Für ein Pilotprojekt werden häufig die engagiertesten Mitarbeiter aus den einzelnen Abteilungen eingebunden – damit ist ein initialer Erfolg quasi garantiert. Doch die Einführung beziehungsweise der Roll-out gestaltet sich umso schwieriger. Gerade bei den Legacy-Systemen gibt es in den Unternehmen viele Kopf-Monopole mit Klumpenrisiko; gerade diese Mitarbeiter muss man mit auf die Reise nehmen, um von DevOps dauerhaft als Unternehmen zu profitieren.“
8. Wilfried Cleres, Fujitsu
   „Bei der Einführung von DevOps gibt es drei wichtige Punkte. Der erste ist die Ist-Aufnahme: Wo stehe ich heute mit meiner Tool-Landschaft? Zweiter Punkt: Vergiss die Menschen nicht. Nimm alle mit, sonst kann man die Kultur nicht umsetzen. Und drittens: Entwickelt gemeinsam den künftigen Bebauungsplan mit den wichtigsten Zielen. Wichtig ist, dass diese auch erreichbar sind. Lieber weniger Ziele setzen, die dann aber auch erreicht werden können.“

Die meisten DevOps-basierten Unternehmen verfügten bereits über den Kern eines DataOps-Teams, so Co-Autorin Friedman. Sobald sie Projekte identifiziert haben, die eine datenintensive Entwicklung benötigen, müssten sie nur noch jemanden mit Daten-Knowhow in das Team aufnehmen. Bei dieser Person könne es sich sogar um einen Dateningenieur und nicht um einen vollwertigen Datenwissenschaftler handeln. Oftmals würden Teams aus Personen mit sich überschneidenden Kompetenzen gebildet oder einzelne Personen könnten je nach Fachwissen mehrere Rollen in einem DataOps-Team übernehmen.

“In großen Projekten kann eine bestimmte DataOps-Rolle von mehr als einer Person besetzt werden. Aber es ist durchaus üblich, dass einige Personen mehr als eine Rolle abdecken”, schreiben Dunning und Friedman in ihrem Buch. “Operations- und Software-Engineering-Fähigkeiten können sich überschneiden; Teammitglieder mit Erfahrung in Softwareentwicklung können auch als Data Engineers qualifiziert sein. Häufig verfügen Data Scientists über Data-Engineering-Kenntnisse. Überschneidungen zwischen Data Science und Operations sind jedoch selten.”

Laut Forrester-Analystin Goetz gehören folgende Bereiche zu den wichtigsten Fachgebieten von DataOps-Teams:

• Datenbanken
• Integration
• Orchestrierung von Daten und Prozessen
• Bereitstellung von Datenrichtlinien
• Daten- und Modellintegration
• Kontrolle von Datensicherheit und Datenschutz

Unabhängig von ihrer Zusammensetzung müssen DataOps-Teams ein gemeinsames Ziel verfolgen: Die datengesteuerten Anforderungen der Dienste, die sie unterstützen. “Mit Ingenieurteams, guten Ingenieuren, muss man Ziele gut festlegen”, sagt Dunning. “Wenn es ein gemeinsames Ziel gibt, nämlich die Lösung eines Problems, dann organisiert sich das Team sehr oft selbst, um dieses Problem zu lösen. Schwierig wird es dann, wenn verschiedene Personen unterschiedliche Aspekte des Problems sehen. Ops-Leute werden sich um die Zuverlässigkeit sorgen, dass man innerhalb einer bestimmten Zeit eine Antwort erhält. Die Datenwissenschaftler konzentrieren sich eher auf die Genauigkeit der Antwort. Hier gibt es bereits eine kleine Divergenz. Aber wenn sie versuchen, dasselbe Problem zu lösen, und bereit sind, bei der Lösung Kompromisse einzugehen, lässt sich meiner Meinung nach ziemlich leicht eine soziale Struktur aufbauen.”

Zu den Mitgliedern des DataOps-Teams gehören laut Goetz:

• Datenspezialisten, die die Datenlandschaft und Entwicklungs-Best-Practices unterstützen
• Data Engineers, die Ad-hoc- und Systemunterstützung für BI-, Analyse- und Geschäftsanwendungen leisten
• Principal Data Engineers, die als Entwickler an produkt- und kundenorientierten Ergebnissen arbeiten

Nachfolgend haben wir einige der beliebtesten Jobrollen im Zusammenhang mit DataOps und deren Gehaltsspannen in Deutschland (Daten via Stepstone) zusammengestellt:

• Analytics Manager: 57.200 bis 77.300 Euro
• Data Scientist: 48.000 bis 65.300 Euro
• Business Intelligence Analyst: 45.700 bis 63.800 Euro
• Data Analyst: 40.300 bis 55.800 Euro
• Data Architect: 56.200 bis 76.300 Euro
• Data Engineer: 43.700 bis 61.400 Euro

Dieser Beitrag basiert auf einem Artikel unserer US-Schwesterpublikation CIO.com. (fm)

Original Post>