Wissen

Data Product Builder: Datenprodukte mit deinem Coding Agent bauen

Schreib als Data Contract auf, was du willst, und lass deinen Coding Agent es bauen. In Minuten implementiert, vollständig konform mit deinen Konventionen, vollständig in Entropy Data integriert.

Der Data Product Builder in Aktion.

Datenprodukte im Zeitalter der Coding Agents implementieren

Seien wir ehrlich: Data Engineers bauen Datenprodukte heute mit Coding Agents wie Claude Code, OpenAI Codex oder GitHub Copilot. Der Agent schreibt die dbt-Modelle, die Tests, den CI-Workflow. Was er von dir braucht, sind drei Inputs, und alle existieren bereits als Artefakte:

Der Data Contract definiert das Was: den Datensatz, den das Datenprodukt liefern muss, spezifiziert aus Sicht des Data Consumers.
Das Skill-Repository definiert das Wie: die Konventionen, Templates und Richtlinien deiner Organisation für Datenprodukte auf deinem Stack.
Der Datenmarktplatz liefert die Daten: die Upstream-Datenprodukte, Quellsysteme und externen Daten, die das neue Datenprodukt konsumiert.

Der Coding Agent kombiniert alle drei und implementiert das Datenprodukt: ein Dataset, ein dbt-Projekt, ein Databricks Asset Bundle, was auch immer dein Stack verlangt, komplett mit Tests, Deployment-Workflow, Lineage und Metadaten.

Der Data Contract definiert das Was, die Skills definieren das Wie, der Datenmarktplatz liefert die Daten. Der Coding Agent macht daraus ein Datenprodukt.

Diese Seite erklärt die drei Bausteine (Contract, Skills, Marketplace) und wie sie im Entwicklungs-Workflow zusammenspielen.

Der Data Contract definiert das Was

Ein Data Contract beschreibt das erwartete Datenprodukt aus Sicht des Data Consumers: das Schema mit Typen und Semantik, Qualitätsregeln, Freshness-Garantien, SLAs und Nutzungsbedingungen. Er legt fest, was das Datenprodukt liefern muss, und sagt nichts darüber, wie es gebaut wird. Genau diese Trennung macht ihn zur idealen Spezifikation für einen Coding Agent.

Der Workflow beginnt deshalb beim Contract, nicht beim Code. Schreib oder erweitere zuerst den ODCS-Contract, im Entropy-Data-Editor oder direkt in YAML. Übergib ihn dann dem Agent, der die Datenpipeline, Tests, den CI-Workflow und die Lineage-Verdrahtung generiert, die ihn erfüllen. Am Ende läuft datacontract test gegen das Ergebnis und bestätigt, dass die Live-Daten der Spezifikation entsprechen.

Als durchgehendes Beispiel nutzen wir auf dieser Seite das Datenprodukt Shelf Warmers: eine Liste von Artikeln auf Lager, die in den letzten sechs Monaten keinen Verkauf hatten, verantwortet vom Fulfillment-Team. Der Contract spezifiziert SKU, Artikelname und den Zeitpunkt des letzten Verkaufs, täglich aktualisiert.

Der Shelf-Warmers-Data-Contract im Entropy-Data-Contract-Editor, mit dem ODCS-YAML links und dem gerenderten Schema mit SKU, Artikelname und Zeitpunkt des letzten Verkaufs rechts. — Der Shelf-Warmers-Contract wird in Entropy Data (oder in YAML) bearbeitet und dann an den Agent übergeben.

Das Skill-Repository definiert das Wie

Derselbe Contract kann sehr unterschiedlich implementiert werden: Namenskonventionen, Model-Layer, Orchestrierung, Deployment, Sicherheitsanforderungen. Dieses Wissen ist individuell für jede Organisation, und es lebt in einem Skill-Repository: einem Git-Repository mit Skills (Markdown-Anweisungen, die der Agent für eine bestimmte Aufgabe lädt), Datei-Templates und Validierungs-Hooks.

entropy-data/dataproduct-builder-dbt ist die Open-Source-Referenz für dbt. Forke sie und kodiere deine eigenen Konventionen: Ersetze die Model-Layer-Benennung, tausche GitHub Actions gegen Airflow, ergänze interne Lint-Regeln, bette deine PII-Taxonomie ein, füge Governance-Checkpoints hinzu.

Das Repository dockt über den Plugin-Mechanismus an den Coding Agent an, zum Beispiel als Claude-Code-Plugin, als Codex-Plugin oder über AGENTS.md-Routing. Einmal installiert, wählt der Agent den passenden Skill für die anstehende Aufgabe und implementiert das Datenprodukt in Minuten, vollständig im Einklang mit den Richtlinien und Konventionen deines Unternehmens.

Entropy Data stellt Open-Source-Skill-Repositories pro Stack bereit:

dataproduct-builder-dbt. dbt auf beliebigen Adaptern: Snowflake, BigQuery, Databricks, Redshift, Postgres, DuckDB. GitHub Actions für CI. Volle Integration mit Entropy Data: ODPS, ODCS, OpenLineage-Lineage und Drift Detection.
dataproduct-builder-databricks. Databricks Asset Bundles mit Lakeflow Spark Declarative Pipelines. Sharing über Unity Catalog. Volle Integration mit Entropy Data.
Snowflake Native Apps Framework. Kommt bald.
AWS Glue. Kommt bald.

Community- und Custom-Repositories sind willkommen. Reiche einen Pull Request für die dataproduct-builders-Registry ein, um deins zu listen.

Das Repository entropy-data/dataproduct-builder-dbt auf GitHub mit Skills, Hooks, .claude-plugin, .codex-plugin und Templates. — Das Referenz-Skill-Repository auf GitHub: Skills, Hooks, agentspezifische Manifeste und Datei-Templates.

Der Datenmarktplatz liefert die Daten

Ein Datenprodukt beginnt selten bei null. Es konsumiert Upstream-Daten, und der Coding Agent findet diese Daten im Entropy Data Marketplace. Über die Entropy Data CLI durchsucht der Agent alles, was der Marketplace kennt:

Upstream-Datenprodukte mit ihren Contracts, ihrer Semantik und ihrer Qualitätshistorie.
Quellsysteme, die operativen Anwendungen hinter source-aligned Datenprodukten.
Verfügbare externe Daten von kommerziellen Anbietern und Open Data, die im Marketplace gelistet sind.

Shelf Warmers braucht den aktuellen Artikelkatalog und die Lagerbewegungen, also führt der Agent aus

entropy-data search query "articles stock" -o json

Der Agent liest Contracts und Semantik der Kandidaten und bewertet, ob sie für das Datenprodukt relevant sind, das er gerade baut: Passen Felder, Join-Keys, Qualitätsgarantien und Nutzungsbedingungen zu den Anforderungen? Für Shelf Warmers entscheidet er sich für zwei Upstream-Datenprodukte: Articles latest vom Products-Team für den Artikelkatalog und Stock Update Events vom Fulfillment-Team für die Lagerbewegungen. Beide werden Input Ports des neuen Datenprodukts (models/input_ports/*.odcs.yaml im dbt-Referenzlayout), Lineage ist damit ab dem ersten Commit verdrahtet.

Die Datenprodukt-Liste im Entropy-Data-Datenmarktplatz: Datenprodukte, Applikationen und Reports mit Owner, Domäne, Typ, Status und Badges für Qualitätsstufe und Datenklassifizierung. — Der Marketplace: Datenprodukte, Quellsysteme und externe Daten, die der Agent entdecken und bewerten kann.

Wo der Zugriff auf eine Quelle eingeschränkt ist, geht der Agent noch einen Schritt weiter: Er beantragt den Zugriff im Namen des neuen konsumierenden Datenprodukts, inklusive Business-Begründung. Für Shelf Warmers ist das ein Zugriffsantrag auf den Output Port von Articles latest mit dem Zweck „Artikel auf Lager ohne Verkauf in den letzten sechs Monaten identifizieren". Der Data Product Owner sieht den Antrag in Entropy Data und genehmigt ihn, oder eine Governance-Richtlinie genehmigt automatisch. Kein Ticket, kein Warten darauf, dass sich jemand durch Formulare klickt.

Terminal-Zusammenfassung eines Claude-Code-Laufs, der das Datenprodukt Shelf Warmers implementiert: Projekt-Scaffold, genehmigte Access Agreements für articles-latest und stock-update-events, Input- und Output-Port-Contracts, dbt-Modelle sowie bestandene dbt- und datacontract-Tests. — Die Zusammenfassung des Agent-Laufs im Terminal: Quellen als Input Ports verdrahtet, Access Agreements genehmigt, Modelle gebaut, alle dbt- und Contract-Tests bestanden.

Die Tabelle SHELF_WARMERS im Snowflake Database Explorer mit 14,6K Zeilen und den Spalten SKU, Artikelname, Zeitpunkt des letzten Verkaufs und Processing Timestamp. — Das Ergebnis in Snowflake: die Tabelle SHELF_WARMERS, materialisiert vom dbt-Lauf, mit genau dem Schema, das der Contract spezifiziert.

Ein Zugriffsantrag in Entropy Data: Team Fulfillment beantragt Zugriff auf das Datenprodukt Articles latest, mit Approve- und Reject-Buttons für den Data Product Owner und einem Diagramm der beteiligten Datenprodukte. — Der vom Agent erstellte Zugriffsantrag, wie ihn der Owner von Articles latest in Entropy Data sieht.

Unter der Haube

Entropy Data CLI

Die Entropy Data CLI ist die Brücke zwischen deinem lokalen Repository und der Entropy-Data-Plattform. Sie verbindet sich mit Entropy Data, um Upstream-Datenprodukte im Marketplace zu finden, ihre Contracts und Semantik abzurufen (um Join-Keys und Feld-Definitionen zu verstehen), Metadaten und Lineage deines Datenprodukts zu aktualisieren und Contract-Test-Ergebnisse zu publizieren. Einmal pro Repository installieren, mit einem API-Key autorisieren, und die Sync- und Publish-Skills nutzen sie automatisch.

Wir haben uns für die CLI statt MCP entschieden, weil sie token-effizienter und einfacher einzurichten ist.

Anleitung in Entropy Data

Ein Data-Product-Builder-Repository wird in Entropy Data als Builder registriert, unter Governance → Data Product Builders. Hier definieren Data Engineers die Experience für die Teams, die ihn nutzen werden:

Installationsanleitung für die unterstützten Coding Agents (Claude Code, OpenAI Codex, GitHub Copilot CLI). Die Install-Kommandos werden aus der Repo-URL generiert.
Usage-Prompts mit Varianten pro Lifecycle-Stufe. Ein Datenprodukt im Status draft bekommt einen Bootstrap-Prompt; eines im Status active Evolve- und Test-Prompts.

Entropy Data steuert auch die Sichtbarkeit: Verschiedene Teams sehen unterschiedliche Data-Product-Builder-Plugins, je nach Archetyp des Datenprodukts, Owner-Team, Tags und Status. Ein Team, das ein Databricks-consumer-aligned-Produkt baut, sieht einen Databricks-optimierten Builder. Ein anderes Team, das ein Snowflake-source-aligned-Produkt baut, sieht einen Snowflake-Builder. Jedes Team arbeitet mit dem Builder, der zu Stack und Konventionen passt.

Der Data-Product-Builder-Tab auf der Shelf-Warmers-Datenprodukt-Seite: Coding Agent auswählen (Claude Code, OpenAI Codex, GitHub Copilot CLI), Install- und Connect-Befehle kopieren und die Skills des Builders sehen. — Der Builder-Tab auf der Datenprodukt-Seite: Builder wählen, Install-Kommando sehen, vorgefüllten Prompt kopieren.

Skills (Beispiele)

Ein Skill ist eine Markdown-Datei, die der Agent lädt, wenn die passende Aufgabe ansteht. Die sieben Skills unten sind die, die das dbt-Referenz-Skill-Repository (entropy-data/dataproduct-builder-dbt) mitliefert. Dein Fork kann beliebige davon ergänzen, entfernen oder ersetzen.

datacontract-edit ändert einen Output-Port-Contract auf Basis einer Natural-Language-Anweisung. Der Contract bleibt der Einstiegspunkt.
dataproduct-bootstrap scaffoldet ein neues dbt-Projekt: dbt_project.yml, das Vier-Schichten-Modelllayout, README, profiles.yml.example.
dataproduct-implement liest die Input- und Output-Contracts und schreibt die dbt-Modelle, die sie erfüllen.
datacontract-test führt datacontract test gegen die Live-Daten aus und meldet Schema- und Qualitätsergebnisse zurück.
dataproduct-exampledata extrahiert Beispielzeilen, entfernt im Contract als PII markierte Spalten und lädt die bereinigte Stichprobe in Entropy Data hoch.
entropy-data-sync nimmt ein bestehendes dbt-Projekt, richtet es nach dem Referenzlayout aus, setzt den Deployment-Workflow auf und synchronisiert ODPS, ODCS und Lineage-Metadaten.
entropy-data-teams listet die in deinem Tenant konfigurierten Teams, sodass der Agent den User um einen Owner bitten kann.

Für das resultierende dbt-Projektlayout und die Rolle jeder Komponente siehe Datenprodukte mit dbt bauen.

Unterstützte Coding Agents

Claude Code
OpenAI Codex
GitHub Copilot CLI
Cursor, Aider und jeder andere Agent, der AGENTS.md liest (oder direkt den skills/-Ordner aufgreift)

Die exakten Install-Kommandos für dein Datenprodukt, mit deiner Repo-URL vorgefüllt, werden auf dem Builder-Tab gerendert.

Setup

Zwei einmalige Schritte pro Repository: Plugin installieren und CLI verbinden.

claude plugin marketplace add https://github.com/entropy-data/dataproduct-builder-dbt
claude plugin install dataproduct-builder-dbt@dataproduct-builder-dbt -s project

uv tool install --upgrade entropy-data
entropy-data connection add default --api-key <dein-api-key> --host <dein-entropy-data-host>

Den API-Key generierst du unter Organization Settings → API Keys. Für CI nutze einen Team- oder organisationsweiten Key, der als Repository-Secret abgelegt ist. Der Builder-Tab liefert beide Kommandos mit Host und Key vorgefüllt.

Entropy Data

Entropy Data ist ein Marktplatz für Datenprodukte, durchgesetzt mit Data Contracts. Der Data Product Builder schließt den Kreis zwischen Contract und Implementierung: Du bearbeitest den Contract im Marketplace, übergibst den Prompt an deinen Agent, und das Datenprodukt geht mit Output Ports, Tests, Lineage und Metadaten bereits verdrahtet live.

Das Datenprodukt, das der Agent baut, ist mehr als Code in einem Repository. Es erscheint vollständig verdrahtet in Entropy Data:

Marketplace-Eintrag: Shelf Warmers ist auffindbar mit Zweck, verantwortlichem Team, Output Ports und Nutzungsbedingungen, für Menschen und für AI-Agenten.
Lineage: von Articles latest und Stock Update Events über die dbt-Modelle bis zum Output Port, publiziert via OpenLineage bei jedem Lauf.
Contract-Test-Ergebnisse: Jeder datacontract test-Lauf meldet zurück, sodass Consumers auf einen Blick sehen, dass das Produkt liefert, was es verspricht.
Drift Detection: Entropy Data meldet, wenn die Live-Implementierung vom Contract abweicht.
Access Management: Consumers beantragen Zugriff auf den Output Port, Genehmigungen können die Rollen auf der Datenplattform provisionieren.
Beispieldaten: PII-bereinigte Beispielzeilen lassen Consumers das Produkt bewerten, bevor sie Zugriff beantragen.

Die Shelf-Warmers-Datenprodukt-Seite in Entropy Data: Datenprodukt-Diagramm mit beiden Upstream-Quellen, Beschreibung, Output Port mit Data Contract, Input Ports via Zugriffsantrag, Pipeline-Lineage aus OpenLineage-Events, Compliance-Checks, Semantik und Git-Verbindung. — Das fertige Shelf-Warmers-Datenprodukt in Entropy Data: Lineage, Contract, Testergebnisse und Zugriff an einem Ort.

Kostenlos starten, die Demo ausprobieren oder die Data-Product-Builder-Dokumentation lesen.