Datenlager (Data Warehouse)
Diese Seite richtet sich an technisch versierte Anwender und Analytics-Teams. Hier verwalten Sie automatisierte Datenpipelines, vorberechnete Auswertungssichten sowie Anbindungen an externe BI-Werkzeuge (z. B. Metabase, Tableau, Power BI) und legen fest, wie lange bestimmte Daten aufbewahrt werden.
Was kann ich hier tun?
- Eine Datenpipeline (ETL) anlegen, die Daten regelmäßig aus einer Quelle in eine Zieltabelle überträgt
- Den Lauf einer Pipeline manuell anstoßen und die Ausführungshistorie einsehen
- Eine vorberechnete Sicht (Materialized View) anlegen und bei Bedarf manuell aktualisieren
- Eine Verbindung zu einem externen BI-Tool herstellen, testen und einen API-Schlüssel generieren
- Aufbewahrungsregeln definieren, die alte Daten automatisch löschen, archivieren oder anonymisieren
- Auf der Übersichtsseite den Gesamtzustand (aktive/fehlerhafte Pipelines, Speicherverbrauch) einsehen
Schritt für Schritt
- Pipeline anlegen: Wechseln Sie in den Reiter „ETL", klicken Sie auf „Neue Pipeline", wählen Sie Quelltyp (Datenbank, Event-Stream, API, Datei-Upload), Zieltabelle und Zeitplan (Cron-Ausdruck) und speichern Sie.
- Pipeline manuell ausführen: Klicken Sie in der Pipeline-Tabelle auf das Abspiel-Symbol, um einen sofortigen Lauf zu starten.
- Sicht anlegen: Wechseln Sie in den Reiter „Sichten & BI", klicken Sie auf „Neue Sicht", tragen Sie die zugrunde liegende Abfrage sowie einen Aktualisierungszeitplan ein.
- BI-Verbindung einrichten: Klicken Sie im selben Reiter auf „Neue Verbindung", wählen Sie das BI-Tool und die erlaubten Tabellen, testen Sie die Verbindung und generieren Sie bei Bedarf einen API-Schlüssel.
- Aufbewahrungsregel anlegen: Wechseln Sie in den Reiter „Aufbewahrung", klicken Sie auf „Neue Regel", geben Sie Zieltabelle, Aufbewahrungsdauer in Tagen, Aktion (Löschen/Archivieren/Anonymisieren) und optional eine Filterbedingung ein.
Felder erklärt
| Feld | Bedeutung | Hinweise/Auswirkung |
|---|---|---|
| Quelltyp (Pipeline) | Herkunft der Daten | Datenbank, Event-Stream, API oder Datei-Upload |
| Zieltabelle | Tabelle im Datenlager, in die geschrieben wird | Sollte eindeutig und aussagekräftig benannt sein |
| Zeitplan (Cron) | Wiederholungsintervall der Pipeline bzw. Sichtaktualisierung | Im Cron-Format, z. B. 0 * * * * für stündlich |
| Quellabfrage (Sicht) | SQL-Abfrage, die die Sicht befüllt | Nur für technisch versierte Nutzer gedacht |
| Automatische Aktualisierung | Legt fest, ob eine Sicht gemäß Zeitplan automatisch aktualisiert wird | Kann alternativ manuell ausgelöst werden |
| BI-Tool-Typ | Anbindung an Metabase, Tableau, Grafana, Power BI oder Looker | Bestimmt das Verbindungsprofil |
| Erlaubte Tabellen | Tabellen, auf die das BI-Tool zugreifen darf | Begrenzt den Datenzugriff aus Sicherheitsgründen |
| Zieltabelle (Aufbewahrung) | Tabelle, auf die sich die Aufbewahrungsregel bezieht | — |
| Aufbewahrungsdauer (Tage) | Wie lange Datensätze aufbewahrt werden, bevor die Aktion greift | — |
| Aktion (Aufbewahrung) | Löschen, Archivieren oder Anonymisieren | Bestimmt, was mit abgelaufenen Daten geschieht |
| Filterbedingung | Zusätzliche Bedingung, welche Datensätze betroffen sind | Optional |
Werte & Status
Pipeline-Status
| Wert | Klartext-Bedeutung |
|---|---|
| Aktiv | Pipeline läuft gemäß Zeitplan |
| Pausiert | Pipeline ist vorübergehend angehalten |
| Fehler | Der letzte Lauf ist fehlgeschlagen |
| Entwurf | Pipeline ist angelegt, aber noch nicht aktiviert |
Lauf-Status (ETL-Run)
| Wert | Klartext-Bedeutung |
|---|---|
| Läuft | Der Lauf wird gerade ausgeführt |
| Abgeschlossen | Der Lauf war erfolgreich |
| Fehlgeschlagen | Der Lauf ist mit einem Fehler abgebrochen |
| Abgebrochen | Der Lauf wurde manuell gestoppt |
Sicht-Status
| Wert | Klartext-Bedeutung |
|---|---|
| Aktiv | Sicht ist aktuell |
| Aktualisiert gerade | Sicht wird gerade neu berechnet |
| Veraltet | Sicht ist seit Längerem nicht mehr aktualisiert worden |
| Fehler | Die letzte Aktualisierung ist fehlgeschlagen |
Aufbewahrungs-Aktion
| Wert | Klartext-Bedeutung |
|---|---|
| Löschen | Abgelaufene Datensätze werden endgültig entfernt |
| Archivieren | Abgelaufene Datensätze werden in ein Archiv verschoben |
| Anonymisieren | Personenbezogene Angaben in abgelaufenen Datensätzen werden entfernt, der Datensatz bleibt bestehen |
Häufige Fragen
Für wen ist diese Seite gedacht?
Für technisch versierte Nutzer und Analytics-/BI-Teams. Für den täglichen Gebrauch reichen meist die Seiten „Berichte", „Dashboards" und „Datenexplorer".
Was passiert, wenn eine Pipeline fehlschlägt?
Der Status wechselt auf „Fehler" und Sie sehen in der Ausführungshistorie eine Fehlermeldung. Die Pipeline können Sie danach manuell erneut ausführen.
Wie schütze ich sensible Daten bei einer BI-Anbindung?
Beschränken Sie die „Erlaubten Tabellen" der jeweiligen Verbindung auf genau die Tabellen, die das externe Tool tatsächlich benötigt.