Daten gut aufbereiten

Daten bilden die Grundlage für digitale Anwendungen, liegen jedoch häufig in unterschiedlichen Formaten, aus verschiedenen Quellen und mit unterschiedlicher Qualität vor. Eine strukturierte Aufbereitung schafft die Voraussetzung, vorhandene Daten sinnvoll zu nutzen. Dazu werden sie geprüft, bereinigt, vereinheitlicht und für den jeweiligen Anwendungszweck vorbereitet. Eine hohe Qualität ist entscheidend, damit Muster erkannt, Zusammenhänge analysiert und verlässliche Ergebnisse erzielt werden können.

Schritt 1. Datenbedarfe und Qualitätsanforderungen definieren

Zu Beginn wird festgelegt, welche Daten die KI-Anwendung benötigt. Da Daten in unterschiedlichen Formen vorliegen können strukturierte (z. B. Tabellen), semistrukturierte (z. B. Texte und Bilder) oder unstrukturierte Daten (z. B. Sensordaten), müssen zunächst Art, Umfang und Menge der erforderlichen Daten bestimmt werden. Die Qualitätskriterien wie beispielsweise Aktualität, Genauigkeit, Konsistenz, Vollständigkeit, Zugänglichkeit können je nach Ziel und Anwendung unterschiedlich wichtig sein (vgl. Wang & Strong, 1996; Batini et al., 2009).

Schritt 2. Daten sammeln

Anschließend werden relevante Datenquellen identifiziert und zusammengeführt und der vorhandene Datenbestand geprüft. Die Daten können aus internen Quellen (z. B. Unternehmensdokumente, Kunden-, Mitarbeitenden-, oder Maschinendaten, Prozessaufzeichnungen) sowie aus externen Quellen (z. B. von Partnerorganisationen übermittelt, gekaufte oder öffentlich verfügbare Daten) stammen. Entscheidend ist, ob die Daten verfügbar, nutzbar und ausreichend relevant sind.

Schritt 3. Prüfstandards formulieren

Die definierten Qualitätsanforderungen werden anschließend in konkrete Prüfkriterien übersetzt (z. B. Qualitätsanforderung: Daten müssen aktuell sein → Prüfstandard: Daten dürfen maximal 6 Monate alt sein), um die vorhandenen Daten hinsichtlich Qualität zu prüfen und sie in ein einheitliches Format für die weitere Verwendung (z. B. zur Analyse oder als Trainingsdaten für maschinelles Lernen) zu bringen.

Schritt 4. Daten bereinigen und aufbereiten

Fehlerhafte, unvollständige oder widersprüchliche Daten werden nebenbei anhand der Prüfstandards identifiziert und korrigiert, Duplikate werden entfernt, fehlende Daten ergänzt sowie Schreibweisen, Formate und Maßeinheiten vereinheitlicht. In der Praxis werden viele Bereinigungsschritte bei kleinen Datenbeständen manuell durchgeführt. Bei größeren oder regelmäßig anfallenden Datenmengen kommen häufig selbst entwickelte Skripte oder spezialisierte Tools zum Einsatz, um wiederkehrende Prüf- und Bereinigungsschritte zu automatisieren. Insbesondere wenn mehrere Datenquellen integriert werden müssen, steigt der Bedarf an Datenbereinigung erheblich (vgl. Rahm & Do, 2000).

Für die weitere Transformation der Daten können verschiedene Verfahren eingesetzt werden, um relevante Informationen hervorzuheben und deren Verarbeitung zu erleichtern (vgl. Alasadi & Bhaya, 2017), z. B.:

• Aggregation: Für den jeweiligen Anwendungskontext werden passenden Granularitätsebenen erzeugt.
  z. B. Einzelne Maschinentemperaturen jede Sekunde: 80 °C, 81 °C, 80 °C, 82 °C …
  Aggregation: Durchschnittstemperatur pro Stunde: 81 °C
• Gruppierung: Datensätze nach gemeinsamen Merkmalen zusammenfassen.
  z. B. Produktionsaufträge werden nach Material gruppiert:
  Gruppe 1: Edelstahlteile;
  Gruppe 2: Aluminiumteile und
  Gruppe 3: Kunststoffteile
• Klassifizierung: Objekte Kategorien zuordnen.
  z. B. Eine KI analysiert Bilder von Bauteilen und ordnet sie automatisch den Kategorien „fehlerfrei“, „Kratzer“ oder „Riss“ zu.
• Clustering: Ein Algorithmus sucht selbstständig nach Ähnlichkeiten in den Daten, ohne dass vorher Gruppen definiert wurden.
  z. B. Eine KI analysiert Produktionsaufträge und erkennt:
  Cluster A: Aufträge mit ähnlichem Material, ähnlicher Bearbeitungszeit und gleicher Maschine;
  Cluster B: andere Auftragsgruppe mit ähnlichen Eigenschaften
• Reduktion: Datenmenge oder Merkmalszahl verringern, um die Verarbeitung zu vereinfachen und die KI auf die wichtigsten Informationen zu konzentrieren.
  z. B. Von 100 erfassten Sensormesswerten werden nur die 10 Merkmale verwendet, die den größten Einfluss auf die Produktqualität haben.
• Kodierung: Umwandlung von Texten oder Kategorien in numerische Werte, damit sie von einer KI verarbeitet werden können.
  z. B. Häufig wird die One-Hot-Kodierung hierfür verwendet. Eine Methode, mit der Kategorien in mehrere Ja/Nein-Spalten (1 = Kategorie trifft zu; 0 = Kategorie trifft nicht zu) umgewandelt werden. So erkennt die KI nur, welche Kategorie zutrifft, ohne eine Reihenfolge oder einen Abstand zwischen den Kategorien anzunehmen.

Schritt 5. Bias erkennen

Zuletzt muss noch geprüft werden, ob die Daten sogenannte Bias, also einseitige oder verzerrte Muster, enthalten. Werden solche Verzerrungen erkannt, müssen die Daten angepasst oder ergänzt werden, damit Analysen und Modelle möglichst zuverlässige Ergebnisse liefern. Beispielsweise wurde eine KI zur Fehlererkennung bei Bauteilen nur mit Bildern unter optimalen Lichtbedingungen trainiert. Bei veränderten Lichtverhältnissen erkennt sie Fehler schlechter. Um diese Verzerrung zu reduzieren, werden die Trainingsdaten um Bilder aus unterschiedlichen Lichtbedingungen ergänzt. Dadurch kann die KI robuster mit verschiedenen Anwendungssituationen umgehen.