AI4MediaData

Connecting Media with Usage Data

This content is only partially available in English.

AI4MediaData – Von Data Thinking zu Datengestützten Entscheidungshilfen

Künstliche Intelligenz (KI) ist eine zukunftsweisende Technologie des digitalen Zeitalters und eine zunehmend wichtige wirtschaftliche Grundlage auch für Medienunternehmen mit einer wachsenden Anzahl an digitalen Inhalten. KI kann dabei helfen, Informationen in Daten aufzudecken und sinnvoll zu verknüpfen, um bei Handlungen und Entscheidungen zu unterstützen, zum Beispiel durch die Empfehlung von passenden Inhalten.

Im vom BMWK-geförderten Forschungsprojekt „AI4MediaData“ werden daher Anwendungen entwickelt, die bei der Lösung von Herausforderungen zum Beispiel mit Entscheidungshilfen bei der Auswahl von Inhalten helfen sollen. Es wird gemeinschaftlich von ZDF Digital, Fraunhofer IAIS, DDG und Hochschule Mainz durchgeführt.

Ziel des Projektes ist es, Mediendaten mithilfe von KI-Methoden zu analysieren und die dabei gewonnenen Informationen in Form von datenbasierten Entscheidungshilfen zu verknüpfen. Herzstück des Projekts sind KI-basierte Anwendungen für Mitarbeiter:innen von Medienunternehmen.

Die Abbildung 1 zeigt die hierfür genutzten Bestandteile. Damit sollen audiovisuelle und textuelle Daten (Videos, Texte, Audio-Beiträge etc.; links in Abbildung 1) automatisch analysiert, kategorisiert, beschrieben und zusammengefasst werden. Zusätzlich werden Nutzungsdaten (rechts in Abbildung 1) aggregiert und mit dem Datenpool verknüpft. Darauf sollen Anwendungen zur personalisierten und intelligenten Analyse aufbauen (Schnittmenge), die nicht nur Unternehmen, sondern insbesondere den Anwender:innen in den Unternehmen Vorteile durch leichtes Auffinden, verbesserte Zugänglichkeit und bequeme Auswahl sowie vertiefte Analysen bieten. Im Fokus der Entwicklung stehen Anwender:innen in Medienunternehmen.

Abbildung 1: AI4MediaData verknüpft Medien mit Nutzungsdaten

Motivation

Die große Menge an Mediendaten (Videos, Audios oder Texte) und dazugehörige Nutzungsdaten (zum Beispiel Abrufe, Sehdauer, Verteilung) führen zu neuen technischen und inhaltliche Herausforderungen, zum Beispiel bei der Auswahl, Kuration und Distribution von Inhalten. Medienunternehmen müssen in die Lage versetzt werden, ihre Medieninhalte effizient produzieren, strukturiert organisieren und gezielt auswählen zu können.  Medienunternehmen stehen zunehmend vor der Herausforderung, aus ihren bestehenden Archiven geeigneten Content für ihre Zuschauer:innen zur Verfügung zu stellen. Die Kuration von Media Assets, also das Zusammenstellen von thematisch ähnlichen Inhalten, basiert größtenteils auf subjektiven Erfahrungen und Einschätzungen von zum Beispiel Redakteur:innen, Programmplaner:innen und Content Manager:innen. Verfahren der Künstlichen Intelligenz (KI) und des maschinellen Lernens (ML) können dabei helfen, inhaltlich ähnliche Assets zu identifizieren, um die Kuration datenbasiert zu unterstützen.

Ziel

Ziel des Projektes ist es, Mediendaten mithilfe von KI-Methoden zu analysieren und die dabei gewonnenen Informationen in Form von datenbasierten Entscheidungshilfen zu verknüpfen, um deutschen und europäischen Medienunternehmen zu ermöglichen, von ihren Daten besser zu profitieren und sich souverän gegenüber internationalen Wettbewerbern zu positionieren.
Durch die intelligente Erhebung, Verwertung, Analyse und Bereitstellung der Daten soll dabei möglichst wenig personeller Ressourcenaufwand für die Unternehmen entstehen. Darüber hinaus sollen die Medienunternehmen in die Lage versetzt werden, ihre Daten effizient, sicher und wirtschaftlich bereitzustellen und somit eine umfassende Wertschöpfungskette zu bedienen.

Herangehensweise

Wieso Data Thinking?

„Data Thinking“ ist hierfür ein geeigner Ansatz, der „Design Thinking“- und „Data Science“-Kompetenzen kombiniert, um in multidisziplinären Teams menschen- und datenzentrierte smarte Datenprodukte zu entwickeln.

Entsprechend der ersten Phase muss zunächst ein Verständnis für Anwender:innen und Daten geschaffen werden 

Aus diesem Grund wurden zunächst Einzel-Interviews mit Mitarbeitenden von Medienunternehmen geführt, um ein Problemverständnis zu schaffen. Besonderes Augenmerk wurde dabei auf die Aufgaben gelegt, die im Arbeitsalltag viel Zeit in Anspruch nehmen und zukünftig automatisiert werden könnten. Unter Anwender:innen werden in dem Projekt stets Mitarbeiter:innen von Medienunternehmen verstanden und explizit nicht Rezipient:innen der Produkte und Angebote von Medienunternehmen (zum Beispiel Mediatheken, Website, VoD-Plattformen).

Die Erkenntnisse aus den geführten Interviews dienten anschließend als Basis für den gemeinsamen Data Thinking-Workshop mit Projektmitarbeitern und Mitarbeitern der Medienpartner. Unter den Teilnehmenden waren sowohl operative Mitarbeiter:innen als auch strategisch Verantwortliche der beteiligten Medienunternehmen. Es wurde ergänzt um ein interdisziplinäres Projekt-Team von „AI4MediaData“ bestehend aus Projektmanagement, Data Science, Software-Engineering, UX Design/Research und Business Development  (Pagel et al., 2022). Kurze Impulsvorträge zu Verfahren der Medienanalyse über sogenannte Mining-Services (Text, Audio und Video) halfen den Teilnehmern, ein Verständnis für mögliche KI-Anwendungsfälle zu entwickeln und die Kreativität anzuregen.

Anwendungsfälle können dabei (un)abhängig von Rezipienten-/Nutzungsdaten sein und auch kombiniert werden. Die identifizierten Probleme aus den geführten Interviews wurden anschließend gesammelt und auf einer Matrix mit den Achsen „(Technische) Machbarkeit“ und „(Mehr-) Wert für den Nutzer / das Unternehmen“ einsortiert, um die vielversprechendsten Ansätze auszuwählen. Diese wurden im Verlauf des Workshops in kleineren Gruppen à vier bis fünf Personen weiter zu bearbeiten.

Die verbindende Frage, die zum Schritt der Ideengenerierung „Ideate“ überleitet, lautet dabei: „Wie können die identifizierten Bedürfnisse der Anwender:innen mit den vorhandenen Daten, die derzeit vorliegen, erfüllt werden?“.

 

Im nächsten Schritt „Ideate“ wurden für die identifizierten Probleme und Anforderungen in Brainstorming-Sessions Datenideen entwickelt. Dabei wurden folgende Fragen beantwortet:

  • Welchen Wert hat die Idee für die Anwender:innen?
  • Welchen Nutzen hat die Idee für das Produkt oder die Dienstleistung?
  • Welche spezifischen technologischen Aspekte müssen geschaffen werden?

Anschließend wurden die Anwenderbedürfnisse, die angesprochen werden, potenzielle Risiken sowie die Daten, die verwendet und die noch zusätzlich hinzugefügt werden müssen, zusammengefasst. Zusätzliche Daten konnten aus einer externen Quelle (zum Beispiel offenen Datenportalen) bezogen werden oder mussten intern erhoben werden (zum Beispiel interne Analysetools). Deutsche Medienunternehmen verfügen bereits über sehr große Mengen von unstrukturierten und wenig vernetzten Mediendaten. Videoproduktionen (Rohmaterial, Filme, Sendungen, Serien) sind häufig inhaltlich wenig oder schwach erschlossen und somit für personalisierte, wissensbasierte und kontext-sensitive Nutzungsszenarien nur eingeschränkt verwendbar. Besonders für die effiziente Nutzung von datengestützten Entscheidungshilfen wie Empfehlungssysteme in Mediatheken, Content Prediction und Personalisierungsangebote ist eine tiefere Vernetzung, Strukturierung und Erkennung der Medieninhalte wichtig. Während im Bereich der Audioanalyse hierfür bereits leistungsfähige und performante Systeme zur Verfügung (zum Beispiel automatische Untertitelung über Speech-to-Text) stehen, ist die Erkennung von Videoinhalten (Gesichter, Objekte, Konzepte, etc.) noch Gegenstand der Forschung, auch wenn erste Lösungen am Markt angeboten werden. Diese sind jedoch schwierig zu trainieren und nicht leistungsfähig genug, um einen Mehrwert im Medienbereich zu schaffen.

Im Rahmen des Projekts wurden hierfür Audio-, Text- und Video-Mining-Services eingesetzt und entwickelt, um Metadaten aus Videos zu extrahieren. Diese bilden die Grundlage für die erarbeiteten Algorithmen (zum Beispiel Empfehlungen) der smarten Datenprodukte. Die Machbarkeit der Datenideen wurde jeweils in einer „Proof-of-Concept“-Phase geprüft und anschließend mithilfe von (visuellen) Prototypen und Anwenderfeedback in insgesamt zwei Pilotanwendungen (MVP) umgesetzt.

 

Im dritten Schritt „Evaluate“ geht es darum, den Wert für die Anwender:innen der Idee zu messen und Erkenntnisse für weitere Iterationen zu erfassen. Gegen Ende der PoC- bzw. der MVP-Phasen wurde jeweils Feedback der Anwender eingeholt, um sicherzustellen, dass die Anwender mit den (Teil-)Ergebnissen arbeiten können und diese für sie einen Mehrwert darstellen.

Klassische Metriken zur Beurteilung von KI-Systemen sind üblicherweise Precision (Genauigkeit) und Recall (Vollständigkeit), ohne die gesamte User Experience zu berücksichtigen. Die Forschung im Bereich der Human- Computer-Interaction (HCI) hat Methoden entwickelt, um die Erfahrungen der Anwender mit smarten Systemen zu untersuchen, zum Beispiel Usability (Effektivität, Effizienz, Zufriedenheit), Aufgabenerfüllung (Task Completion) und Vertrauen (Trust) gemäß ISO 9241-210:2019 und ISO 9241-11:2020.

Doshi-Velez & Kim (2017) schlagen für die Evaluation von KI-basierten Empfehlungen drei mögliche Ansätze. vor, von spezifisch und aufwendig bis zu allgemein und ressourcenschonend: (1) anwendungsbezogene Evaluierung mit echten Anwender:innen und realistischen Aufgaben; (2) anwenderbezogene Evaluierung mit echten Anwender:innen, aber vereinfachten Aufgaben; und (3) funktionsbezogene Evaluierung ohne Anwender:innen und stellvertretenden Proxy-Aufgaben. Das Framework von Ribera & Lapedriza (2019) setzt an diesem Ansatz auf und beschreibt drei allgemeine Anwendertypen auf Grundlage ihrer Ziele, ihres Hintergrunds und ihrer Beziehung zum KI-System: (1) KI-Expert: innen – Software-Entwickler:innen, KI-Forscher:innen oder Datenanalyst:innen, die ein KI-System entwickeln; (2) Domänenexpert:innen – Fachleute auf dem Gebiet, in dem das System eingesetzt wird (z. B. Redakteur:innen, Programmplaner:innen, Content Manager:innen), und (3) Endverbraucher: innen – die Rezipient:innen der endgültigen Entscheidungen mithilfe des Systems (zum Beispiel Zuschauer:innen, die ein (empfohlenes) Video schauen).

Innerhalb von „AI4MediaData“ wurden dafür an mehreren Stellen der Entwicklung Evaluationen der Systeme durchgeführt, bei denen die Anwender: innen (Domänenexpert:innen) realistische Aufgaben mit Teilen des Systems durchführen sollten.

 

Abbildung 2: Data Thinking zur Entwicklung von smarten Datenprodukten (Quelle: Eigene Darstellung, angelehnt an (Groessler, 2019; Kronsbein & Mueller, 2019)).

Projektleitung

Volker Denkel
Head of Innovation, ZDF Digital
Volker.Denkel (at) zdf.digital

 

Joachim Köhler
Head of NetMedia, Fraunhofer IAIS
joachim.koehler (at) iais.fraunhofer.de

 

Philipp Schramm
Chief Operating Officer, DDG AG
philipp.schramm (at) ddg.ag

 

Sven Pagel
Professor für Wirtschaftsinformatik und Medienmanagement, Hochschule Mainz
sven.pagel (at) hs-mainz.de

 

Vision

WHY / WIESO
Wir helfen Medienunternehmen dabei, Kunden für Ihre Inhalte zu begeistern.

HOW / WIE
Wir analysieren Medien- und Nutzungsdaten mithilfe von KI-Methoden und verknüpfen die gewonnenen Informationen zu datenbasierten Entscheidungshilfen.

WHAT / WAS
Dazu entwickeln wir eine Plattform, die es ermöglicht KI Services auf Content anzuwenden und die angereicherten (Meta-)Daten anwendungsspezifisch zu kombinieren, um Medieninhalte effizienter produzieren, besser organisieren und gezielter auswählen zu können.

Vier starke Partner

Projektleitung & Know-How im Bereich Audience-Analyse und Machine Learning mit Mediendaten // Innovationsführer im Umgang mit audiovisuellen und textuellen Daten.

Experte auf dem Gebiet der AI // Überführung von Leading Technology in neuen Kontext zur Schaffung innovativer Lösungen.

Nutzerzentrierte Ausrichtung der Plattform, Entwicklung von datenbasierten Geschäftsmodellen sowie Betreuung der Thematik Datenschutz.

Einbringen der Erfahrung aus dem Bereich AI-basierte Audio & Text Mining. Entwicklung weitere Video Mining Services.


Texte teilweise zitiert aus: FKT – Fachzeitschrift für Fernsehen, Film und Elektronische Medien, 10/2022, 30–36.