In der dritten Folge des #DMW Podcast geht es um Künstliche Intelligenz und Machine Learning, um das Zusammenspiel zwischen Menschen und smarten Maschinen – und wie Softwareentwickler:innen dafür sorgen können, dass Algorithmen keine alten Rollenbilder und Vorurteile replizieren.
Ariana Sliwa von den #DMW spricht mit Philipp Koch, der nicht nur Machine-Learning-Engineer ist, sondern auch Data Scientist, Consultant und Hochschuldozent. Im Jahr 2016 hat er Limebit GmbH gegründet, ein Software-Unternehmen für Machine Intelligence, zuvor hat er einige Jahre bei IBM gearbeitet.
Alexa, Siri und der Terminator – die Assoziationen beim Begriff Künstliche Intelligenz (KI) sind vielfältig, aber nicht immer positiv. Häufig wecken sie sogar die Angst, dass Maschinen bald unser Leben und Denken übernehmen, dass Software die Menschen in der Arbeitswelt ersetzen könnte. Aber davon sind wir weit entfernt, beruhigt Philipp Koch. Und weil KI mit so vielen Vorstellungen und Ängsten behaftet ist, bevorzugt er den Begriff Machine Learning. Dieser drücke besser aus, dass es mehr um eine etwas klügere Automatisierung geht als um wirklich intelligentes Verhalten. Und diese Automatisierung bringt viele Vorteile, beispielsweise wenn es um die Verarbeitung und Interpretation großer Datenmengen oder um repetitive Prozesse geht. Und genau deshalb sind Daten kein „Müll“, der lästigerweise gespeichert werden muss, sondern ein Rohstoff, der nützliche Informationen bietet. Doch wie gut die Maschinen am Ende zu einem zufriedenstellenden Ergebnis kommen, hängt vor allem vom „Training“ ab. Eine Aufgabe der Software-Entwickler:innen ist es deshalb, dafür zu sorgen, dass die Daten, die der Algorithmus verwendet, möglichst diskriminierungsfrei sind. Und vielleicht, so Philipp, verbiete es sich dann eigentlich, mit historischen Daten zu arbeiten, in denen sich soviel Bias (Voreingenommenheit) und Diskriminierung angesammelt hat.
Philipp Koch, Machine-Learning-Engineer und Gründer von Limebit GmbH,
Foto: Limebit GmbH
Mehr über Philipp Koch findet Ihr auf seinem LinkedIn-Profil https://www.linkedin.com/in/Philipp-koch-berlin und auf der
der Website seines Unternehmens www.limebit.de
Klicken Sie auf den unteren Button, um den Inhalt von open.spotify.com zu laden.
#DMW – der Podcast. Ein Format der Digital Media Women
Im Podcast der DMW geht es darum, wie stark Digitalisierung und Gleichberechtigung zusammenhängen. Wir sprechen mit Expert:innen, berichten aus der Praxis, teilen besondere Geschichten, möchten Tipps an die Hand geben und zum Mitmachen motivieren. Ihr könnt den DMW Podcast überall da anhören, wo ihr Podcasts findet. Einfach „DMW Podcast“ suchen, abonnieren, anhören & weitererzählen.
Links aus der Podcast-Folge
https://opendiscourse.de/ Die Datenbank hinter Open Discourse ist die erste granulare, umfassende und maschinenlesbare Aufbereitung jedes jemals gesprochenen Wortes in den Parlamentssitzungen des deutschen Bundestages. Sie ermöglicht erstmalig gefilterte Recherchen in den Reden und Zwischenrufen der Politker:innen und Fraktionen.
Wer Interesse an Arianas Bachelorarbeit mit dem Titel „The Relevance of Ethics in the Development of Machine Learning Systems“ hat, folge diesem Link:
https://drive.google.com/file/d/1Y9iWyq0_GB6-8-atuKv3ItH3FYXxQQka/view?usp=sharing
Quellen zu den genannten Beispielen, bei denen das Machine-Learning-Modell mit unzureichenden Daten trainiert wurde:
Vincent (2018, Jan. 12), “Google ‘fixed’ its racist algorithm by removing gorillas from its image-labeling tech,“ The Verge.
https://www.theverge.com/2018/1/12/16882408/google-racist-gorillas-photo-recognition-algorithm-ai
Dave (2018, Nov. 27), “Fearful of bias, Google blocks genderbased pronouns from new AI tool,“ Reuters. https://www.reuters.com/article/us-alphabet-google-ai-gender-idUSKCN1NW0EF
Dastin (2018, Oct. 10), “Amazon scraps secret AI recruiting tool that showed bias against women,“ Reuters.
Der #DMW Podcast zum Hören – Transkript der Folge 3 mit Philipp Koch
Ariana Sliwa (DMW): Willkommen im DMW-Podcast. Ich bin sehr froh, dass du heute unser Gast bist. Wir kennen uns vom letzten Jahr. Du bist Machine Learning Enthusiast und hast eine Firma gegründet, die sich mit Machine Learning beschäftigt und Limebit heißt. Du bist da Machine Learning Engineer und Head of AI. Und Du bist auch Dozent. Erzähl uns doch mal ganz kurz von deinem Hintergrund und wie du zum Thema gekommen bist.
Philipp Koch: Ja, sehr gerne und vielen Dank für die Einladung hier. Ich bin zum Data-Science-, Machine-Learning-Thema eigentlich über meine Zeit bei IBM gekommen. Ich habe erst fünf, sechs Jahre bei IBM gearbeitet und danach war mir das alles ein bisschen groß. Mit Kollegen habe ich mich dann selbstständig gemacht und eine Firma für Data Science und Machine Learning gegründet. Das ist jetzt ungefähr fünf Jahre her. Und seitdem sind wir in diesem Bereich ausschließlich unterwegs. Zufällig kam dann zu einer sehr ähnlichen Zeit eine Dozentur an der FOM (Hochschule für Oekonomie und Management), an der ich auch seit fünf Jahren Data Science und Machine Learning unterrichte. Das habe ich dann weiter als meinen zentralen Fokus ausgebaut.
Ariana: Und darum soll es sich auch heute drehen. Philipp habe ich im letzten Jahr kennen gelernt im Rahmen meiner zweiten Bachelorarbeit. Ethik und Machine Learning. Inwieweit man Werte eben berücksichtigen kann, wenn man Algorithmen programmiert und sich Konzepte überlegt. Und Philipp war im Rahmen meiner Experteninterviews dabei, in denen wir uns zum Thema Machine Learning unterhalten haben, und warum es eben wichtig ist, bestimmte Werte darin zu integrieren. Wir haben jetzt schon ein paar Begriffe genannt, mit denen die Zuhörer vielleicht noch gar nichts anfangen können.
Unser Thema dreht sich um Künstliche Intelligenz. Jetzt haben wir schon viel den Begriff Machine Learning benutzt. Um jetzt ein wenig mehr Hintergrundwissen zu geben und ein Verständnis zu schaffen, klären wir jetzt erst einmal auf: “Was ist denn eigentlich KI, “Künstliche Intelligenz”?
Philipp: Ich glaube Künstliche Intelligenz ist ein schwieriger Begriff, weil er ein Begriff ist für einen Fachbereich, bei dem alle möglichen Gefühle gleich mitspielen. Den Begriff kennt man aus futuristischen Filmen, zum Beispiel haben manche eine Vorstellung, wie Terminator aussieht. Und von daher sprechen wir beide die ganze Zeit von Machine Learning, weil es eigentlich der viel, viel bessere Begriff ist. Er sagt deutlich mehr aus, was denn eigentlich passiert. Nach meinem Verständnis ist eine “Künstliche Intelligenz” immer ein Ziel, auf das man hinarbeitet. Und Machine Learning ist dabei die Verfügbarkeit und der Werkzeugkoffer, der dahinführt. Künstliche Intelligenz ist so ein anmaßender Begriff. Der Intelligenzbegriff ist so etwas menschliches und gerade der soll jetzt plötzlich aus dem Computer herauskommen?
Ariana: Viele, die den Begriff Künstliche Intelligenz hören und im Alltag bereits verwenden denken, dass es um eine abstrakte Welt in der Zukunft dreht. Eine Welt, in der wir etwas auslagern und von selbst bestimmte Lösungen geschaffen werden. Also quasi, ganz ohne Zutun. Dadurch entstehen große Ängste von Menschen und der Gesellschaft, dass uns irgendwann die KI überrumpelt und Entscheidungen trifft. Und deshalb bist du auch heute hier. Wenn Unternehmen Künstliche Intelligenz einsetzen, dann hat das ja nichts mit Outsourcing von Gedanken oder Konzepten zu tun, sondern es sind bestimmte Anwendungsbereiche, die durch bestimmte Prozesse automatisiert bzw. unterstützt werden. Was für verschiedene Bereiche gibt es denn da?
Philipp: Man kann hier grob starke und schwache KI unterscheiden. Bei dem, was Du gerade angesprochen hast handelt es sich um die Vorstellung von einer starken KI. Diese ist das große Ziel – der selbst denkenden und vielleicht selbstbewussten Maschinen. Davon sind wir ganz, ganz weit entfernt. Was wir jetzt haben ist so eine ganz kleine Ecke, mit der wir anfangen und die im ersten Schritt automatisiert werden kann. Machine Learning ist somit eigentlich eher der Weg zu mehr Automatisierung, anstatt dass es ein Weg ist zu wirklich intelligentem Verhalten. Und deshalb gibt es noch nicht in dem riesigen Maße das Outsourcing von Jobs und Unternehmen, die plötzlich vollumfänglich auf KI setzen. Sondern es sind vielmehr diese ganz kleinteiligen Elemente, die früher noch per Hand gemacht wurden und künftig automatisiert werden sollen, um die es geht. Das funktioniert immer da sehr gut, wo sehr viele Daten und repetitive Prozesse vorliegen, wie zum Beispiel bei Sprache. Sprachbots und Sprachassistenten sind ein super interessantes Thema für die ganze Machine Learning-Forschung. Ansonsten sind es aber auch die ganz einfachen Sachen. Zum Beispiel das ganz banale Klassifizieren von E-Mails nach wichtig oder nicht ist so eine klassische Aufgabe, die aus dem Bereich kommt. Oder auch Vorhersagen, ob Kunden kündigen werden oder nicht. Das sind so die typischen Anwendungsfälle von KI heute in Unternehmen.
Ariana: Du hast gerade schon die Unterscheidung in schwache und starke KI angesprochen. Damit unsere Hörer:innen eine Idee davon haben. Unter eine schwache KI fallen Sprachassistenten wie Alexa oder Siri oder andere, die auf den Handys drauf sind. Diese sind spezifiziert auf einen Bereich. Sie können für uns ToDos erstellen, eine WhatsApp schicken, wenn wir das möchten. Und wenn wir über starke KI reden, dann gibt es die noch nicht. Hier denken wir an Protagonisten bzw. Agenten aus Filmen, zum Beispiel Roboter oder Humanoide, die einfach ein komplettes Selbst haben und am Ende vielleicht auch die Welt beherrschen.
Philipp: Ja, diese Ideen sind uns extrem präsent, weil wir uns sowas wie iRobot anschauen. Dort geht es dann um KI, was dann wiederum KI mit Robotern gleichsetzt. Das hat nichts miteinander zu tun. Und es beeinflusst aber den Diskurs. Deshalb ist es wichtig, dass mehr darüber gesprochen wird, was KI eigentlich wirklich ist und welche Anwendungsfälle und Folgen damit verbunden sind. Auch in Talkshows. Aber diese Angst vorm Terminator, die ist nicht real und nicht plausibel.
Ariana: Du hast ja schon ein bisschen die Einsatzgebiete in Unternehmen beschrieben. Vielleicht können wir nochmal darauf eingehen, was der Unterschied zwischen überbewachtem und unüberwachtem Lernen ist. Und auch gerne, was am Ende Deep Learning ist und neuronale Netze. Das sind unterschiedliche Arten, Machine Learning einzusetzen und die teilweise begrifflich nicht voneinander getrennt werden. Diese haben jedoch ganz spezifische Eigenschaften, die auch relevant für uns als Gesellschaft sind.
Philipp: Wir unterscheiden drei Hauptbereiche von Lernmethoden. Diese werden unterschieden, weil wir jeweils eine andere Grundsituationen vorfinden. Man unterscheidet in das überwachte, unüberwachte sowie das bestärkte Lernen.
Beim überwachten Lernen – das Supervised Learning – habe ich einen Datensatz, bei dem ich weiß, was dieser Datensatz bedeutet. Zum Beispiel: Ich habe einen Kunden und ich weiß, ob der Kunde oder die Kunden am Ende des Vertrags kündigen wird. Und, was ich jetzt machen möchte ist, einen Machine Learning Agent darauf zu trainieren, die Beziehung zwischen diesen beiden Punkten zu finden. Also zwischen diesem Informationsvektor, also alles, was ich über die Kundin weiß, und dem Ziel, ob diese Kundin kündigen wird oder nicht. Und dazwischen stelle ich diese Beziehung her. Das ist überwachtes Lernen.
Beim unüberwachten Lernen fehlt mir einfach die Information, nämlich, ob die Kundin kündigen wird oder nicht. Stattdessen möchte ich vielleicht eine ganz andere Frage stellen. Zum Beispiel möchte ich meine Kund:innen clustern. Ich möchte wissen, aus welchen Milieus die kommen, oder aus welchen Gruppen. Oder ich möchte wissen, in welche Gruppen die sich von selber einordnen. Das heißt, ich möchte etwas rausfinden, was ich vorher noch nicht wusste. Also Clustering wäre so eine typische Aufgabe im unüberwachten Lernen.
Und der dritte Teil ist das bestärkte Lernen. Da habe ich keinerlei Daten, die in irgendeiner Form quasi als Exceltabelle vorliegen. Es gibt keinerlei tabellarische Daten, sondern ich habe nur eine Umwelt, in der ich mich bewegen muss. Ein gutes Beispiel ist das autonome Fahren. Wenn vorliegende sensorische Messdaten, die irgendwelche Abstände irgendwohin messen – nicht als feste Tabelle vorliegen. Sondern ich mache etwas und bekomme quasi eine Antwort zurück. Mit jedem Meter, den ich mich bewege, verändern sich die sensorischen Werte, weshalb hierfür ein anderer Lernalgorithmus gebraucht wird.
Ariana: Wir haben jetzt schon über Daten und Training geredet. Wenn wir jetzt Algorithmen trainieren, dann hat das eher nichts mit Kraftraum oder so was zu tun. Wie trainieren wir denn? Also warum trainieren wir und was trainieren wir?
Philipp: Der Großteil dessen, was heute passiert, passiert im überwachten Lernen. Das ist nicht der spannendste Bereich, jedoch ist es der am meisten angewendete Teil im Rahmen von Algorithmen. Was passiert da genau? Wir stellen eine Beziehung zwischen irgendwelchen Informationen und irgendeinem Zielwert her. Die Information bezieht sich dann auf Patienten. Der Zielwert ist dann der, ob diese Patienten einen Schlaganfall haben werden oder nicht. Und das Training ist, dass sich die richtigen Muster zwischen diesen beiden Seiten finden. Als den gesundheitlichen Daten und meinem Outcome, meinem Event, was da passiert. Und das Training ist eigentlich nur die Suche nach der richtigen Gewichtung der Information. Ich nehme die ganzen Datenpunkte, die ich von einer Patientin habe und drücke diese Datenpunkte zusammen auf die Information, ob diese Patientin einen Schlaganfall oder Herzfehler oder irgend sowas innerhalb des nächsten halben Jahres haben wird. Und die Gewichte und das Training entscheiden quasi, wie ich diese Informationen zusammendrücke – welche Information, die ich habe, hat denn mehr Wert und mehr Einfluss auf mein Ziel als eine andere. Training ist also die Suche nach der richtigen Gewichtung, auch wenn das natürlich nichts mit dem menschlichen Training zu tun hat.
Ariana: Also wir suchen Muster, die im Idealfall auf ein Großteil der Menge anwendbar ist, für die der Algorithmus dann geschaffen ist. Und wir versuchen auf Basis der Daten, ein Modell dieser spezifischen Welt zu modellieren. Die Daten mit ihren ganz spezifischen Eigenschaften sind die Essenz eines jeden Machine-Learning-Algorithmus. Sie geben uns die Welt vor, in der wir Muster suchen und auch die Lösungen kommen. Und welche Rolle spielen Daten jetzt ganz spezifisch.
Philipp: Also, wenn Künstliche Intelligenz unser großes Ziel ist, und Machine Learning der Werkzeugkoffer, aus dem wir uns bedienen können, zwischen den verschiedenen Algorithmen, dann sind Daten der Rohstoff, auf dem wir das alles aufbauen. Und die Situation ist, dass ich Muster identifizieren möchte und ich dadurch auch extrem viele Daten benötige. Ziel ist es, ein bestehendes Grundmuster in diesen Daten zu finden, um es dann zu verselbstständigen bzw. zu automatisieren. Ich habe zum Beispiel eine HR-Abteilung, die wertet schon seit Jahren automatisch Bewerber aus, ob diese eingeladen werden oder nicht. Das Wissen der ganzen HR-Mitarbeiter, um zu bewerten, ob jemand eingeladen wird oder nicht, das zeigt sich nach ausreichenden Iterationen in den Daten. Irgendwann ist jeder Fall mal da gewesen. Anhand von Grenzlinien kann ich dann die Muster wieder herausnehmen, um sie dann zu automatisieren. Und genau deshalb sind Daten kein Müll mehr, der irgendwo anfällt und lästigerweise gespeichert werden muss, sondern ein Rohstoff, aus dem ich irgendetwas gewinnen kann. Und jetzt haben wir ein Problem. Junge Unternehmen, Techunternehmen, die schon per se darauf ausgelegt sind, Daten gut und sinnvoll zu erheben. Diese haben natürlich einen Vorteil gegenüber traditionellen Unternehmen, die wahnsinnig viele Datensilos haben, sich extrem dezentral aufstellen und die Daten einfach nicht nutzbar gemacht bekommen. Und genau deswegen haben gerade Startups einen Wettbewerbsvorteil.
Ariana: Apropos Daten und Müll. Es gibt im Machine Learning ja auch ein gern genommenes Sprichwort oder eine Aussage: Garbage in, garbage out. Also hast du verdorbene Daten oder schlechte Daten, die in das Modell einfließen, dann kommt leider auch nichts Gutes bei raus.
Philipp: Bei diesem Garbage in, garbage out handelt es sich genau um dieses große Problem. Ich kann irgendwelche Daten da rein stecken und ich kriege irgendetwas raus. Das Beste, was dann passieren kann ist, dass ich erkenne, dass das Ergebnis nutzlos ist und es nicht weiterverwende. Schwierig wird es da, wenn ich Garbage-Daten reinstecke, die irgendeinen Bias, irgendeine Verzerrung, irgendeinen Nachteil haben, und die dann einen Output generieren, bei dem ich plötzlich glaube, dass dieser Output wertvoll ist. Und, dass ich den dann nutze. Das Problem ist, dass die Automatisierung durch Machine Learning einen gewissen Status Quo qualifiziert und die konstituiert den als API (Programmierschnittstelle im Unternehmen). Die Entscheidung, die vorher vielleicht eine Einzelperson zum Beispiel in der HR-Abteilung getroffen hat, die wird jetzt in einer Softwareentscheidung festgeschrieben und ist vielleicht sogar diskriminierend.
Ariana: Und wo wir gerade beim Thema Recruiting waren, da musste Amazon vor ein paar Jahren feststellen, dass nicht alles automatisiert werden kann. Sie wollten ein internes Machine-Learning-Tool entwickeln, das Ihnen beim Auswahlprozess von Bewerber:innen hilft. Dafür haben sie das Modell mit Bewerbungen von Kanditat:innen trainiert, die erfolgreich eingestellt wurden. Das ist leider ein wenig schief gegangen. Es ging um Jobs im Bereich der Softwareentwicklung und anderen technischen Bereichen. Denn es waren im Vergleich so viele männliche Bewerber und so wenige Frauen, dass das Modell gelernt hat, Frauen runter zu stufen und somit systematisch zu diskriminieren.
Philipp: Ja, genau das ist ein riesiges Problem. Dabei ist es nicht der Algorithmus, der die Diskriminierung reinbringt, sondern diese war vorher schon da. Der Algorithmus zementiert diese Diskriminierung, den bereits vorhandenen Bias. Es wurden vermutlich schon vorher weniger Frauen eingeladen. Frauen hatten bei denen, die die Einladungen rausschicken vermutlich im Kopf dieses virtuelle Minus. Die Umsetzung in ein Machine-Learning-System ist sich dessen nicht bewusst, aufgrund der fehlenden Reflektion. Ein Mitarbeiter könnte das schon. Deshalb ist die Zementierung der Diskriminierung ein großes Problem, besonders, wenn wir das nicht mehr monitoren.
Ariana: Was meinst Du, welche Rolle spielt dabei ein diverses Team? Also Vielfalt in Unternehmen, in Machine-Learning-Engineering-Teams. Kann das was dagegensetzen?
Philipp: Ja, auf jeden Fall. Man braucht zwangsläufig in diesen Teams Personen, die sich dieser Diskrimierung bewusst sind und daraufhin zeigen. Einer, der die Abteilung dazu bringt, darüber nachzudenken. Es handelt sich ja auch schon um eine nachgelagerte Variante. Wir haben ja schon den Bias implementiert und den müsste man jetzt wieder raus kriegen. Den Bias kann man ja auch schon früher eliminieren, indem man Daten viel früher strukturiert anders erhebt. Indem man zum Beispiel bei Fotos zur Gesichtserkennung darauf achtet, dass das nicht alles Bilder von älteren, weißen Männern sind, sondern dass ich da Diversität abbilde, um dann eine gesamte Gesellschaft abzubilden. Und um auch da in der Funktionalität nicht irgendeine systematische Diskriminierung einzubauen.
Ariana: Spannendes anderes Beispiel: Google Fotos. Der Dienst von Google hatte da leider das kleine Problem, dass die offenbar zu wenig schwarze Menschen in ihren Trainingsdaten von Fotos hatten. Und ein Nutzer hat herausgefunden, als er Fotos von ihm und seiner Freundin klassifizieren wollte, es da ein Problem gab. Man kann Fotos mit Schlagworten “Taggen” lassen, zum Beispiel Vogel, Haus, Kochen, Zutaten indem die Bilderkennung erkennt, was auf den Bilder drauf ist. Und dieser Anwender hat eben die Fotos hochgeladen und seine Freundin wurde als Affe klassifiziert. Und das war natürlich ein unglaublich großer Skandal. Es kam heraus, dass Google das selbst durch einen Fehler in der Auswahl der Trainingsdaten hervorgerufen hat. Bis zum heutigen Tage kann man in der Google App Fotos nicht nach dem Begriff “Affen” suchen, da Google es bis heute nicht hinbekommen hat, genug Trainingsdaten zu bekommen. Da können wir vielleicht auch nochmal drüber diskutieren, wie sehr sich die Bilder unterscheiden müssen, um eine Trennung der Kategorien hinzubekommen.
Philipp: Ein katastrophaler Fall. Einen ähnlichen Fall gab es auf Twitter. Wenn man bei Twitter Bilder hochlädt, wird es aufgrund der Ansichtsgröße immer ein wenig zurechtgeschnitten. Twitter sucht automatisch nach der Stelle, die automatisch in der Voransicht angezeigt wird und sobald man draufklickt, sieht man das ganze Bild. In den Fällen, in denen mehrere Personen auf einem Bild zu sehen sind und eine davon ist weiß, eine schwarz, wird immer der Bildausschnitt der weißen Person bevorzugt. Das ist extrem diskriminierend. Es gibt jedoch aktuell auch wenig Einfluss beziehungsweise Regulierung. Das sind Systeme, die sind auf allen Handys verfügbar. Das ist ein schwieriger Fall, keine Frage, aber ein extrem relevanter Fall, der auf jeden Fall gelöst werden muss. Es gibt extrem wenig Regulierung, die Unternehmen dazu bringt, solche Systeme fair zu gestalten. Es gibt keine legislative Grundlage dafür. Dementsprechend sind es, wie im Fall Twitter, User, die das entdeckt haben. Das ist eine Art von sozialer Rückkopplung, die gezeigt hat, dass das ein unfaires System ist. Es gibt eigentlich ganz wenig strukturelle legislative Elemente, die dazu führen könnten, dass sowas überdacht wird.
Ariana: In dem Rahmen spielt Transparenz eine wichtige Rolle. Du hast uns eben schon erklärt, was die verschiedenen Arten von Machine Learning sind. Wie könnte ihr bei Limebit feststellen, dass eure Algorithmen nicht diskriminieren? Wie könnt ihr dem vorbeugen? Gibt es da Arten und Weisen, wie ihr da ran geht?
Philipp: Grundlegend steht immer die Awareness an erster Stelle. Wenn ich nicht irgendwo in meine Maschine Daten hineinschiebe und dabei dem vertraue was hinten dabei rauskommt, dann bin ich schon gar nicht mal so schlecht aufgestellt. Immer dann, wenn ich mir bewusst bin, was ich da mache. Dann kann ich selektieren, welche Informationen, ich dem Modell geben will. Und damit kann ich steuern, wo ein Bias entstehen kann. Wenn ich die Ethnie nicht in das System eingebe, dann kann diese auch nicht für Diskriminierung herangezogen werden. Ich kann zwar Proxies nutzen, die über drei Ecken dann darstellen, dass jemand nicht in Deutschland geboren ist. Da besteht auch wieder die Gefahr, dass das diskriminierend sein kann. Da muss man aufpassen. Ich glaube, das Beste, was man machen kann, ist sehr viel Zeit in das Modell zu investieren, das gebaut werden soll. Dies ist häufig eine Blackbox und nicht leicht interpretierbar. Es gibt dafür verschiedene Interpretationsframeworks, die man nutzen kann. Zum Beispiel, was genau auf diesem Bild wird denn jetzt konkret als Mensch klassifiziert. Welche und wie viele Elemente sind es denn, die wie stark darauf einwirken, dass etwas als Mensch klassifiziert wird. Das sind die Nase und die Augen und die Gesichtsform. Wenn etwas Diskriminierendes rauskommt, muss ich in die Analyse. Muss ich am Algorithmus arbeiten oder mehr Daten einspeisen, um das zu lösen. Probleme sind lösbar. Für die Interpretation der Modelle wird viel Zeit benötigt und es gilt auch, sehr abstrakt da ran zu gehen, um das neuronale Netz lesbar zu machen.
Ariana: Wenn wir auf die Machine-Learning-Algorithmen schauen, sind Daten unwahrscheinlich relevant. Wir hatten eben die Aussage „garbage in, garbage out“. Wir hatten das Amazon-Beispiel, wo eben die Daten von vorwiegend männlichen Softwareingenieuren ausgewertet wurden und dementsprechend Frauen diskriminiert wurden. Wenn wir jetzt auf die Anwendung von Machine Learning in unserer Gesellschaft gehen und Daten so eine riesige Rolle spielen, wie sind denn die bereits in den letzten Jahrzehnten gesammelten Daten einzustufen? In den letzten Jahrzehnten hat sich ja auch einiges geändert. Wenn wir uns jetzt vorstellen, dass Daten aus der Historie genutzt werden, um diese als Grundlage zu nehmen, unsere Welt widerzuspiegeln. Welche Probleme sind damit verbunden?
Philipp: Wir kommen aus einer Zeit, in der Männer und Frauen unterschiedliche Stellungen in der Gesellschaft hatten. In einem aktuellen Projekt “Open Discourse”, werten wir den Deutschen Bundestag und seine Sprache aus. Und da fällt schnell auf, wie unterschiedlich Frauen und Männer eigentlich reden.
Nimmt man als Basis historische Daten mit einer solchen gesellschaftlichen Verzerrung, aus den letzten 70 bis 2000 Jahre, dann führt das zu Problemen, diese auf die heutige Zeit zu übertragen. Deshalb ist es wichtig darauf zu achten, welche Daten mit Bias und Diskrimierung versehen sind, und welche Daten neu gesammelt werden müssen.
Ariana: Das wird wahrscheinlich die große Herausforderung unserer Zeit sein. Ich habe noch ein anderes Beispiel, wo das Training mit historischen Daten dazu geführt hat, dass ein neues Feature eingestellt wurde. Wir sind hier wieder bei Google. Dieses Mal geht es um den E-Mail-Klienten Gmail. Entwickler:innen hatten ein sogenanntes Smart-Compose-Feature implementiert, das beim Erstellen von E-Mails Sätze vervollständigen sollte beziehungsweise vorschlägt. Wenn ich zum Beispiel “I Love” schreiben würde, würde es automatisch “you” oder “it” dranhängen beziehungsweise zur Auswahl stellen. Die Forschungsabteilung hat dann festgestellt, dass beim Schreiben der Satz: I am meeting an investor next week, Do you want to meet him und nicht her vorgeschlagen wurden. Das liegt daran, dass in der Vergangenheit mehr Männer in der Investment- und Finanzbranche tätig und damit öffentlich waren. Der Algorithmus wurde mit solchen Daten trainiert und der hat anhand solcher historischen Daten gelernt, dass Investoren höchstwahrscheinlich männlich sind. Google selbst hat das dann so geändert, dass keine Personalpronomen mehr vorgeschlagen werden, weil sie anders das Problem nicht lösen konnten. Das Ganze ist ein Beispiel, wie ein altes Abbild der Gesellschaft in ein Machine-Learning-Modell implementiert wurde, und eine Welt repliziert, in der wir so gar nicht mehr leben wollen. Und in dem Fall können wir mit den Daten nicht mehr arbeiten. Wie können wir dahin kommen, dass Unternehmen das Problem verstehen? Und dass in unserer Gesellschaft, in der Künstliche Intelligenz und Machine Learning so gehypte Themen sind, vielleicht solche gesellschaftlichen und ethischen Themen gar nicht hinterfragt werden. Ist es realistisch, dass wir diese Daten nicht nutzen?
Philipp: Das ist extrem schwierig. Ich würde auf jeden Fall davon abraten, die Bücher, die alten Romane der letzten 100 Jahre zu nutzen, um dem Algorithmus zu erklären, was eine Frau ist oder was eine typische Frau ist. Das kann nicht funktionieren. Da übertrage ich den Bias von vor 100 Jahren in einen Algorithmus von heute. Das heißt, die Frage, die du da stellst, ist ja eine moderne, relevante Frage. Ich glaube bei Sprache ist das anders. Bei der Sprache können wir ja ständig sprechen und Text- und Sprachquellen suchen, die besser sind, um sowas zu regeln. Da kann ich mir das sicher schon ein wenig freier aussuchen. Bei Patientendaten ist das deutlich schwieriger. Entweder ich habe aus den letzten Jahren Daten von Patienten, und wenn da halt alle Studien und Medikamente auf Männer ausgelegt waren, dann habe ich die Daten und muss trotzdem mit diesen arbeiten. Dann geht es eher darum, das wieder zurück zu lösen. Und das ist eine extrem herausfordernde Situation, wieder zu abstrahieren, diesen Bias herauszurechnen. Wir brauchen viel mehr Diskurs auf dieser Ebene. Was kommt denn eigentlich für eine ganz reale Gefahr aus dem Machine Learning, aus der Automatisierung. Wie wir am Anfang ja gesagt haben, die Diskussion dreht sich viel zu häufig um den Terminator und die großen Ängste, die aus dem KI-Bereich kommen. Aber die ganz realen Ängste, die aus dem KI-Bereich kommen, sind eben genau diese Situationen. Wenn wir davon ausgehen, dass Sprache Realität formt, die Einzelperson sich in ihrem Selbstbild, in Abhängigkeit von ihrer Sprache um sie herum bildet, dann ist das extrem gefährlich, was wir da machen, dass wir das in Produktion nehmen und nutzen.
Ariana: Was ist ein guter Weg, dem entgegen zu gehen? Du bist Machine-Learning-Engineer und kein Mediziner. Wenn wir jetzt an Gesundheitsdaten denken. Es ist wahrscheinlich unglaublich wichtig, mit den unterschiedlichen Menschen aus den Fachbereichen zusammen zu arbeiten. Das man alle möglichen Parteien involviert hat, wenn man eben versucht, ein Modell einer Welt zu bauen.
Philipp: Wir arbeiten im Medizin- oder im Pharmabereich. Da funktioniert das schon ziemlich gut. Da gibt es verschiedene clevere Leute aus den unterschiedlichsten Fachbereichen, die gemeinsam ein Problem versuchen zu lösen. Es gibt andere Situationen, wo es darum geht, schnell ein Produkt zu haben, zum Beispiel diese Bildklassifizierung zu haben. Da ist man nicht so aware dafür, dass das Auswirkungen hat. Bei medizinischen Daten ist sich das Pharmaunternehmen bewusst, dass ihre Datenanalyse, die man macht, auch eine gewisse Folge hat. Und, dass diese ganz gravierend sein kann. Ich glaube, es sind eher die Bereiche, bei denen wir Leute ausschließen. Bereiche, die eigentlich gar nicht direkt so gefährlich wirken. Das sind die Klassifizierungen von Bildern. Es sind die automatischen Ratingsysteme, die zum Beispiel bei der Schufa zum Einsatz kommen. Die Menschen danach klassifizieren und auf ihre Kreditwürdigkeit einordnen, in welchem Stadtteil sie wohnen. Was ja wieder so ein Proxy sein kann für eine soziale oder migrantische Situation aus der jemand kommt. Und dieses soziale Konstrukt, vielleicht ein Brennpunktbezirk, wird dann wieder genommen, um daraus ein Rating zu machen und das ist dann diskriminierend. Und in diesen Fällen ist man sich dessen weniger bewusst, als man es in der Medizin ist.
Ariana: Und vielleicht ist das ein wichtiger Punkt, dass die Machine-Learning-Algorithmen beziehungsweise die Programme, einfach eine Annäherung, ein unterstützendes Ergebnis liefern. Dass am Ende immer eine Person da ist, ein Mensch, der noch einmal eruieren kann, auf Basis anderer Daten, ob dieses Ergebnis jetzt so angewendet wird, oder nicht. Sodass ausgeschlossen ist, dass die Maschine automatisch zu einem Schluss kommt.
Philipp: Das wäre ja eine Lösung dieser Probleme. Wir haben ja gesagt, der KI-Begriff kann als anmaßend verstanden werden. Intelligenz ist ein Ding von Menschen, das ist nichts, was übertragbar wäre. Und Menschen haben Angst vor Outsourcing und vor den nächsten Robotern, also vor Verlust. All diese Probleme haben einen Teil von Validität. Ich glaube aber, der sinnvolle Weg, in den wir es treiben sollten, ist das Zusammenspiel zwischen Menschen und smarten Maschinen. Mithilfe der Künstlichen Intelligenz den Prozess verbessern. Aber es geht nicht entweder das eine oder das andere, es geht nicht darum, dass das eine das andere ablöst. Das ist keine binäre Welt, sondern wir können gucken, an welchen Stellen das wieder zusammen passt, sich gegenseitig ergänzt.
Ariana: Ich glaube, das gibt auch ein bisschen Hoffnung. Es kann besser werden, vielleicht neutraler. Solange uns klar ist, was für Daten wir verwenden und auch, dass wir historische Daten nicht als Modell unserer Welt nehmen. Und solange wir auch ein diverses Team haben, mit verschiedenen Menschen und verschiedenen Fachbereichen, damit wir verschiedene Perspektiven betrachten.
Philipp: Ja, ganz dringend. Auf jeden Fall.
Ariana: Philipp, das sind am Ende doch ganz positive Aussichten zum Thema Künstliche Intelligenz und Machine Learning. Ich hoffe, wir konnten den Hörer:innen ein wenig die Angst nehmen und ein bisschen Verständnis schaffen. Ich bedanke mich für dieses Interview.
Philipp: Sehr gerne, vielen Dank dir.
