Human in the Loop: Wie gelingt die Mensch-Maschine-Zusammenarbeit?

00:00:19: Moin und herzlich willkommen zu unserem CEO2 Neutral Podcast, dem Interview Podcast von

00:00:25: uns, von FET Consulting. Wir begleiten Unternehmen auf ihre Reise der digitalen und nachhaltigen

00:00:30: Transformation und treffen dazu immer wieder interessante GesprächspartnerInnen, die euch

00:00:35: inspirieren und uns inspirieren und zum Nachahmen animieren sollen. Denn am Ende glauben wir

00:00:39: fest daran, dass wenn wir über digitale und nachhaltige Transformation sprechen, das nur

00:00:43: gemeinsam gelingen kann. Und daher freuen wir uns eben auf regelmäßigen Austausch mit ExpertInnen.

00:00:49: Und normalerweise würde ich jetzt einfach Nils fragen, wie es eben so geht, und wir würden

00:00:52: plaudern. Ich bin aber heute alleine, da Nils im wohlverdienenden Urlaub ist. Deswegen darf

00:00:57: ich direkt tatsächlich unseren Gast vorstellen. Und zwar bin ich heute mit Maurice, und zwar

00:01:02: Dr. Maurice Stenzel. Wir wollen ja einmal den Titel in Gänze aussprechen. Ich würde dann

00:01:06: aber aufs Du übergehen, Maurice. Maurice, du bist Senior Researcher am Alexander von Humboldt-Institut

00:01:12: für Internet und Gesellschaft. Und ein aktuelles Forschungsprojekt heißt Human in the Loop,

00:01:18: Autonomie und Automation in soziotechnischen Systemen. Und genau der Punkt, ist halt so

00:01:25: spannend und der trifft uns als Beratungsunternehmen auch so doll, weil wir ja auch uns die ganze

00:01:31: Zeit die Frage stellen, wie gelingt eigentlich die Zusammenarbeit zwischen Mensch und Maschine?

00:01:35: FED steht ja lustigerweise auch für Pairing Humans in Technology. Also ich meine, das ist

00:01:39: wirklich das Kernthema, womit wir uns beschäftigen. Deswegen freue ich mich total mit dir, in nächsten

00:01:44: 30 Minuten ein in das Feld einzutauchen, Maurice, und nicht nur die wirtschaftlichen Aspekte

00:01:49: und Technologieinnovation zu betrachten, sondern eben auch die Auswirkungen auf Gesellschaft,

00:01:53: auf uns Menschen mal mit dir zu besprechen. Jetzt habe ich ganz lang gesprochen, Maurice.

00:01:58: Herzlich willkommen, schön, dass du bei uns bist. Und wie geht es dir? Vielen Dank. Ich

00:02:01: freue mich sehr über die Einladung. Mir geht es sehr gut. Der Sommer steht vor der Tür.

00:02:05: Damit eben auch der wohlverdiente Urlaub, der dann in absehbarer Zeit kommt nach dem Sommer.

00:02:09: Das ist in der Wissenschaft ja immer so. beginnt der Konferenzmarathon. Das heißt, ab September

00:02:13: bin ich relativ viel unterwegs und darf in vielen verschiedenen Gelegenheiten über meine Arbeit

00:02:18: sprechen, was toll ist, aber natürlich jetzt dann vom Urlaub ein bisschen was anhäuft. Dann

00:02:23: freue ich mich, dass wir es noch vor deinem Urlaub geschafft haben, wenn uns ein bisschen

00:02:26: was erzählst. Dune, bevor wir so bisschen direkt reinstarten, dir ins fachliche. Wird mich noch

00:02:32: mal bisschen der Zoom-out interessieren. Wie bist du denn eigentlich in die Forschung gekommen?

00:02:37: und jetzt auch auf das Forschungsthema beschäftigt. Hat dich das schon immer interessiert? War

00:02:42: dir schon immer klar, ich werde Wissenschaftler? Wie kam es dazu? Im Grunde meine Arbeit gehe

00:02:48: ich den Zusammenhängen und den Wechselwirkungen von Digitalisierung und Gesellschaft nach.

00:02:52: Und wenn ich so zurückdenke, dann hat das eigentlich schon relativ früh begonnen, nämlich schon

00:02:55: so Mitte der 90er, als ich begonnen habe, dem alten Windows-311-Rechner bei uns zu Hause

00:03:01: die verschiedenen Fenster durchzuklicken und zu entdecken, was sich dahinter alles so verbirgt.

00:03:05: Irgendwann später kam dann auch das Internet dazu und ich habe zu der Zeit als Jugendlicher

00:03:10: auch relativ viel Musik gemacht. Da brauchten wir dann irgendwann auch eine Internetseite.

00:03:14: Und dann habe ich mir das Ganze mal angeschaut und habe festgestellt, so kompliziert ist das

00:03:18: ja gar nicht und ich kann irgendwie hier auch ein Teil sein, kann mitgestalten, habe angefangen,

00:03:22: Webseiten zu schreiben und so hat sich dann Stück für Stück alles weitere ergeben und ich

00:03:28: bin immer tiefer eingetaucht in dieses Internet. Ab danach meinem Abschluss angefangen zu

00:03:33: forschen in verschiedensten Forschungsprojekten, in denen es eben genau um diese Frage geht.

00:03:37: Also im Grunde, wie organisieren sich eigentlich Gemeinschaften, kulturelle Kontexte unter den

00:03:42: Bedingungen digitaler Vernetzung und habe das an verschiedensten Forschungsprojekten seitdem

00:03:48: auch gemacht und bin dieser Frage nachgegangen. Und dann jetzt natürlich, also ich weiß KI

00:03:52: gibt es natürlich schon viel länger, aber jetzt eben durch die Generative AI gibt es ja einen

00:03:59: wahnsinnigen Boom sozusagen. Also ich glaube keinen Das Unternehmen aktuell vermutlich weltweit

00:04:05: beschäftigt sich gerade nicht mit dem Thema KI und dann sind wir direkt auch an dieser

00:04:09: Schnittstelle Mensch-Maschine nochmal viel mehr angekommen. Ganz einfache Frage zum Anfang.

00:04:14: Wie gelingt denn eigentlich eine gute Zusammenarbeit zwischen Mensch und Maschine? Also zunächst

00:04:18: einmal müssen wir den Blickwinkel darauf nochmal ein bisschen präzisieren, denn aus unserer

00:04:21: Sicht gibt es keine guten Entscheidungen, sondern eben nur gute Prozesse, die zu Entscheidungen

00:04:26: führen. Wir sprechen deswegen in der Forschung, in unserem Forschungsprojekt vor allem von

00:04:30: effektiven Entscheidungsprozessen. Die sind immer auf ein bestimmtes Ziel hinausgerichtet.

00:04:34: Also im Grunde geht es bei unserer Forschung um die Frage, wie kann ich eigentlich die Prozesse

00:04:38: so gestalten, dass Mensch und Maschine wirksam zusammenarbeiten können, dass sie am Ende einen

00:04:42: guten Entscheidungsprozess haben. Weil die Frage, ob eine Entscheidung jetzt gut oder schlecht

00:04:46: ist, sich ohnehin erst im Nachhinein beantworten lässt und auch total abhängt von der jeweiligen

00:04:52: Aufgabenstellung vom Problem, aber eben auch von den jeweiligen Perspektiven, die die verschiedenen

00:04:57: Betroffenen beteiligten, auf das Problemfeld werfen. Was sagst du denn? Also es gibt ja

00:05:03: unterschiedliche Blickwinkel, wenn wir direkt in die Interaktion schauen. Einmal gibt es

00:05:07: natürlich irgendwie direkt, ich als Anwenderin, die irgendwie eine gewisse Verantwortung trägt.

00:05:13: Das gibt aber auch mein Unternehmen sozusagen, das gewisse Rahmenbedingungen. festsetzen

00:05:18: muss, vielleicht können wir da mal so ein bisschen anfangen, die Zwiebel zu schälen sozusagen.

00:05:22: Also sind das die Perspektiven, die du auch schaust, wenn du über Human in the Loop sozusagen

00:05:27: auf dein aktuelles Forschungsthema auch gehst und was sticht da für dich heraus? Klar, damit

00:05:32: sind wir im Grunde beim Kern. In meiner Forschung geht es um die Fragen von Governance, also

00:05:35: im Grunde um die Fragen von Regeln, Bedingungen, also Rahmenbedingungen von Prozessen, von Rollen

00:05:41: und wie müssen die eigentlich verteilt werden, damit es am Ende tatsächlich zu einem Ergebnis

00:05:46: führt, mit dem die Beteiligten zufrieden sind. Also im Grunde einen effektiven Entscheidungsprozess

00:05:51: dahin gebaut haben mit den jeweiligen Systemen, aber eben auch den jeweiligen Menschen, die

00:05:55: darin beteiligt sind. Deswegen ist das im Grunde die Kernfrage. Also wie gestalten wir eigentlich

00:05:59: die Entscheidungsprozesse? Und würdest du sagen, da gibt es irgendwie best practices, die man

00:06:04: auch gut irgendwie implementieren kann, also die ich mir einfach greifen kann auch als Entscheiderin

00:06:08: im Unternehmen oder ist das mehr Einzelfalllogik? auf welcher Höhe sozusagen bist du da unterwegs?

00:06:15: Also eine allgemeingültige Antwort auf diese Frage kann es aus unserer Sicht überhaupt nicht

00:06:18: geben. Das ist vielleicht ein bisschen unbefriedigend, aber das ist nun mal so, denn wie am Ende ein

00:06:24: bestimmter Prozess aussieht, hängt ja total stark vom Kontext ab. Und da kann es einfach

00:06:28: keine allgemeingültigen Lösungen. geben. Wichtig, und das sind im Grunde die übergreifenden Themen,

00:06:35: die für im Grunde eigentlich alle Kontexte gelten, sind erstmal die beiden Leitplanken zu sagen,

00:06:41: wir können nicht das nehmen, was Menschen gut können und das einfach zusammenschalten mit

00:06:45: dem, was Maschinen gut können und haben dann ein gutes Ergebnis. Das funktioniert nicht.

00:06:49: Und ebenso können wir auch nicht darauf vertrauen, dass wenn wir nun den Menschen irgendwie in

00:06:53: einen automatisierten Prozess oder in bestimmte Prozesse auch mit KI reinwerfen, Dass wir

00:06:59: dann allein schon darauf vertrauen können, dass das schon irgendwie gut laufen wird, weil das

00:07:02: ist nicht so. Inwieweit betrachtest du denn auch das Thema Change oder vielleicht auch

00:07:09: Widerstandsmanagement etc. Also wir Menschen werden ja schon gerade sehr krass konfrontiert

00:07:15: auch mit den Themen und da schwingen natürlich auch gewisse Ängste mit. Ängste um Arbeitsplätze,

00:07:20: Ängste vielleicht auch um wie viel kann ich eigentlich wirklich so einer Maschine vertrauen?

00:07:25: Wer ist eigentlich verantwortlich am Ende? Wie guckst du da drauf, also wirklich auf diese

00:07:30: tiefen inneren menschlichen Bedürfnisse, die da auch geweckt werden? Das ist natürlich total

00:07:35: zentral, aber im Grunde rein rechtlich ist es ja immer noch so, dass der Mensch formal die

00:07:39: Verantwortung trägt. Und da sind wir auch genau beim Problem. Denn wenn ich irgendwie einen

00:07:44: automatisierten Prozess stricke, gestalte, ablaufen lasse und am Ende ist ein Mensch da, der eine

00:07:50: Entscheidung oder eine Systemempfehlung als Entscheidung abnicken muss, dann kommen wir

00:07:54: an genau diese Probleme. versteht derjenige oder diejenige überhaupt, was da vorher abgelaufen

00:07:59: ist und ist die Person überhaupt in der Lage, die die Empfehlung einzuordnen. Vielleicht

00:08:05: ist ja auch völliger Quatsch drin. Und da kommen wir an die ganz wesentlichen Fragen auch von

00:08:09: Automation Bias, also der menschlichen Neigung, maschinellen Empfehlungen übermäßig zu vertrauen,

00:08:15: auch wenn das vielleicht gar nicht angebracht wäre. Aber eben das Rüstzeug fehlt, um das

00:08:19: überhaupt richtig einordnen zu können. Und dann natürlich ganz grundlegende Fragen von

00:08:23: wie verändern sich eigentlich auch Rollenbilder und Provinciotsverständnisse von bestimmten

00:08:27: Berufsgruppen, die von heute auf morgen eben mit Veränderungen konfrontiert sind, die ganz

00:08:32: wesentlich auch an den Grundprinzipien ihrer Berufsfelder rütteln. Und das sehen wir in

00:08:37: unseren Fallstudien auch ganz deutlich. Das heißt, ist ja auch dann doch nochmal auch ein

00:08:42: riesen Kompetenzaufbau, der da notwendig ist an der Stelle. Und ich finde, was ich auch

00:08:48: so spannend finde, ist wirklich zu überlegen, Wie viel Wissen wollen wir eigentlich auch

00:08:54: am Ende rein Maschinen geben sozusagen und gar nicht mehr selber inne haben? Also den

00:08:59: Punkt, den du auch meintest, da bin ich eigentlich in der Lage, einen gewissen Outcome, der durch

00:09:04: eine Maschine erzeugt wurde, überhaupt entsprechend auch bewerten zu können, weil ich glaube...

00:09:11: Also das ist schon ein bisschen die Bewegung, die ich auch sehe, dass wir da mehr und mehr

00:09:14: einfach unsere Kompetenzen da reingeben, unser Wissen da rein spülen und dann sagen, naja,

00:09:19: jetzt weiß das ja die Maschine und die gibt mir ja die beste Antwort. Das ist ja auch wieder

00:09:23: spannend aus einer gesellschaftlichen Sicht sozusagen, wie sehr wollen wir eigentlich noch

00:09:27: Herr der eigenen Entscheidungen sein? Absolut, da gebe ich dir total recht und auf eine Art

00:09:32: ist das auch echt ein bisschen unfair. Uns das überlegen, stellen wir uns ein Szenario

00:09:36: vor. Ein Mitarbeiterin eines Unternehmens ist mit einem Empfehlungssystem konfrontiert in

00:09:43: ihrem Arbeitsalltag und bekommt jetzt eine Empfehlung, besetzt als nächstes den Schritt XY in Gang.

00:09:50: Und jetzt gibt zwei Möglichkeiten. Die Mitarbeiterin ist also vor die Aufgabe gestellt, dass sie

00:09:55: diese Empfehlung erstmal verstehen muss, einordnen muss und sich dann entscheiden muss. Entweder

00:09:59: ich folge dem oder ich überschreibe das. Also ich mache das genaue Gegenteil. Und das erzeugt

00:10:05: das, was wir in der Forschung eine doppelte Unsicherheit nennen. Also im Grunde genau diese

00:10:09: Frage entweder ich folge oder ich überschreibe beides und das ist der Kernpunkt hat aber oder

00:10:14: kann für mich als MitarbeiterInnen, die das dann am Ende auch entscheiden muss, Auswirkungen

00:10:18: haben. Nämlich ich kann mir, wenn es am Ende schief geht und das ist ja der Fall, um den

00:10:22: es am Ende geht, weil solange alles gut läuft, es faktisch kein Problem. Aber wenn schief

00:10:27: geht, dann ist es ein Problem, weil dann muss ich argumentieren, warum ich blind links So

00:10:32: stellt sich es dann im Nachhinein da oder zumindest im Vorwurf der Maschine gefolgt bin oder eben,

00:10:37: warum ich davon abgewichen bin, obwohl die Empfehlung vielleicht richtig war. Und das erzeugt im

00:10:42: Grunde eine Schieflage, weil das erst mal voraussetzt oder da implizit eigentlich die Voraussetzung

00:10:47: drinsteckt, dass die Personen, die das am Ende entscheiden, auch tatsächlich über das notwendige

00:10:52: Wissen verfügen, diese Entscheidung überhaupt treffen zu können. Also sich hier wirklich

00:10:55: begründet verhalten zu können. Und da sind wir noch lange nicht. Nee, das ist echt super spannend.

00:11:01: ja gerade festgestellt wird, da gab es auch immer wieder Auswertungen über Jobportale etc.

00:11:07: Und auch, wir merken das auch bei Kunden und auch bei anderen Beratungshäusern, dass weniger

00:11:13: Juniornstellen ausgeschrieben sind und gestafft werden. Und ich finde die Frage liegt ja nahe,

00:11:19: ja okay, aber wo kommen dann die zukünftigen Senioren und Senioren denn eigentlich her im

00:11:24: Kompetenzbereich, wenn wir nicht mehr gewillt sind, junge Leute auszubilden? Wie guckst du?

00:11:31: gar drauf, nimmst du das auch wahr und was hat das eigentlich auch wieder für Auswirkungen

00:11:36: am Ende auf uns? Natürlich, das sehen wir in ganz ganz ganz vielen Bereichen, dass es immer

00:11:40: darum geht, okay, ich kann die Einstiegsjobs automatisieren, das sind Routinearbeiten, die

00:11:45: lassen sich gut weg automatisieren, wenn man das so nennen möchte. Allerdings ist das ein

00:11:49: bisschen kurzfristig gedacht, denn einerseits kann man natürlich argumentieren, dass sowas

00:11:53: kurzfristig effizientere Prozesse schafft, aber ich bin nicht mehr auf Mitarbeiter angewiesen,

00:11:58: muss die vielleicht nicht mehr einlernen. Aber langfristig oder auf lange Sicht gesehen

00:12:02: ist das aus unserer Sicht ein totales Eigentor. Denn im Grunde kann man ja auch die Parallele

00:12:07: ziehen, wie soll man denn jemals Meister werden, wenn man vorher nie Azubi war? Und da geht

00:12:11: es ja genau um diese Phase auch, um das Lernen, um das Begleitetwerden beim Lernen von älteren

00:12:17: Lernen, aber eben auch Fehler machen dürfen und aus diesen Fehlern lernen. Und wenn all

00:12:22: das wegfällt, dann stellt sich natürlich die Frage, wie ich am Ende, wenn es darauf ankomme,

00:12:27: wenn ich nämlich die Erfahrung haben muss oder die Kompetenzen auch aufgebaut haben muss,

00:12:32: dann verfüge ich darüber nicht. Und deswegen ist es aus unserer Sicht, auf lange Sicht,

00:12:35: ein Eigentor. Absolut. Wie guckst du denn, hast jetzt erzählt, du bist ja auch wirklich technisch

00:12:41: sehr interessiert. Was wir hier auch viel diskutieren, ist natürlich auch Coding sozusagen. Das macht

00:12:49: ihr eigentlich jetzt, also ich die noch nie in ihrem Leben eine Zeile Code geschrieben

00:12:53: habe. kann ja unterschiedliche Maschinenmodelle sagen, bauen wir eine Website, machen wir das

00:12:58: und dann ist da ein gewisser Code hinter. Das ist ja auch eine große Gefahr, dass wir am

00:13:02: Ende irgendwelche Produkte vielleicht sogar monetarisieren und wir kennen nicht mal den

00:13:06: Code. Wie ordnest du das? Du bist schon ein bisschen drauf eingegangen, aber ich finde,

00:13:10: es gibt so unterschiedliche Bandbreiten, wie weit das halt führen kann. Und ich merke hier

00:13:16: bei uns auf jeden Fall in der Beratung, unsere Developer sind da schon sehr kritisch, so sehr

00:13:20: sie auch KI schätzen, die sie es auch unterstützt natürlich in einen Code zu schreiben, aber

00:13:25: so dieses Wissen einfach so wegzugeben oder schimpfst und falls jemanden wie mich da einfach

00:13:29: loszulassen und ich mache dann da wild irgendwelche Sachen und weiß ja aber eigentlich nicht, was

00:13:33: ich wirklich getan habe am Ende. Ganz genau und das ist das Problem. Also wir kommen hier

00:13:38: an eine Frage von Literacy. Also wie viel weiß ich eigentlich über das, was ich da tue und

00:13:42: vor allem, was ich damit anstoße? In uns geht es hier vor allem auch um darauf, dass wir

00:13:46: darauf hinweisen, können Ketteffekte, Pfadabhängigkeiten und Wechselwirkungen entstehen, die wir irgendwann

00:13:53: zum späteren Zeitpunkt gar nicht mehr richtig einschätzen, geschweige denn kontrollieren

00:13:57: können. Und Programmieren mit Hilfe von Sprachmodellen und KI-Assistenten ist ein gutes Beispiel dafür.

00:14:04: Und es ist ja tatsächlich auch ziemlich faszinierend. Ich habe das auch ausprobiert und es geht sehr

00:14:08: schnell und sehr einfach, dass man brauchbare Ergebnisse bekommt. Der Teufel steckt dann

00:14:13: in Detail. Okay, hast du denn irgendwie Branchen oder Beispiele, wo du sagst, das ist mal spannend,

00:14:22: sich da etwas abzuschauen oder hast du auch Fallbeispiele, die interessant sind für uns,

00:14:28: für HörerInnen, sich da mal irgendwie inspirieren zu lassen? Ja, aktuell in unserem Human in

00:14:34: the Loop Projekt forschen wir in verschiedenen Fallstudien, indem wir uns Automatisierungsszenarien

00:14:38: anschauen. Da spielt auch ganz, ganz, ganz viel KI eine Rolle, aber in manchen Bereichen eben

00:14:43: auch nicht. Und ein Bereich, an dem wir gerade viel forschen, ist der Bereich der Luftfahrt.

00:14:48: Und das ist wirklich eine faszinierende Fallstudie, weil gerade in der Luftfahrt seit vielen Jahrzehnten

00:14:54: das wirklich wahnsinnig gut funktioniert. Da gibt es ganz, ganz viel Technik und hoch ausgebildete

00:15:00: Menschen, die mit dieser Technik auch umgehen können und dafür sorgen, dass wir in der Regel

00:15:05: und der absoluten Mehrzahl alle wieder heile am Boden ankommen. Das funktioniert sehr, gut.

00:15:11: Und einer der Punkte, was da so gut funktioniert, ist, dass sie es eben geschafft haben, aus

00:15:16: Fehlern gut zu lernen. Und da können wir uns, glaube ich, wirklich eine Menge von abschauen.

00:15:22: Zum Beispiel, was die eben machen, sehr detaillierte Unfallanalysen. Und das ist ein Level an Detail,

00:15:28: was sie da erreichen, was über das, was in anderen Branchen passiert, wenn Krisensituationen eintreten,

00:15:34: wirklich bei weitem hinausgeht. Da gibt es ja dann... umfassende Flugunfalluntersuchungen,

00:15:39: verschiedenste Behördeninstitutionen, da zusammenkommen, Expertise aus der Wissenschaft, die dann alle

00:15:45: ihre Erkläransätze zusammenbringen und vor allem, und das ist der entscheidende Punkt, dieses

00:15:50: Wissen, was da in diesen Analysen erarbeitet wird, auch wieder zurückgeben in die Breite.

00:15:54: Und das ist was, das funktioniert hier wirklich richtig, richtig gut. Das heißt, hier gibt

00:15:59: es also eine klare Fehlerkommunikation auch nach außen. Das heißt, wenn in der Luftfahrt

00:16:03: zum Beispiel Krisensituation eintreten und irgendwie gelöst werden, dann werden die auch

00:16:07: kommuniziert. Das heißt, es gibt da sogenannte Safety Bulletins, die werden dann auch relativ

00:16:12: kurzfristig rumgeschickt. Da steht dann drin, XY hatte folgendes Problem. Die Pilotinnen

00:16:19: haben so und so reagiert. Das war in dem Moment vielleicht aus Trainingsperspektive richtig,

00:16:24: aber im Nachhinein trotzdem problematisch, weil der Sensor vereist war und deswegen falsche

00:16:28: Daten gegeben hat und deswegen war es kontraproduktiv. Deswegen Bitte darauf achten, das oder doppelt

00:16:34: validieren, ob nicht vielleicht ein anderer Zustand des Flugzeugs vorhanden ist, als das,

00:16:38: was die Sensoren anzeigen zum Beispiel. Und solche Fehler aus dem Einzelnen werden dann

00:16:43: aufbereitet und für die gesamte Welt im Grunde aufbereitet und frei zur Verfügung gestellt.

00:16:48: Ja, voll spannend. ich meine, in dem Fall geht es ja wirklich um Menschenleben, deswegen ist

00:16:53: es wahrscheinlich auch so logisch, das zu tun. Wir stützen ein den Punkt, den wir glaube ich

00:16:57: auch oft haben oder der oft auch in dem Podcast vorkommt. sich innerhalb einer Branche oder

00:17:03: Industrie in diesen Verbänden sozusagen einfach noch offener auszutauschen und eben genau auch

00:17:08: diese Transparenz zu schaffen. Ich glaube, man lernt am meisten ehrlicherweise über, wir nennen

00:17:14: es auch gerne so Fuck-ups sozusagen, die dann geteilt werden. In der IT geht es ja dann auch

00:17:19: oft um Security-Sicherheitsvorfälle. Einfach wenn wir drüber sprechen und sagen, wie wir

00:17:24: gehackt wurden, passiert es vielleicht anderen nicht so mehr oder weniger. Ich glaube, da

00:17:28: werden wir noch ganz viel rund um diese Themen auch hören, ehrlicherweise. Und es muss immer

00:17:35: nur, glaube ich, innerhalb einer Branche oder einer Industrie oder eines Verbandes einmal

00:17:38: mutig vorgehen und mal teilen. Und dann kommen, glaube ich, die anderen Storys auch alle. Weil

00:17:42: natürlich passieren Fehler überall aktuell, auch bei uns. Und man muss nur drüber reden.

00:17:48: Ganz genau. Aber das hat auch viel mit Fehlerkultur zu tun. Und ich glaube, da können viele Branchen

00:17:52: auch noch nachziehen, um auch hier nochmal ein Beispiel aus der Luftfahrt zu bemühen. Es

00:17:57: gab einen sehr schweren Flugunfall damals auf Teneriffa mit sehr, vielen Toten und der hatte

00:18:04: genau das Problem. Also es gab zwei Piloten im Cockpit und der deutlich jüngere und unerfahrene

00:18:10: Co-Pilot hat sich nicht getraut, wesentlich erfahrenen Kapitän auf seine Fehlentschätzung

00:18:15: hinzuweisen. Nämlich, dass am Ende der Startbahn noch ein anderes Flugzeug steht. Das hat er

00:18:20: erwartet und hat sich aber nicht getraut, das zu sagen und darauf hat die Luftfahrt reagiert.

00:18:24: mit einer ziemlich spannenden und wie ich finde auch sehr übertragbaren Incentivierung von

00:18:32: Fehlerkommunikation. Denn im Grunde sagen sie, wenn ich einen Fehler mache in der Luft, das

00:18:37: gilt für bestimmte Fehlerklassen, nicht pauschal, aber wenn ich einen bestimmten Fehler mache

00:18:41: und mir fällt das auf, dann melde ich das und dann wird das kommuniziert und ich habe keine

00:18:45: Konsequenzen zu befürchten. Wenn ich das nicht tue und es fällt auf, dann kriege ich ein Problem.

00:18:51: Und das schafft natürlich total starke Anreize zu sagen, hey, es ist kein Problem. Ich habe

00:18:55: einen Fehler gemacht, kann anderen genauso passieren, aber damit es anderen nicht passiert, melde

00:19:00: ich das und alle anderen können davon lernen. Und diese Fuck-up-Nights zum Beispiel aus der

00:19:04: IT-Branche oder auch aus anderen Start-up-Bereichen, da gibt es das ja auch inzwischen. Das ist

00:19:10: eine ähnliche Richtung, aber gerade so eine klare Incentivierung für eine offene Fehlerkultur

00:19:14: und auch eben einen anderen Umgang mit den Konsequenzen, das ist etwas, wo wir uns, glaube ich, nochmal

00:19:19: eine Menge abschauen können. Ja, absolut. Und aus dann wieder Entscheider in Unternehmensführungsperspektiven

00:19:24: ist, glaube ich, Das heißt, wenn du über Boni, Bonifizierung oder ebenso Inzidenzierung sprichst,

00:19:30: so wie du es baust, so wird es auch gelebt werden. Das heißt, je nachdem, ob du eher in Bestrafung

00:19:35: oder Belohnung denkst, so werden natürlich die Mitarbeitenden agieren, weil das der Rahmen

00:19:39: ist, der ihnen vorgegeben wird. Im Grunde, um es auf den Punkt zu bringen, aus Fehlern lernen

00:19:43: heißt auch, Fehler sichtbar machen dürfen. Und das ist im Grunde der Kern, an den es geht.

00:19:47: Wenn ich eine Unternehmenskultur, Struktur habe, in der das möglich ist. dann kann ich auch

00:19:53: die Vorteile davon heben und dann können alle davon lernen. Habe ich das nicht und eher ein

00:19:58: Klima von gehemmter Kommunikation oder auch Intransparenz, dann schadet das im Grunde dem

00:20:04: ganzen Unternehmen. Und deswegen kann man eigentlich nur sagen oder nur dafür plädieren, auch offen

00:20:08: mit Fehlern umzugehen und sie auch machen zu dürfen und sie dann eben auch kommunizieren

00:20:13: zu dürfen. Und das wiederum spielt natürlich auch wieder ein bisschen ein auf den Punkt,

00:20:16: wir vorher hatten. Also die Fehler. Die mache ich vor allem oder die wesentlich unproblematischen

00:20:21: Fehler mache ich vor allem am Anfang der Karriere. Kann daraus lernen, kann daraus Erfahrungen

00:20:25: ziehen, aus denen ich und viele andere eben auch noch mitlernen können. Ja, mega spannend.

00:20:30: Ich denke die ganze Zeit noch ein bisschen drauf rum. Das war bei der allerersten Frage,

00:20:36: dir gestellte, da bist du ja sehr auf. Es geht um den Prozess, der zu einer Entscheidung führt.

00:20:42: Und das merken wir eben auch in Digitalisierungsprojekten oder KI-Projekten. gibt es ja in den meisten

00:20:48: Fällen darum, einen Prozess effizienter zu gestalten, zu digitalisieren, was auch immer. Und da braucht

00:20:55: man vor allem ein Prozessverständnis und man braucht in den meisten Fällen, ja ein Prozess,

00:21:00: also meistens nicht nur Schritt eins, zwei und dann haben wir ein Ergebnis und das betrifft

00:21:04: nur eine Person oder eine Abteilung, gibt es auch, aber spannend sind ja die komplexeren

00:21:08: Prozesse, die mehrere Abteilungen betreffen, mehrere Rollen. Und ich merke schon, dass es

00:21:13: ganz oft den entsprechenden beteiligt. entlang eines Prozesses echt schwerfällt, sich darauf

00:21:19: einzulassen, auch wirklich nochmal diesen Prozess anzuschauen und vielleicht auch den nochmal

00:21:25: kritisch zu hinterfragen. Also in der Beratungsbranche sagen wir immer so Shit in, Shit out. Ein scheiß

00:21:30: analoger Prozess ist auch ein beschissener digitaler Prozess. Und ich merke aber, dass da ganz

00:21:35: doll dieses Prozessverständnis und auch hier sich das anzugucken und vielleicht auch zu

00:21:39: sagen, ich glaube, das ist nicht der beste Weg, wie wir es machen. Ich glaube, das geht besser.

00:21:43: fällt wirklich schwer, ist aber die absolute Grundlage, wenn wir wirklich über Effizienzsteigerungen

00:21:49: und tatsächlich auch wirklich sinnvolle Mensch-Maschine-Interaktion sprechen wollen, weil wenn der Prozess nicht

00:21:56: geil ist, wird auch der Outcome nicht geil sein. Da denke ich gerade die ganze Zeit drüber nach,

00:22:00: wie man das nochmal besser auch, vielleicht kommunikativ besser machen kann mit den entsprechenden

00:22:06: Beteiligten. dass es ja gar nicht darum geht, jetzt zu sagen, du hast ja einen ganz blöden

00:22:10: Prozess aufgestellt und wie du es die letzten 20 Jahre gemacht hast, ist blöd. Darum geht

00:22:14: es ja nicht. Es geht ja um den Weg nach vorne. Jetzt habe ich ganz viel geredet, sorry, aber

00:22:18: das geht nicht aus meinem Kopf. Nein, das ist total spannend und das sind auch Themen, mit

00:22:21: denen ich mich auch schon seit langem beschäftige, auch in anderen Projekten davor. Aber bevor

00:22:26: wir da vielleicht ein bisschen noch mehr ins Detail gehen, eine Überlegung noch dazu. Denn

00:22:32: im Grunde auch ist... geht überhaupt nicht um die Bewertung zu sagen, dass es ein schlechter

00:22:36: Prozess sind, da gebaut hast, sondern eigentlich geht es aus meiner Sicht erst mal darum, dass

00:22:39: man ein geteiltes Transformationsverständnis bekommt. Also worum geht es hier eigentlich?

00:22:44: Weil digitale Transformation heißt aus meiner Sicht eben nicht unbedingt, dass wir den Prozess

00:22:49: aus dem Analogen nehmen und ihn ins Digitale übersetzen. Das ist eine Möglichkeit, das wird

00:22:53: oft gemacht, aber wir sehen auch in der Forschung, da geht eine ganze, ganze Menge verloren von

00:22:57: dem, was eigentlich möglich wäre. Deswegen plädieren wir eigentlich dafür, digitale Transformation

00:23:03: als Chance zu begreifen, die Dinge auch komplett anders zu denken und eben zu sagen, haben einen

00:23:07: Prozess, den haben wir bisher immer gemacht, das hat auch gut funktioniert, weil wir 20

00:23:11: Leute dafür hatten, die Akten zu bewegen und zu prüfen. Die haben wir jetzt nicht mehr oder

00:23:17: wollen sie vielleicht nicht mehr haben. Wir glauben, dass wir das Gleiche in weniger Zeit

00:23:20: besser hinbekommen. Dafür müssen wir aber noch mal ganz grundsätzlich an den Prozess ran.

00:23:25: Und damit meine ich nicht, dass wir grundsätzlich an alles die Axt legen sollten, sondern eben

00:23:29: mit Bedacht uns die Prozesse anschauen. Aber vor allem immer mit Blick auf das Ziel. Also

00:23:33: was ist eigentlich das Ziel, was ich erreichen möchte und was habe ich dafür zur Verfügung

00:23:37: oder was benötige ich dafür? Weil dann kann ich mir genau Gedanken machen, wie ich das

00:23:42: Ganze stricke. Aber da sind wir aktuell in der Praxis in ganz, ganz, ganz vielen Bereichen

00:23:46: gar nicht. Und das haben wir in anderen Projekten auch gesehen. Finde ich super spannend. da,

00:23:51: da komme ich vielleicht nochmal auf dich zurück. Du, ich habe noch eine Allgemeinere Frage,

00:23:57: ich muss zugeben, ich hatte noch nie was vom Humboldt-Institut für Internet und Gesellschaft

00:24:02: gehört. Das klingt dir aber A, total spannend und B, ja, also relevant wie irgendwie nochmal

00:24:09: was. Kannst du vielleicht ein bisschen was über euch nochmal erzählen, was so allgemein Forschungsbereiche

00:24:14: sind, was dich vielleicht auch dahin gezogen hat? Also ich finde das irgendwie total interessant.

00:24:19: Ja, gerne. Also das Humboldt-Institut für Internet und Gesellschaft in Berlin gibt es seit 2011

00:24:23: und wir waren im Grunde das erste Forschungsinstitut in Deutschland, das sich mit den Wechselwirkungen

00:24:32: von Digitalisierung und Gesellschaft mit Blick auf Internet beschäftigt hat. sind ein außeruniversitärisches

00:24:40: Forschungsinstitut. Das heißt, wir sind frei. Wir sind frei in der Themenwahl, können Schwerpunkte

00:24:45: setzen und diese freie Struktur ermöglicht uns auch genau das zu tun. Im Grunde geht es

00:24:52: um die Schwerpunktbereiche Innovation und Governance. Das sind die beiden Schwerpunktthemen, um die

00:24:57: eigentlich alle Projekte und alle Themen Schwerpunkte, Schwerpunktbereiche, die wir haben, auch kreisen

00:25:02: mit jeweils unterschiedlichen Blickwinkeln. Also wir haben aktuell vier Forschungsschwerpunkte

00:25:07: und die beschäftigen sich zum Beispiel mit demokratischem Wandel und Wissen, Unternehmertum und Gesellschaft,

00:25:14: Innovation, KI und Transformation und neuen Technologien und Zukunft des Rechts. Da bin

00:25:20: ich auch angesiedelt mit dem Human in the Loop Projekt, gemeinsam mit meinen Kolleginnen,

00:25:23: mit denen wir das gemeinsam machen. Wir sind ein großes Team. Und vor allem ein Punkt, der

00:25:28: ganz, ganz wichtig ist für das Human in the Loop Projekt, für den Forschungsschwerpunkt,

00:25:33: aber auch für das Institut insgesamt, ist, dass wir interdisziplinär aufgestellt sind. Und

00:25:36: das macht total Spaß. Und das ist auch der Grund, der mich hierhergezogen hat, diese Punkte Innovation

00:25:42: und Governance. Also im Grunde, wie organisieren wir eigentlich Dinge, Gemeinschaften? Projekte,

00:25:48: you name it, unter den Bedingungen digitaler Vernetzung braucht genau diesen interdisziplinären

00:25:52: Blick. Und da andere Forschungsinstitutionen aus meiner Perspektive einfach ein bisschen

00:25:59: enger und wir schauen hier ein bisschen breiter und wie ich finde auch frischer auf die Dinge

00:26:03: und das macht einfach wahnsinnig viel Spaß. Mega cool. Das heißt, you're in the loop, um

00:26:08: da nochmal zu bleiben. Sprecht ihr dann auch wirklich viel direkt mit Unternehmen und UnternehmerInnen?

00:26:13: Also es wirkt auch sehr praxisorientiert sozusagen, wie ihr vorgeht? Unbedingt. Wir machen hier

00:26:19: angewandte Grundlagenforschung und das geht nur, wenn man mit den Leuten auch spricht,

00:26:22: es am Ende tagtäglich tun oder tagtäglich tun möchten oder besser machen möchten. Im Jungen

00:26:28: in the Loop Projekt, ich habe es ja vorhin schon angesprochen, wir machen das in vier Fallstudien,

00:26:32: indem wir uns verschiedene Automatisierungsszenarien anschauen. Das war zu Beginn des Projektes,

00:26:38: das läuft jetzt schon etwas mehr als zwei Jahre, war das Automatisierung und Kreditvergabe.

00:26:42: Da haben wir mit verschiedensten Stakeholdern gesprochen, die in dem Bereich unterwegs sind,

00:26:46: von Unternehmen, die Kredite vergeben, Aufsichtsbehörden und den ganzen Intermediären, die da so dazwischen

00:26:52: hängen. Die zweite Fallstudie war Konta-Moderation, also im Grunde die Moderation von Inhalten

00:26:58: in sozialen Netzwerken. Auch da haben wir mit unterschiedlichsten Stakeholdern gesprochen,

00:27:03: von Plattformen aller Größenordnungen bis hin zu zivilgesellschaftlichen Akteuren, PolitikerInnen,

00:27:10: hier wieder Regulierungen und Aufsichtsbehörden und arbeiten eben aktuell an dieser Studie

00:27:14: zur Automatisierung in der Luftfahrt und sprechen da auch mit ganz, ganz vielen unterschiedlichen

00:27:19: Menschen in unterschiedlichsten Funktionen. Und das war auch für mich total spannend, weil

00:27:23: sich da wirklich ganz, ganz, ganz viel geöffnet hat und mir war überhaupt nicht klar, welche

00:27:26: zentrale Rolle zum Beispiel der Deutsche Wetterdienst hat, wenn wir über Automatisierung in der

00:27:31: Luftfahrt nachdenken. Aber das ist wirklich abgefahren, weil sich gerade in der Luftfahrt

00:27:35: eben auch, wenn man jetzt auch über Deutschland hinausguckt, zeigt, wie Zusammenarbeit auch

00:27:39: auf globaler Ebene funktionieren kann. Aber das ist ja de facto so. Wir sind in der Lage,

00:27:44: genaueste Wetterinformationen auch über riesigen Wüsten in Ländern zu bekommen, wo meilenweit

00:27:51: keine einzige Wetterstation steht. Aber durch internationale Zusammenarbeit kann auch das

00:27:55: funktionieren und mit dem Ergebnis, dass es eben für alle gut funktioniert und alle heile

00:28:02: unten ankommen. Und das ist eine sehr beruhigende Nachricht, die, finde ich, auch Mut macht für

00:28:07: viele andere Bereiche. Absolut. Wir kommen langsam zum Abschluss und was uns immer so interessiert

00:28:14: ist, gibt es denn irgendwie ExpertInnen, MentorInnen bei dir, wo du sagst, die inspirieren mich

00:28:20: total, weil irgendwie ich lese da jeden Beitrag oder Veröffentlichungen oder ... Die Person

00:28:26: rufe ich an, wenn ich mal nicht weiter weiß, gibt es da jemanden, den du hier gerne noch

00:28:30: mal einen Shoutout gibst? Klar, ich lese viel, was den Diskurs um Digitalisierungsthemen

00:28:37: angeht. Da habe ich von den Leuten, die mich so richtig begeistern, die Telefonnummer bislang

00:28:41: leider noch nicht. Vielleicht ändert sich das auch noch mal in nächster Zeit. Dann würde

00:28:46: ich die vielleicht auch anrufen und vielleicht würden sie dann sogar auch abnehmen. Ansonsten

00:28:50: haben wir am Institut hier in Berlin natürlich eine ganze Reihe sehr interessanter Kolleginnen,

00:28:57: die in unterschiedlichsten Bereichen arbeiten, mit denen ich an der Kaffeemaschine und sonst

00:29:01: wo bei allen anderen Gelegenheiten immer ins Gespräch kommen kann. Das ist wirklich was,

00:29:05: was uns hier immer weiter bringt, weil da die allerbesten Themen entstehen, gerade auch in

00:29:09: den Gesprächen, wenn man sie gar nicht mit dem Ziel ansetzt, neue Projekte zu entwickeln,

00:29:13: dann kommt man auf Themen in der gemeinsamen Diskussion, wo es sich lohnt, mal genauer

00:29:17: darüber nachzudenken. Oder eben auch wenn ich über Themen stolper, die für unsere Projekte

00:29:22: wichtig sind, findet sich hier immer jemand, daran arbeitet. Zum Beispiel haben wir eine

00:29:29: Kollegin, die hier arbeitet zur Auditierung von nachhaltigen KI-Systemen. Das ist ein Thema,

00:29:35: was glaube ich wirklich von großer Relevanz ist. Und da bin ich wirklich gespannt auf die

00:29:39: Ergebnisse dieser Auditierungsmethode, die da bald kommen wird. Zum Thema Nachhaltigkeit

00:29:44: haben wir ansonsten auch den Forschungsschwerpunkt zu Innovationen, Unternehmertum und Gesellschaft,

00:29:49: die sich auch inzwischen abgeschossenen Projekten viel mit nachhaltigem Unternehmertum in verschiedenen

00:29:55: Gegenden der Welt auch auseinandergesetzt haben. Also da gibt es schon alleine hier am Institut

00:29:59: dadurch auch, dass wir so themenoffen und interdisziplinär aufgestellt sind. Viele Menschen, denen ich

00:30:04: ganz unmittelbar sprechen kann, wo ich sogar nicht mal zum Hörer greifen muss. Ja, da ist

00:30:07: ja wirklich jede Kaffeepause eine einzige Inspirationsquelle. Unbedingt. Letzte Frage, Morius, was sollen

00:30:15: denn die Hörerinnen jetzt mitgenommen haben aus der Folge? Wichtig sind mir vor allem drei

00:30:21: Dinge. Denn zunächst einmal muss man sich einfach von dem Gedanken verabschieden, dass es ein

00:30:26: Patentrezept für gute Mensch-Maschine-Zusammenarbeit gibt. Denn das ist was, einfach einen genaueren

00:30:32: Blick erfordert auf den Kontext, auf meine Zielsetzung, was möchte ich eigentlich erreichen und vor

00:30:37: allem auch auf die Wechselwirkungen, die damit entstehen können. weil wir eben nicht dieses

00:30:41: Summen-Spiel von 1 plus 1 gleich 2 haben, sondern da kann eben auch ein ganz anderes Ergebnis

00:30:46: rauskommen, wenn ich Mensch und Maschine zusammenbringe und darüber muss ich mir Gedanken machen. Also

00:30:50: diese Wechselwirkungen. Zweitens muss ich diese Zusammenarbeit vor allem auch mit bedacht gestalten.

00:30:55: Ich kann nicht einfach was zusammenstöpseln und hoffen, dass das schon irgendwie funktionieren

00:30:59: wird, weil diese neuen Herausforderungen entstehen und der Mensch hierbei aber eben, das sagte

00:31:04: ich auch eingangs, nicht bloß Hähnchen sein kann und auch nicht sein darf. sondern es hier

00:31:09: eben vor allem auch gerade bei diesem Begriff human and the loop, so wie wir ihn denken,

00:31:13: vor allem auch um ein Gestaltungsprinzip geht. Also wir haben, werden Mensch und Maschine

00:31:18: zusammenarbeiten, haben wir ein sozio-technisches System, was über den einzelnen Player, also

00:31:22: über den einzelnen Menschen im System und über das einzelne System, was wir dann verschalten,

00:31:26: hinausgeht. Und deswegen sagen wir, wir müssen uns also den gesamten Lebenszyklus der Systeme

00:31:31: anschauen und vor allem mitbedacht gestalten, sodass wir die negativen Folgen möglichst abfedern

00:31:38: können. Und zum dritten, der dritte Punkt, mir wichtig ist, ist, um das nochmal zu wiederholen,

00:31:43: Fehler lernen heißt eben auch Fehler sichtbar machen dürfen. Das ist ganz, ganz, ganz wichtig,

00:31:47: weil nur so kommen wir voran. Und wenn wir andere an den Fehlern, die wir selber machen, auch

00:31:50: noch teilhaben lassen, dann gewinnen alle. Maurice, vielen lieben Dank für deine Zeit. Ich finde

00:31:54: das so spannend. Also das ist wirklich toll, woran du hier forschen darfst. Und ja, wenn

00:32:00: wir da irgendwas auch verlinken können, was vielleicht schon an Veröffentlichungen ist

00:32:03: oder so, schick uns das gerne. Also ich werde es auf jeden Fall auch lesen. Und bedank mich

00:32:08: nochmal für deine Zeit und wünsche dir einen baldigen wunderschönen Urlaub. Vielen Dank,

00:32:12: das wünsche ich dir auch. Total spannend. Danke schön. Danke.

00:32:21: Ja, ich hatte das Vergnügen, gerade mit Dr. Maurice Stenzel zu sprechen und muss sagen,

00:32:26: dass ich wirklich immer noch total geflasht bin. Erstmal finde ich es super, dass ich dieses

00:32:31: Institut jetzt auch auf dem Radar habe, sozusagen. Werde mich da noch mal näher rein drinnen,

00:32:37: was da schon so veröffentlicht wurde. Es sind ja eigentlich genau die Themen, an denen wir

00:32:41: ja auch als Beratungshaus und auch einfach ich persönlich ein großes Interesse habe. Dieses

00:32:46: Verhältnis zwischen Gesellschaft und irgendwie Technologie. nochmal genauer einzudrillen

00:32:52: und ich fand es einfach total spannend mit ihm über seine ersten Erkenntnisse zu sprechen.

00:32:56: Gerade die letzten drei Punkte, die er gemacht hatte, fassen, glaube ich, wirklich wunderbar

00:33:00: die Folge zusammen. habe ich gar nicht so viel zu ergänzen, außer dass ich wirklich merke,

00:33:05: wie wichtig Forschung ist, wie wichtig auch diese disziplinäre Forschung, glaube ich,

00:33:12: auf diesem Deck ist, dass er auch schön beschrieben hat, damit wir eben auch voneinander lernen

00:33:18: und eben auch gewisse Empfehlungen auch an die Hand bekommen als Entscheiderin in Unternehmen,

00:33:24: wie ich mich denn wirklich mit der Mensch-Maschinen-Interaktion nähern kann und also mit mir resoniert wirklich.

00:33:31: Nochmal was er beschrieben hat um Prozesse, die nehme ich da eigentlich wirklich alle sauber

00:33:37: mit und das Thema der Fehlerkultur, das schwingt bei mir auf jeden Fall nach. Und ja, ich

00:33:42: freue mich sehr, wenn wir ihn nochmal begrüßen dürfen. Ich kann mir das sehr gut vorstellen.

00:33:47: Vielleicht werden nochmal weitere Erkenntnisse kommen, dass wir da so eine kleine Serie machen

00:33:52: mit ihm und potenziell Kollegen, weil doch einfach die Relevanz und die Disruption, mit die wir

00:34:00: gerade vor uns haben, doch einfach mächtig sein wird. Und ich gehe wirklich. Sehr inspiriert

00:34:06: und beseelt gleich in meine Mittagspause und freue mich, wieder eine so tolle Folge und

00:34:12: so coole Experten kennenlernen zu dürfen.