Planprüfung auf Qualitiy mit KI

00:00:00: Denkt mal an das letzte Mal zurück, als du eine Kollegin oder ein Kollegen um absolute brutale Ehrlichkeit bei einem Projekt gebeten hast.

00:00:10: Du hast ja vielleicht monatelang so einen Konzept gearbeitet, ne wichtige Entscheidung steht an und du sagst halt bitte zerreiß es in der Luft wenn es schlecht ist.

00:00:19: Ja!

00:00:19: Und was passiert denn da?

00:00:20: Realität?

00:00:21: Genau, du bekommst zum Wohlwollendes nicken Sieht doch schon wirklich gut aus.

00:00:27: Oder vielleicht noch einen winzigen kosmetischen Verbesserungsvorschlag?

00:00:31: Richtig!

00:00:32: Ich meine, das fühlt sich in dem Moment natürlich super fürs Ego an logisch aber im komplexen Berufen also im Ingenieurswesen oder in der Finanzwelt kostet dieses höfliche Schulterklopfen oft nicht nur Zeit sondern richtig viel Geld.

00:00:47: Millionen ja

00:00:49: Millionen.

00:00:50: und genau dieses Phänomen, das menschliche Höflichkeit der absolut größte Feind echter Qualitätssicherung ist.

00:00:57: Das knüpfen wir uns in unserer heutigen Analyse mal richtig

00:01:00: vor!

00:01:00: Was hier wirklich faszinierend ist, ist das Material dass wir dafür auf dem Tisch haben.

00:01:05: Wir stützen uns heute auf zwei extrem spannende Quellen.

00:01:09: Zum einen haben wir detaillierte Skripte und Notizen aus einem richtig hochkarätigen KI-Workshop.

00:01:16: Und zum anderen schauen wir uns Praxisberichte von Thomas Wolf an.

00:01:20: Den Planer für Gebäudetechnik, oder?

00:01:22: Genau – technische Gebäudeausrüstung in der Branche TGA genannt.

00:01:26: Er hat dieses menschliche Problem der ausbleibenden Kritik erkannt und etwas total Faszinierendes gebaut.

00:01:34: Eine technologische Lösung die physisch gar nicht in der Lage ist je nach dem Mund zu reden!

00:01:39: Unsere Mission für diese Tiefenrecherche ist also quasi, wir dröseln auf wie man aus diesen ganz alltäglichen Chatbots die ja oft extrem gefällig und weich gespült antworten ein echtes System

00:01:51: baut.

00:01:52: Ein multiagentisches System

00:01:54: Richtig!

00:01:55: Also ein unbestechliches Team aus digitalen Beratern das dich und deine Arbeit gnadenlos in die Mangel nimmt.

00:02:03: Okay lass uns das mal aufdröseln.

00:02:05: Um zu verstehen, warum wir das überhaupt brauchen, fand ich eine Analogie aus den Workshop-Notizen unglaublich erhellend.

00:02:12: Die Finanzkrise?

00:02:13: Ja genau!

00:02:14: Die FinanzKrise von Viertausendacht.

00:02:16: An der Wall Street saßen damals ja nicht etwa dumme Leute – das waren absolute Genies.

00:02:22: Aber sie saßen alle in gigantischen Echo-Räumen.

00:02:25: Sie hatten alle dieselben Eliteabschlüsse, dasselbe Weltbild und weil Menschen halt Harmonie suchen haben sich in ihren Meetings immer nur gegenseitig bestätigt

00:02:34: Bis alles zusammenbricht.

00:02:36: Genau, das ganze System implodiert weil niemand diese eine unangenehme Außenseiterfrage gestellt hat.

00:02:45: Und da legt der psychologische Kern des Problems.

00:02:48: Wenn wir uns menschliche Berater anschauen dann scheitern die fast nie an mangelnder Intelligenz.

00:02:53: Die scheittern an Betriebsblindheit und mangelner Vielfalt.

00:02:57: Ja, dass leuchtet ein!

00:02:58: Wenn du Leute fragst dir exakt so denken wie du bekommst du Spiegelbilder keine neuen Perspektiven.

00:03:04: Ein klassisches Vier-Augenprinzip unter Kollegen wird halt im Alltag sehr schnell müde!

00:03:10: Man ist vielleicht auch einfach Konfliktscheu oder man hat Deadlines im Nacken

00:03:15: Genau, oder politische Motive – man will dem Chef nicht vor allen anderen widersprechen.

00:03:19: Da wir nun wissen dass wir Menschen oft nur Echoräume bilden schauen wir uns doch mal an wie man künstliche Perspektive erschafft die garantierten Widerspruch liefern.

00:03:28: Und da steigen wir am besten direkt in diesen KI Workshop ein.

00:03:33: Wie baut man sich so einen unbestechlichen Beirat?

00:03:37: Ich dachte am Anfang, boah da brauchst du eine Server-Farm und aber tausende Zeilen Code.

00:03:42: Ja das ist das Verrückte!

00:03:44: In dem Workshop haben sie fünf ganz spezifische Denkrichtungen also sogenannte Personas als reine Textdateien angelegt Und diese Dateien wirken quasi wie das mentale Betriebssystem für die KI

00:03:56: Das uns dann mal rein gehen.

00:03:57: was waren das für Personas?

00:03:59: Also die erste ist der Kundenfokus.

00:04:02: Diese KI-Rolle unterscheidet strikt zwischen umkehrbaren und unumkehrbaren Entscheidungen.

00:04:07: Okay, also wenn ich eine Marketingidee habe die man morgen stoppen kann?

00:04:11: Dann rät der Agent zu maximaler Geschwindigkeit genau!

00:04:14: Aber bei was Unumkehrbarem wie einem Betonfundament tritt er sofort auf die Bremse.

00:04:19: Das ist der Angebotsfokus.

00:04:21: für den kommt immer das Produkt vor dem Vertrieb mehr Wert statt Preisdumping.

00:04:26: Ah

00:04:27: okay aber mein absoluter Favorit aus dem Skript ist ja der Physiker.

00:04:32: Das muss so anstrengend sein.

00:04:34: Die Quellen beschreiben, dass dieser Agent konsequent in Grundprinzipien denkt – also First Principles!

00:04:40: Der zerlegt jede Annahme in ihre Atome.

00:04:43: Richtig du sagst...

00:04:45: das machen wir schon immer so

00:04:46: und der Physiker fragt nur eiskalt warum.

00:04:50: welches physikalische Gesetz zwingt uns dazu?

00:04:53: Das muss im Alltag unerträglich sein aber eben auch extrem wertvoll

00:04:57: total.

00:04:59: Dann gab es noch den Launch-Experten, der nur in klaren Phasen und Zeitfenstern denkt.

00:05:04: Und das klassische Management.

00:05:06: Aber das Wichtigste bei diesen Textprofilen sind die blinden Flecken.

00:05:10: Das fand ich so spannend!

00:05:12: Die meisten machen den Fehler, dass sie eine allwissende KI programmieren wollen.

00:05:17: So nach dem Motto Du bist ein brillanter Experte, der perfekt kommuniziert.

00:05:21: Und

00:05:22: dann kriegst du wieder einen weichgespülten Einheitsbrei?

00:05:26: Eine allwissende Persona ist wertlos.

00:05:29: In den Ticks Dateien muss wörtlich drin stehen, Empathie ist nicht deine Stärke oder menschliche Befindlichkeiten interessieren dich

00:05:37: null.".

00:05:37: Also die KI muss extreme Scheuklappen haben damit sie ihre Nische radikal verteidigt?

00:05:42: Richtig und um das zu bändigen gibt es den Moderatoren!

00:05:45: Der bezieht inhaltlich gar keine Position.

00:05:48: er ruft auf hält Spannungen aus und fasst zusammen.

00:05:51: Da gab's doch dieses krasse Beispiel aus der Live-Demo im Workshop.

00:05:55: Ja, Wahnsinn!

00:05:56: Die KI forderte mitten im Workshop eiskalt eine sofortige Pause ein.

00:06:01: Weil zweieinhalb Stunden am Stück durcharbeiten ein systemischer Fehler sei.

00:06:06: Sie hat sich schlicht geweigert weiterzumachen.

00:06:08: Okay das klingt jetzt alles total beeindruckend aber da muss ich mal kritisch reingreden.

00:06:13: Schieß

00:06:13: los

00:06:14: Wenn ich mir in zwei Minuten aus einem Screenshot zu einen Gremium zusammenklicke.

00:06:18: kann das wirklich gute Arbeit leisten?

00:06:20: Ich mein normale Chatbots sind doch total harmoniesüchtig.

00:06:23: Das ist ein berechtigter Einwand und die Entwickler haben dazu eine harte Zahl parat.

00:06:28: Ein schnell zusammengeklickter Beirat liefert nur drei Prozent der Qualität eines sauber aufgebauten Systems.

00:06:33: Drei Prozent?

00:06:34: Das is ja nix!

00:06:36: Die Qualität liegt eben nicht im schnellen Prompt, sondern in der Vorarbeit.

00:06:39: Du brauchst eine sogenannte Charter also einen Grundgesetz für das Team Und eisene Guardrails, die Leitplanken.

00:06:45: Okay wenn diese Vorarbeit so entscheidend ist Wie unterscheidet sich dann ein echtes Arbeitnissystem technisch von meinem normalen Chatfenster?

00:06:52: Der Unterschied liegt zwischen einer Message-API und einem Agent SDK.

00:06:57: SDK, also Software Dialogen in Kit?

00:06:59: Genau!

00:07:00: Die Message API – dein Chatfenster ist wie ein Getränkeautomat Du wirst eine Frage rein, kriegst ne Antwort Ein Automat.

00:07:08: Das Agent SDK hingegen erschafft ein echtes Team mit drei besonderen Merkmalen.

00:07:14: Erstens Ein eigenes Gedächtnis.

00:07:17: Jede Person erweist also was sie selbst gesagt hat ohne sich vom anderen beeinflussen zu lassen

00:07:21: Richtig.

00:07:22: Zweitens Werkzeugnutzung.

00:07:25: Die suchen selbst im Netz nach aktuellen Zahlen, oder?

00:07:27: Ja!

00:07:28: Und drittens – und das ist fast unheimlich – Eigeninitiative.

00:07:32: Die warten nicht bis ich Enter drücke.

00:07:34: Nein die melden sich von allein zu Wort wenn ihnen was auffällt….

00:07:37: …und dass alles läuft lokal ab.

00:07:39: Ah

00:07:39: wegen der Sicherheit.

00:07:40: Genau.

00:07:41: Der API-Schlüssel, der das Ganze antreibt gehört in den Passwortmanager.

00:07:45: Nicht in eine ungesicherte Chatgruppe.

00:07:47: Abgerechnet wird nämlich pro Durchlauf.

00:07:50: Ein Kostenzähler ist absolute Pflicht.

00:07:52: Wenn man das alles sicher hat, gibt es ja echt kreative Use-Cases.

00:07:56: Dieser eine Teilnehmer hat doch dieses Primordien überbaut!

00:07:59: Ja, das ist genial – die KI projiziert dein Projekt zwölf Monate in die Zukunft?

00:08:05: Sagt

00:08:05: ihr?!

00:08:06: Es ist komplett gescheitert.

00:08:08: und dann muss das Team herleiten warum du besserst so lange nach bis es kein Ausfallsszenario mehr gibt?

00:08:15: Und hier wird es jetzt richtig interessant weil wie verhindert man dass diese Agenten sich gegenseitig beeinflussen?

00:08:22: In dem Link den Beitrag von Wolf wurde das Blind Parallel Voting genannt.

00:08:28: Ja, ein superwichtiges Konzept!

00:08:29: Ich

00:08:30: musste da direkt an Zeugenaussagen vor Gericht denken.

00:08:32: Wenn du fünf Zeugen hast und die sprechen vorher miteinander ist die Aussage wertlos.

00:08:37: Der eine sagt Das Auto war rot und der andere passt sich an.

00:08:41: Das wirft eine wichtige Frage auf Wie lösen wir das bei der KI?

00:08:47: Genau durch dieses blinde Abstimmen.

00:08:50: Die Agenten müssen zuerst blind antworten, ohne die anderen zu lesen.

00:08:55: Sonst passen sie sich an und werden faul!

00:08:57: Und was ist mit mir als Mensch?

00:09:00: Sitze ich da nur daneben?

00:09:02: Nein hier greift das Human in the Loop Prinzip Du kannst jederzeit eingreifen.

00:09:07: Dein Input wird dann wörtlich ins Protokoll übernommen.

00:09:11: du behältst die Kontrolle.

00:09:12: Okay wir haben jetzt dieses abstrakte System.

00:09:16: Aber was passiert, wenn wir diese unbestechliche Fehlerjagd auf ein echtes knallhartes Ingenieursproblem loslassen?

00:09:25: Auf die technische Gebäudeausrüstung.

00:09:27: Genau!

00:09:28: Das Konzept von Thomas Wolff hat einen Tool gebaut das Baupläne prüft und er nennt die Maschine Leidenschaftslos.

00:09:36: Ein tolles Wort dafür.

00:09:38: Ja weil ein Mensch wird freitagnachmittags müde oder er verteidigt sein Ego, wenn er den Plan selbst gemalt hat.

00:09:45: Die Maschine sagt einfach flach, vierhundertvier von fünfhundertsechzig Bauteilen haben keine nennweite BUM.

00:09:52: Wobei man da einen großen Fehler in der Branche ansprechen muss?

00:09:56: Man darf solche Baupläne also diese DWG oder DXF-Dateien niemals als Bild an eine KI geben!

00:10:04: Ach ja weil die Bildkis dann hallucinieren ne?

00:10:07: Genau Die erfinden einfach Ventile, die gar nicht da sind weil sie optisch ins Bild passen würden.

00:10:13: Ein Bauplan muss als Struktur ausgelesen werden also Knoten, Kanten, Blöcke und Attribute.

00:10:19: Und da gab es doch diesen Härtetest mit einem realen Heizungsplan?

00:10:22: Oh ja!

00:10:23: Das war krass!

00:10:24: Also geometrisch sah alles top aus.

00:10:27: Achthundertsechsundachtzig von tausend Blöcken hatten Attributte

00:10:30: Aber

00:10:31: aber die technischen Werte Also nennweite Druckstufe, Temperatur.

00:10:36: Die waren zu siebzig bis hundert Prozent komplett leer.

00:10:40: Dreihundert und fünfzig Bauteile ohne jeden Kennwert.

00:10:43: Wobei man fairerweise sagen muss – das ist kein Versagen dieses einen Planers!

00:10:48: Das ist der Normalzustand in frühen Planungsphasen.

00:10:51: Man vergisst es halt nachzutragen.

00:10:53: Genau…das Tool liefert hier den Wert indem es diese Lücken erstmal in eine simple Echselwiste exportiert bevor überhaupt groß geprüft wird.

00:11:02: Aber Moment... Wenn das Tool nur leere Felder findet und mir eine Liste ausspuckt, ist es dann nicht einfach nur eine glorifizierte Excel-Tabelle?

00:11:11: Hat diese künstliche Intelligenz auch irgendwelche

00:11:13: Grenzen?".

00:11:14: Die hat massive Grenzen.

00:11:16: Und Wolf erzählt ganz offen von dem grandiosen Scheitern der Topologieerkennung.

00:11:20: Was genau war das?

00:11:21: Das System sollte erkennen welche Rohre im Plan miteinander verbunden sind.

00:11:26: Das Ergebnis – Der Graf zerfiel in achthundert Einzelstücke!

00:11:29: Wolf sagte dazu wörtlich Der Graf ist confetti.

00:11:33: Wow!

00:11:34: Aber warum?

00:11:35: Ich als Mensch sehe doch, dass die Linie da durchgeht.

00:11:38: Weil die Geometrie im Plan oft unsauber gezeichnet ist.

00:11:42: Optisch sieht es verbunden aus, mathematisch klaffte eine Lücke von zwei Millimetern und genau das ist das Fantastische an dem Tool.

00:11:51: Statt wie eine normale KI zu raten und dir einen falschen Plan zu hallucinieren hat das Tool ehrlich gesagt Hier trage ich nicht.

00:11:59: Ein falscher Befund ist schließlich schlimmer als gar keine.

00:12:02: Richtig, vor allem bei Sicherheitsfragen!

00:12:04: Genau diese absolute Ehrlichkeit führt uns zur Frage wie man eigentlich sicherstellt dass die KI nicht irgendwann aus Höflichkeit anfängt Lücken zu übersehen?

00:12:15: Dafür gibt es bei Wolf das TGA-Checker ins System Siebenfachköpfe, ein Moderator und die fokussieren sich primär auf die Schnittstellen.

00:12:24: Also da wo zum Beispiel die Heizung auf die Elektroplanung trifft?

00:12:27: Weil da passieren die meisten Fehler richtig?

00:12:29: Exakt!

00:12:30: Da debattieren die Agenten aber bei der reinen Hydraulik da verlassen sie sich nicht mehr nur auf die KI

00:12:37: Stimmt, reine Zahlen aus dem Sprachmodell zeigen ja nicht verlässlich ob eine Anlage in der Praxis taktet oder Fehler macht.

00:12:44: Die wichtigste Erkenntnis hier ist Wichtige Regeln gehören in

00:12:49: Code,

00:12:50: nicht in eine Anweisung für die KI.

00:12:52: Ein Sprachmodell das Wahrscheinlichkeiten berechnet über Sieddinge.

00:12:56: Deshalb läuft da am Ende dieses hart kodierte Täfenskript oder?

00:12:59: Genau nach der Debatte!

00:13:01: Das prüft deterministisch dreißig Pflicht-Kennwerte in echten Tabellen ab.

00:13:06: Es denkt nicht nach es hakt nur ab

00:13:09: Weil vergessen sieht ihr aus wie erledigt, das fand ich in wahnsinnig starken Satz in den Quellen.

00:13:13: Ein fehlender Kennwert stürzt ja den Rechner nicht ab der fehlt einfach still und leise.

00:13:17: Und unter sichtbar zu machen gibt es am Ende ein Ampelsystem.

00:13:22: und eine Ampel die aus Bequemlichkeit alles auf grün setzt wäre fatal denn erfasst ist noch lange nicht gleich ausgeräumt.

00:13:32: Also Was bedeutet das alles konkret für dich?

00:13:34: Es geht ja nicht darum, dass die KI dir deine Arbeit komplett abnimmt und du Däumchen drehen kannst.

00:13:39: Schön wär's!

00:13:40: Ja leider nein... es geht darum, daß menschliche Höflichkeit das größte Risiko für echte Qualität ist.

00:13:48: Die beste Planprüfung oder der beste Rat ist der, der dich vielleicht im Moment nicht mag Der unbequem ist aber der am Ende trotzdem recht hat.

00:13:56: Wenn wir das mit dem großen Ganzen verknüpfen wird eines völlig klar Das Fachwissen für diese Agenten kommt nicht einfach so aus dem Sprachmodell.

00:14:05: Das kommt aus dreißig Jahren menschlicher Ingenieurspraxis, die in diese Systeme gegossen wurde.

00:14:11: Das System ist letztlich nur das Denkwerkzeug – dass uns zwingt präziser zu sein!

00:14:17: Fassen wir es mal ganz kurz und pointiert zusammen.

00:14:19: Multiagentische KI-Systeme revolutionieren unseren Alltag nicht durch ihre grenzenlose Schöpfungskraft.

00:14:25: Sie revolutionieren ihn durch ihre absolut leidenschaftslose, unermüdliche Kritikfähigkeit.

00:14:30: Richtig!

00:14:31: Sie ersetzen keine menschliche Haftung.

00:14:33: Genau... aber sie decken unsere blinden Flecken auf lange bevor sie richtig teuer werden.

00:14:39: Und jetzt wo wir das alles besprochen haben möchte ich dich zum Schluss mit einem völlig neuen Gedanken

00:14:43: verabschieden Der bin ich gespannt

00:14:45: Ein Gedanke der mich wirklich nicht mehr loslässt Wir bauen uns jetzt also diese perfekten künstlichen Gremien, die kritisieren uns schonungslos.

00:14:53: Die decken jeden Fehler auf.

00:14:55: und das Schöne ist wir müssen uns dabei menschlich überhaupt nicht angegriffen fühlen.

00:15:00: Ist ja nur eine Maschine!

00:15:01: Eben aber wenn wir uns daran gewöhnen all unsere fachlichen Konflikte und harten Debatten an unermüdliche Maschinen auszulagern verlieren wir dann irgendwann als Gesellschaft die Fähigkeit echte menschliche Kritik überhaupt noch auszuhalten?

00:15:16: Denk mal darüber nach.

00:15:18: Ein ziemlich harter, aber wichtiger Bedanke.

00:15:20: Auf jeden Fall!

00:15:22: Geh in dieser Woche vielleicht mal hin und hinterfrage deiner eigenen Echoräume ein bisschen kritischer.

00:15:27: Es war mir eine Freude das heute mit dir durchzugehen.

00:15:30: Bis zum nächsten Mal.