Sechs reale Probleme.Was wir gebaut haben. Was sich geändert hat.

Stack

Begriffe, übersetzt

Deterministisches Cohort-Matching

Feste Regeln prüfen, ob die Patienten einer Studie diesem Patienten ähneln. Dieselbe Eingabe ergibt immer dasselbe Ergebnis.

ERS-Belegscore

Jede Studie erhält eine Punktzahl für ihr Design, die Stärke ihrer Ergebnisse, ihre Aktualität und die Glaubwürdigkeit der Quelle. Jeder kann nachprüfen, warum eine Studie vor einer anderen liegt.

Hybride Suche: dichte und dünnbesetzte Vektoren

Zwei Suchen laufen nebeneinander. Die eine sucht nach Bedeutung, die andere nach exakten Wörtern. Eine Studie wird auch gefunden, wenn sie für dieselbe Sache andere Begriffe benutzt.

Embeddings mit 1.536 Dimensionen

Jeder Text wird zu einer Liste von 1.536 Zahlen. Texte mit ähnlicher Bedeutung bekommen ähnliche Zahlen, sodass ein Computer messen kann, wie nah sie beieinanderliegen.

Reciprocal Rank Fusion (RRF)

Führt die beiden Ergebnislisten nach Position zusammen, nicht nach Rohpunkten, damit keine der beiden Suchen zufällig gewinnt.

Leitlinien-Zuordnung

Jede Studie wird als „in Einklang mit“, „im Widerspruch zu“ oder „nicht abgedeckt von“ den ESMO-Leitlinien eingeordnet, dem europäischen Standard für die Krebsversorgung.

Wie getestet wird

• Ausgangswert: die manuelle Recherche eines Onkologen und eine einfache Stichwortsuche. Das System muss besser sein, nicht nur flüssig klingen.
• Messgrößen: Korrektheit der Suche, Treue von Zitat und Antwort (die Antwort sagt nur, was die Quelle sagt), Zeit bis zum Beleg, Übereinstimmung der Bewertungen durch Onkologinnen und Onkologen sowie Fehleranalyse.
• Testpakete: 10 bis 15 Patientenfälle mit PubMed- und ESMO-Startsätzen, klein genug, um sie von Hand zu prüfen und gezielt auf die Probe zu stellen. Eine Konfusionsmatrix erfasst falsch negative Treffer (relevante Studien, die das System übersehen hat).
• Eingefrorener Benchmark, 15 Patientenfälle, aktueller Stand: Recall 40 % (Anteil der erwarteten Studien, die gefunden wurden; der Rest sind falsch negative Treffer), erstes Label korrekt in 8 von 15 Fällen (53 %), exaktes Leitlinienthema in 4 von 15 (27 %). Das ist wenig, und die Projektseite sagt das offen.
• Hybride Suche im selben Testpaket: 487 zusätzliche Studien gefunden und 214 weitere Belege zugeordnet, nachdem die Regeln sie geprüft hatten (704 statt 490). Das Regelwerk setzt weiterhin jedes endgültige Label.

Ausgeschlossen

Freie LLM-Antworten als maßgebliche Instanz. Sie ändern sich von Lauf zu Lauf und sind schwer zu prüfen. Die LLM-Schicht bleibt optional: fundierte Zusammenfassungen und Importhilfe, nie die klinische Wahrheitsquelle.

Was kaputtging

Auch ein striktes Regelwerk kann an der Bedeutung scheitern. Für eine Ärztin können egfr-tki, tki und targeted dieselbe Behandlung meinen. Für den Code waren es drei verschiedene Tags, bis das Team ein gemeinsames Vokabular über Patientenfälle, PubMed und ESMO hinweg aufbaute.

Reihenfolge des Baus

Zuerst kamen das Regelwerk und sein Testrahmen. Dann kleine Testpakete, Datenbereinigung, das gemeinsame Vokabular, die Web-App und das laufende Regelwerk. Die hybride Suche war der siebte Schritt. Die optionale KI-Zusammenfassung kam zuletzt.

Was protokolliert wird

Zu jeder Antwort speichern wir das Quelldokument, den Belegauszug, die Datenversion, die Suchlogik, Modell und Prompt-Einstellungen sowie die Prüfspur.

Quellen

• Projektseite mit dem vollständigen Stack

Stack

Begriffe, übersetzt

Zustandsautomat (State Machine)

Ein Vertrag kann sich nur entlang erlaubter Schritte bewegen. Er kann nicht vom Entwurf direkt auf „bezahlt“ springen.

Append-only-Ereignisprotokoll

Jede Änderung wird als neue Zeile angehängt und nie überschrieben. Die komplette Historie jedes Vertrags lässt sich nachlesen.

Eine Tabelle als Datenbank

In dieser Version hält ein Google Sheet die Daten. Nur eine Schicht des Codes darf es lesen oder schreiben, und IDs kommen vom Server, nie aus Zeilennummern.

Webhooks

Das Aufgabenboard und der Signaturdienst melden der App, wenn sich etwas ändert. Niemand muss von Hand nachsehen.

Outbox und Wiederholungsjobs

Wenn ein externer Dienst ausfällt, wartet die Anfrage in einer Warteschlange und geht später erneut raus. Sie geht nicht verloren.

Magic Link

Der Freelancer öffnet einen persönlichen Link. Kein Konto, kein Passwort.

AES-GCM-verschlüsselte Entwürfe

Ein halb ausgefülltes Formular wird verschlüsselt gespeichert, sodass ein Freelancer später weitermachen kann und die Daten nicht im Klartext liegen.

Wie getestet wird

• Ausgangswert: der ausgelagerte Prozess, etwa 30 % zusätzlich zum Wert jedes Vertrags, bei kaum Transparenz.
• Erfolg heißt: Der gesamte Prozess läuft intern, mit sichtbarem Status, weniger Übergaben, ohne Verlust an rechtlicher Kontrolle und zu geringeren Kosten als der Ausgangswert. Ergebnis: Die externe Firma ist vollständig ersetzt.
• In sieben Zwei-Wochen-Sprints von Februar bis Mai 2026 gebaut, danach im laufenden Betrieb nachgebessert. Mehr als 900 automatisierte Tests.

Ausgeschlossen

Vertragserzeugung durch ein LLM. Freigegebene juristische Vorlagen sind die einzige Quelle des Vertragstextes, und nur wenige Felder dürfen sich ändern.

Was kaputtging

Eine Tabelle hat Anfragelimits. Unter Last stieß die App an das Kontingent von Google, daher wiederholt sie jetzt mit Back-off (jede Wiederholung wartet etwas länger) und schiebt Arbeit auf, statt zu scheitern.

Was protokolliert wird

Jeder Vertrag behält seinen Status, jedes Ereignis, seine Dokumente, die Signaturspur, die Übergaben und die Entscheidungen. Ausweisnummern, Bankdaten und Dokumentinhalte gelangen nie ins Ereignisprotokoll.

Stack

Begriffe, übersetzt

Offene Antworten (Elicitation)

KI erzeugt eine Textantwort, ähnlich einer Antwort im Interview, statt direkt eine Zahl zu wählen.

Semantic Similarity Rating (SSR)

Jede Antwort wird mit Referenzsätzen verglichen. Bei einer Kauffrage reichen diese von „Das würde ich auf keinen Fall kaufen“ bis „Das würde ich auf jeden Fall kaufen“. Wie nah sie jedem Satz kommt, wird zu einer Score-Verteilung.Technisch: free-text answer → embedding → cosine similarity to Likert anchor statements → probability over the scale → segment distribution

Referenzanker

Die Modellsätze, die für jeden Punkt der Skala stehen. Verschiedene Anker ergeben verschiedene Scores, daher testen wir mehrere Sets.

SSR-Temperatur

Wie scharf eine Antwort auf einen Score festgelegt wird. Sie muss für jeden Fragetyp eingestellt werden. Ein Wert passt nicht für alle.

Vorab registrierte Kontrollen

Vor einem Lauf fügen wir ein Konzept hinzu, das klar gewinnen sollte, und eines, das klar verlieren sollte. Kann die Methode sie nicht um eine festgelegte Spanne trennen, zählt der Lauf nicht.

Eingefrorene Läufe

Prompts, Modelle, Einstellungen, Anker und Eingaben werden mit jedem Ergebnis gespeichert, sodass sich jeder Lauf wiederholen und hinterfragen lässt.

Wie getestet wird

• Kundeneinsatz: über 100 Konzepte gescreent, 98 % geringere Kosten pro Lauf als bei einem Panel, Übereinstimmung mit echten Panelergebnissen über 88 %.
• Die Methode wurde zuerst an öffentlichen Umfragedaten mit echten Antworten getestet (Mendeley, CC BY 4.0).
• Umfrage zu einem neuen Produkt, 6 Fragen, 438 echte Befragte: KS-Ähnlichkeit 0,887 (wie stark sich die Antwortmuster von KI und Menschen überlappen, 1 ist identisch), mittlerer absoluter Fehler 0,036 pro Antwortoption und ein durchschnittlicher Score, der auf einer 7-Punkte-Skala um 0,39 Punkte abweicht.
• Eine schwierigere Umfrage zu grünen Käufen, 253 Befragte: KS-Ähnlichkeit 0,73, nach einer Prompt-Überarbeitung 0,78. Nützlich für die Richtung, kein Ersatz für ein Panel.
• Modellwahl: Mit denselben Embeddings lag Qwen3 30B bei allen drei Maßen vor DeepSeek und beim Score-Fehler vor Gemini Flash Lite. Im Embedding-Vergleich schnitt bge-m3 am besten ab, vor qwen3-embedding-8b und text-embedding-3-small.

Ausgeschlossen

Einfache LLM-Meinungen, klassische synthetische Umfragen und vollständig simulierte Agenten als Befragte. Textantworten mit SSR-Bewertung bewahrten die Begründung und lieferten trotzdem Zahlen, die sich vergleichen lassen.

Was kaputtging

Ein Modellvergleich scheiterte an der Technik, nicht an der Qualität. Ein Anbieter stieß immer wieder an Rate Limits (er lehnt Anfragen ab, wenn zu viele eintreffen) und lieferte kaputtes JSON. Seitdem zeigt jeder Vergleich neben der Qualität auch die Zuverlässigkeit. Und als ein Lauf unsere vorab gesetzte Kontrollspanne um wenige Hundertstel verfehlte, haben wir ihn als gescheitert markiert, nicht als knapp bestanden.

Was protokolliert wird

Jedes Ergebnis behält Prompt-Version, Modell und Anbieter, Laufeinstellungen, Zielgruppensegmente, SSR-Anker, Rohantworten, endgültige Scores, Kosten und Zeit.

Quellen

• Das Paper zur SSR-Methode, PyMC Labs (arXiv 2510.08338)
• Referenzimplementierung von SSR
• Benchmark-Daten: New Product Purchase Intentions (Mendeley)

Stack

Begriffe, übersetzt

Ausgangswert (Baseline)

Die einfachste Prognose, die jeder machen könnte: der Durchschnitt für diesen Wochentag plus die Events, die wir schon kennen. Ein Modell muss besser sein, um seinen Platz zu verdienen.

Backtest an einem abgeschlossenen Monat

Wir blenden einen vergangenen Monat aus, prognostizieren ihn und vergleichen die Prognose mit dem, was wirklich passiert ist. Kein Risiko im Live-Betrieb.

Prognosefehler

Wie weit die Prognose im Durchschnitt von der echten Zahl entfernt lag.

Saisonale Drift

Eine Prognose wird langsam schlechter, wenn sich Jahreszeiten und Gewohnheiten ändern. Wir behalten das im Blick.

Wie getestet wird

• Ausgangswert heute: Erfahrung der Manager, Kalender, Reservierungen, manuelle Berichte und einfache Regeln nach Wochentag, Jahreszeit und Wetter.
• Messgrößen: Prognosefehler, unterbesetzte und überbesetzte Schichten, Zeit für die Dienstplanung, verlorene oder bediente Nachfrage und Rückmeldungen von Managern und Rezeption.

Ausgeschlossen

Direkt mit einem Live-Modell zu starten. Der einfache Ausgangswert reicht vielleicht aus, oder der Backtest zeigt, dass die Daten noch nicht so weit sind. Beides sind nützliche Antworten.

Was kaputtging

Bisher nichts. Dieser Teil wird nach dem ersten Backtest gefüllt.

Was protokolliert wird

Jede Prognose zeigt den verwendeten Zeitraum der Historie, die Datenquellen, die Wetter- und Event-Eingaben, die Modellversion und jede Korrektur eines Managers.

Stack

Begriffe, übersetzt

Read-only-Adapter

Das Board liest die öffentlichen Verfügbarkeitsdaten des Buchungssystems und schreibt nie hinein. Ändert sich die Form dieser Daten, sagt das Board es, statt zu raten.

Aktualitätsstatus

Jede Spalte zeigt, wann sie zuletzt gelesen wurde und ob die Daten frisch, veraltet oder fehlgeschlagen sind, sodass ein Koordinator weiß, wann er nachprüfen sollte.

Paritätsprüfung

Vergleicht das Board mit dem Mitarbeiterbereich des Buchungssystems selbst. Über zwei Tage stimmten Zeiten und Räume bei jeder Aktivität mit festen Slots exakt überein.

Echtzeit-Synchronisierung

Wählt eine Person einen Slot, aktualisiert sich das Board aller anderen sofort, ohne Neuladen.

Interne Vormerkung

Eine Vormerkung nur innerhalb des Boards. Er verhindert, dass zwei Kollegen denselben Slot planen, blockiert oder bucht aber nie etwas im echten System.

Isolierte Spalten

Alle Aktivitäten laden gleichzeitig. Fällt eine aus, zeigt nur ihre Spalte den Fehler. Der Rest des Boards arbeitet weiter.

Wie getestet wird

• Ausgangswert: 15 bis 20 Minuten für die Planung eines Events im Buchungssystem, laut Angabe des Eventteams.
• Ziel für die Verfügbarkeitsprüfung: etwa 1 Minute.
• September: 353 Reservierungen auf dem Board, etwa 30 Stunden Planung bei vorsichtig angesetzten 5 Minuten je Reservierung, gegenüber 88 bis 117 Stunden für dieselben Prüfungen im Buchungssystem. Schätzungen, keine Messungen.
• Das Eventteam prüfte das Board in einer Arbeitssitzung und nahm es ohne wesentliche Änderungen ab.
• Eine dreiwöchige Phase zum Sammeln von Belegen endete mit einer Entscheidung: weitermachen, ändern oder stoppen.

Ausgeschlossen

Buchungen ins Buchungssystem schreiben, seine Kapazitätslogik nachbauen und Kunden automatisch Nachrichten senden. Das Buchungssystem bleibt die Wahrheitsquelle, und Menschen sprechen mit Kunden.

Was kaputtging

Noch kein Ausfall, aber das Hauptrisiko. Ohne API liest das Board die öffentlichen Verfügbarkeitsdaten, die auch die Buchungswebsite nutzt, und deren Form kann sich ohne Vorwarnung ändern. Ein fehlgeschlagener, veralteter oder veränderter Lesevorgang ist deshalb ein normaler Zustand auf dem Board. Das Team sieht ihn, er wird nie verborgen.

Was protokolliert wird

Jeder Lesevorgang der Verfügbarkeit wird mit Zeit und Ergebnis gespeichert, sodass das Team sieht, wie stabil die Daten sind und was sich zwischen zwei Lesevorgängen geändert hat. Jede Reservierung und jede Änderung ist mit der Person verknüpft, die sie vorgenommen hat.

Stack

Begriffe, übersetzt

Vision-Language-Modell (VLM)

Ein KI-Modell, das ein Foto ansieht und Fragen dazu beantwortet. Hier: Wie breit und wie hoch ist die gegenüberliegende Wand?

Maßstab aus bekannten Objekten

Türen, Schalter und Möbel haben typische Größen. Das Modell nutzt sie, dazu das übliche Sichtfeld von 72° einer Handykamera, um Pixel in Zentimeter umzurechnen.

Segmentierung (Mask2Former)

Beschriftet jedes Pixel des Fotos als Wand, Fenster, Boden oder Decke, damit der Assistent weiß, wo Vorhänge hängen können.

Anteil an der Wand

Das Modell misst die ganze Wand. Der vom Kunden markierte Bereich ist ein Anteil davon, seine Größe in Zentimetern ergibt sich also aus der Größe der Wand.

Perzentil-Trimmen (p10/p90)

Ignoriert die extremsten 10 % an jedem Rand der erkannten Wand, damit ein verirrter Schatten die Messung nicht dehnt.

Texturen von Grafikern

Stofftexturen aus Blender. Der Renderer wählt die Faltenart (wave, flex, double flex) aus Faltung und Material, damit die Vorschau wie der genähte Vorhang aussieht.

Wie getestet wird

• Messtests: allein aus dem Foto innerhalb von 3 bis 10 % der echten Größe, gegenüber 20 bis 40 % mit der A4-Blatt-Methode.
• Ein Benchmark-Skript lässt Fotos gegen gemessene Referenzwerte laufen und protokolliert die Zeit, die jedes Modell braucht.
• Modellwahl: Qwen VL lieferte die beste Genauigkeit für seine Kosten. GPT-4o-mini war für Zentimeter zu ungenau.
• Keine Vorher-Zahl für das Geschäft: Die alte Art zu bestellen war nicht online, es gibt also nichts Vergleichbares.

Ausgeschlossen

Das A4-Blatt als Lineal in jedem Foto. Es war eine Aufgabe mehr für den Kunden und scheiterte an Glas, Spiegeln und steilen Winkeln. Der Maßstab aus bekannten Objekten ersetzte es.

Was kaputtging

iPhones speichern Fotos als HEIC, das die Pipeline nicht lesen konnte. Der Assistent wandelt sie jetzt im Browser um, mit Server-Fallback. Und als der GPU-Dienst ausfiel, machten große Handyfotos das Fallback-Modell langsam, daher werden Uploads jetzt vor dem Aufruf verkleinert.

Was protokolliert wird

Jede Messung behält die Rohantwort des Modells, den Prompt, die benötigte Zeit, die Warnungen und den Cache-Schlüssel, damit sich die Genauigkeit feinjustieren lässt.

Quellen

• zaslony.com