Sześć prawdziwych problemów.Co zbudowaliśmy. Co się zmieniło.

Technologie

Terminy po ludzku

Deterministyczne dopasowanie kohort

Stałe reguły sprawdzają, czy pacjenci z badania przypominają tego pacjenta. Te same dane wejściowe zawsze dają ten sam wynik.

Wskaźnik dowodów ERS

Każde badanie dostaje punkty za projekt badania, siłę wyników, aktualność i wiarygodność źródła. Każdy może sprawdzić, dlaczego jedno badanie jest wyżej od drugiego.

Wyszukiwanie hybrydowe: wektory gęste i rzadkie

System łączy wyszukiwanie według znaczenia z wyszukiwaniem dokładnych słów. Dzięki temu może znaleźć badanie, w którym to samo opisano innymi terminami.

Embeddingi, 1 536 wymiarów

System zapisuje każdy tekst jako listę 1 536 liczb. Porównując te listy, ocenia podobieństwo znaczenia tekstów.

Reciprocal Rank Fusion (RRF)

Łączy dwie listy według pozycji wyników. Różne skale punktacji obu wyszukiwań nie zaburzają wtedy wspólnej kolejności.

Porównanie z wytycznymi

Każde badanie jest oznaczone jako zgodne, sprzeczne albo nieobjęte wytycznymi ESMO, europejskim standardem opieki onkologicznej.

Jak to testujemy

• Punkt odniesienia: ręczny przegląd badań i zwykłe wyszukiwanie po słowach kluczowych. Sprawdzamy, czy system daje lepsze wyniki. Płynna odpowiedź nie wystarczy.
• Miary: poprawność wyszukiwania, zgodność cytatów i odpowiedzi ze źródłami, czas znalezienia dowodów naukowych oraz zgodność ocen onkologów. Analizujemy też błędy.
• Zestawy testowe: od 10 do 15 przypadków pacjentów z materiałami z PubMed i ESMO. Są na tyle małe, że można je sprawdzić ręcznie i celowo wprowadzić błędy, by przetestować reakcję systemu. Macierz pomyłek pokazuje między innymi istotne badania, które system pominął (wyniki fałszywie negatywne).
• Stały zestaw porównawczy obejmuje 15 przypadków pacjentów. Obecna wersja odnajduje 40% oczekiwanych badań (recall), a pozostałe pomija. Pierwsza etykieta jest poprawna w 8 z 15 przypadków (53%), a dokładny temat wytycznych w 4 z 15 (27%). To niskie wyniki. Pokazujemy je wprost na stronie projektu.
• Wyszukiwanie hybrydowe na tym samym zestawie znalazło 487 dodatkowych badań. Po sprawdzeniu przez reguły przybyło 214 dopasowanych wyników (704 zamiast 490). Każdą końcową etykietę nadal ustala silnik reguł.

Odrzucone

Uznawanie swobodnych odpowiedzi modelu językowego (LLM) za rozstrzygające. Mogą zmieniać się przy kolejnych uruchomieniach i trudno sprawdzić, skąd się wzięły. Model pozostaje opcjonalnym narzędziem do streszczania źródeł i pomocy przy imporcie danych. Nie rozstrzyga kwestii klinicznych.

Co się zepsuło

Silnik reguł nie rozpoznawał różnych określeń tego samego leczenia. Lekarz mógł rozumieć egfr-tki, tki i targeted jako to samo, a kod traktował je jak trzy różne etykiety. Zespół zbudował więc wspólny słownik dla danych pacjentów, PubMed i ESMO.

Kolejność budowy

Najpierw powstał silnik reguł ze środowiskiem testowym. Następnie zespół przygotował małe zestawy testowe, oczyścił dane i zbudował wspólny słownik. Potem powstała aplikacja internetowa z działającym silnikiem reguł. Wyszukiwanie hybrydowe zespół dodał w siódmym kroku, a opcjonalne streszczenia AI na końcu.

Co zapisuje

Przy każdej odpowiedzi system zapisuje dokument źródłowy, fragment uzasadniający odpowiedź, wersję danych, reguły wyszukiwania, model, instrukcje dla modelu i ich ustawienia oraz historię przeglądu.

Źródła

• Strona projektu z pełną listą technologii

Technologie

Terminy po ludzku

Maszyna stanów (state machine)

System dopuszcza tylko określone zmiany statusu umowy. Wersja robocza nie może od razu otrzymać statusu „wypłacona”.

Dziennik zdarzeń typu append-only

System dopisuje każdą zmianę jako nowy wpis. Nie nadpisuje wcześniejszych zdarzeń, więc można odtworzyć pełną historię umowy.

Arkusz jako baza danych

W tej wersji dane są w Arkuszu Google. Jeden moduł odpowiada za ich odczyt i zapis. Serwer nadaje identyfikatory, które nie zależą od numerów wierszy.

Webhooki

Tablica zadań i usługa podpisu informują aplikację, gdy coś się zmieni. Nikt nie musi sprawdzać ręcznie.

Outbox i zadania ponawiania

Gdy zewnętrzna usługa nie działa, system zapisuje żądanie w kolejce i ponawia je później.

Magic link

Freelancer otwiera osobisty link. Bez konta i bez hasła.

Wersje robocze szyfrowane AES-GCM

System szyfruje zapisany, niedokończony formularz. Freelancer może wrócić do niego później, a dane nie są przechowywane jawnym tekstem.

Jak to testujemy

• Punkt odniesienia: obsługa przez zewnętrzną firmę, za około 30% wartości każdej umowy. Trudno było sprawdzić, na jakim etapie są dokumenty.
• Warunki powodzenia: cały proces wewnątrz agencji, widoczny status umów, mniej przekazywania pracy między osobami, zachowana kontrola prawna i koszt niższy niż wcześniej. Wynik: agencja przejęła całą obsługę od zewnętrznej firmy.
• System powstał w siedmiu dwutygodniowych sprintach od lutego do maja 2026. Potem poprawialiśmy jego niezawodność na podstawie codziennego użycia. Ma ponad 900 testów automatycznych.

Odrzucone

Generowanie umów przez LLM. Zatwierdzone wzory prawne są jedynym źródłem tekstu umowy, a zmienić można tylko niewielki zestaw pól.

Co się zepsuło

Przy większym obciążeniu aplikacja przekroczyła limit zapytań Google. Teraz kolejkuje zadania i ponawia zapytania, za każdym razem czekając dłużej.

Co zapisuje

Dla każdej umowy system przechowuje status, zdarzenia, dokumenty, potwierdzenia podpisu, przekazania między osobami i decyzje. Numery dokumentów tożsamości, dane bankowe i treść dokumentów nigdy nie trafiają do dziennika zdarzeń.

Technologie

Terminy po ludzku

Zbieranie odpowiedzi tekstowych (elicitation)

AI generuje odpowiedź tekstową, podobną do wypowiedzi w wywiadzie, zamiast od razu wskazywać liczbę.

Semantic Similarity Rating (SSR)

System porównuje znaczenie odpowiedzi ze zdaniami wzorcowymi. Dla pytania o zakup mogą to być zdania od „na pewno bym tego nie kupił” do „na pewno bym to kupił”. Na tej podstawie oblicza prawdopodobieństwo każdej oceny na skali.Technicznie: odpowiedź tekstowa → embedding → podobieństwo cosinusowe do zdań wzorcowych skali Likerta → prawdopodobieństwo każdej oceny → rozkład ocen w grupie odbiorców

Zdania wzorcowe (kotwice)

Zdania odpowiadające poszczególnym ocenom na skali. Ich dobór wpływa na wynik, więc testujemy kilka zestawów.

Temperatura SSR

Parametr określający, jak bardzo wynik skupia się wokół jednej oceny na skali. Dobieramy go osobno do każdego typu pytania.

Kontrole ustalone przed testem

Przed testem dodajemy koncepcję, która powinna wypaść wyraźnie dobrze, i taką, która powinna wypaść źle. Ustalamy też minimalną różnicę między ich wynikami. Jeśli metoda jej nie osiągnie, test uznajemy za niezaliczony.

Zapis warunków każdego testu

Przy każdym wyniku zapisujemy instrukcje dla modeli, modele, ustawienia, zdania wzorcowe i dane wejściowe. Pozwala to powtórzyć test i sprawdzić jego założenia.

Jak to testujemy

• U klienta oceniono ponad 100 koncepcji. Koszt jednej wstępnej oceny był o 98% niższy niż badania panelowego, a zgodność z wynikami badań z ludźmi przekroczyła 88%.
• Metodę najpierw przetestowano na publicznych danych ankietowych z prawdziwymi odpowiedziami (Mendeley, CC BY 4.0).
• Ankieta o nowym produkcie: 6 pytań i 438 respondentów. Podobieństwo KS wyniosło 0,887. Mierzy ono zgodność rozkładów odpowiedzi AI i ludzi, gdzie 1 oznacza identyczny rozkład. Średni błąd bezwzględny wyniósł 0,036 na opcję odpowiedzi, a średnia ocena odbiegała o 0,39 punktu na skali 7-punktowej.
• Trudniejsza ankieta o zakupach przyjaznych środowisku, z udziałem 253 respondentów: podobieństwo KS wyniosło 0,73, a po poprawieniu instrukcji dla modelu 0,78. Taki wynik pomaga wybrać kierunek, ale nie zastępuje badań panelowych.
• Wybór modelu: przy tych samych embeddingach Qwen3 30B wyprzedził DeepSeek we wszystkich trzech miarach, a Gemini Flash Lite pod względem błędu wyniku. W porównaniu embeddingów najlepszy był bge-m3, przed qwen3-embedding-8b i text-embedding-3-small.

Odrzucone

Pojedyncze opinie modelu językowego, ankiety, w których AI od razu wybiera oceny, i symulowanie respondentów przez agentów AI. Wybrana metoda SSR pozwoliła zachować uzasadnienia odpowiedzi i przeliczyć je na porównywalne wyniki.

Co się zepsuło

Porównanie modeli zatrzymały problemy techniczne, zanim mogliśmy ocenić jakość odpowiedzi. Jeden z dostawców odrzucał nadmiar zapytań i zwracał niepoprawny JSON. Od tej pory w porównaniach oceniamy także niezawodność. Inny test nie osiągnął ustalonej różnicy kontrolnej o kilka setnych. Uznaliśmy go za niezaliczony.

Co zapisuje

Przy każdym wyniku system zapisuje wersję instrukcji dla modelu, model i jego dostawcę, ustawienia testu, grupy odbiorców, zdania wzorcowe SSR, surowe odpowiedzi, końcowe oceny, koszt i czas.

Źródła

• Artykuł o metodzie SSR, PyMC Labs (arXiv 2510.08338)
• Referencyjna implementacja SSR
• Dane porównawcze: New Product Purchase Intentions (Mendeley)

Technologie

Terminy po ludzku

Punkt odniesienia (baseline)

Prosta prognoza: średnia dla danego dnia tygodnia z uwzględnieniem znanych wydarzeń. Model musi dawać lepsze wyniki, żeby jego zastosowanie miało sens.

Test na danych z zakończonego miesiąca (backtest)

Model nie dostaje wyników z wybranego minionego miesiąca. Ma je przewidzieć na podstawie wcześniejszych danych. Porównujemy prognozę z rzeczywistymi wynikami, zanim użyjemy jej do planowania obsady.

Błąd prognozy

Średnia różnica między prognozą a rzeczywistą liczbą gości.

Dryf sezonowy

Zmiany pór roku i nawyków gości mogą pogarszać trafność prognozy. Sprawdzamy, czy tak się dzieje.

Jak to testujemy

• Punkt odniesienia dziś: doświadczenie kierowników, kalendarze, rezerwacje, raporty ręczne i proste reguły według dnia tygodnia, pory roku i pogody.
• Miary: błąd prognozy, liczba zmian ze zbyt małą lub zbyt dużą obsadą, czas układania grafiku oraz liczba gości, których udało się obsłużyć lub których stracono. Zbieramy też opinie kierowników i recepcji.

Odrzucone

Używanie modelu do planowania obsady przed sprawdzeniem go na danych historycznych. Prosta prognoza może wystarczyć. Test może też pokazać, że najpierw trzeba uporządkować dane.

Co się zepsuło

Na razie nie mamy awarii do opisania. Uzupełnimy tę część po pierwszym teście na danych historycznych.

Co zapisuje

Przy każdej prognozie będzie można sprawdzić okres, z którego pochodzą dane historyczne, ich źródła, informacje o pogodzie i wydarzeniach, wersję modelu oraz poprawki kierownika.

Technologie

Terminy po ludzku

Adapter tylko do odczytu

Tablica pobiera publiczne dane o dostępności z systemu rezerwacji. Niczego w nim nie zapisuje. Jeśli zmieni się format danych, zgłasza problem.

Aktualność danych

Przy każdej kolumnie widać czas ostatniego odczytu. Tablica informuje, czy dane są aktualne, nieaktualne czy niedostępne. Koordynator wie wtedy, kiedy potrzebuje dodatkowego sprawdzenia.

Test zgodności (parity check)

Porównujemy tablicę z panelem pracowników w systemie rezerwacji. Przez dwa dni godziny i przestrzenie zgadzały się dokładnie dla każdej atrakcji o stałych terminach.

Synchronizacja w czasie rzeczywistym

Gdy jedna osoba wybierze termin, tablice wszystkich pozostałych aktualizują się od razu, bez odświeżania.

Oznaczenie terminu na tablicy

Oznaczenie chroni przed wybraniem tego samego terminu przez dwie osoby na tablicy. Nie blokuje terminu ani nie tworzy rezerwacji w systemie rezerwacji.

Niezależne kolumny

Dane o wszystkich atrakcjach ładują się równocześnie. Jeśli pobranie jednych się nie uda, błąd pojawia się tylko w ich kolumnie. Reszta tablicy działa dalej.

Jak to testujemy

• Punkt odniesienia według zespołu: od 15 do 20 minut na zaplanowanie jednej imprezy w systemie rezerwacji.
• Cel: sprawdzenie dostępności w około 1 minutę.
• Wrzesień: 353 rezerwacje przygotowane na tablicy. Przy ostrożnym założeniu 5 minut na rezerwację daje to około 30 godzin planowania, wobec 88 do 117 godzin na te same sprawdzenia w systemie rezerwacji. Czasy są szacunkowe, nie mierzone.
• Zespół przejrzał tablicę na spotkaniu roboczym i zaakceptował ją bez istotnych zmian.
• Trzytygodniowy etap sprawdzania rozwiązania zakończył się decyzją o dalszych krokach. Możliwe opcje: kontynuować, zmienić albo zatrzymać.

Odrzucone

Zapisywanie rezerwacji z tablicy, odtwarzanie zasad obliczania liczby dostępnych miejsc i automatyczne wiadomości do klientów. Dostępność trzeba ostatecznie potwierdzić w systemie rezerwacji. Z klientami rozmawiają ludzie.

Co się zepsuło

Główne ryzyko dotyczy pobierania danych. Bez API tablica korzysta z publicznych danych strony rezerwacji. Ich format może zmienić się bez uprzedzenia. Tablica pokazuje zespołowi błędy odczytu, nieaktualne dane i zmiany formatu. Nie ukrywa tych problemów.

Co zapisuje

System zapisuje czas i wynik każdego odczytu dostępności. Można sprawdzić niezawodność pobierania danych i zmiany między odczytami. Przy każdej rezerwacji i zmianie zapisuje też osobę, która ją wykonała.

Technologie

Terminy po ludzku

Model wizyjno-językowy (VLM)

Model AI, który patrzy na zdjęcie i odpowiada na pytania o nie. Tutaj: jak szeroka i jak wysoka jest przeciwległa ściana?

Skala z przedmiotów o znanym rozmiarze

Drzwi, włączniki i meble mają typowe wymiary. Model używa ich, wraz z typowym kątem widzenia 72° aparatu telefonu, by zamienić piksele na centymetry.

Segmentacja (Mask2Former)

Oznacza każdy piksel zdjęcia jako ścianę, okno, podłogę albo sufit, żeby kreator wiedział, gdzie mogą wisieć zasłony.

Proporcje ściany i zaznaczonego obszaru

Model mierzy całą ścianę. Obszar zaznaczony przez klienta to jej część, więc jego rozmiar w centymetrach wynika z rozmiaru ściany.

Przycinanie percentyli (p10/p90)

Pomija skrajne 10% na obu krańcach wykrytego obszaru ściany. Dzięki temu pojedynczy błędnie rozpoznany cień nie zawyża wymiaru.

Tekstury przygotowane przez grafika

Grafik przygotowuje tekstury tkanin w Blenderze. Program tworzący podgląd dobiera rodzaj fałd (wave, flex, double flex) do plisowania i materiału, żeby obraz przypominał uszytą zasłonę.

Jak to testujemy

• W testach błąd pomiaru na podstawie samego zdjęcia wynosił od 3 do 10% rzeczywistego wymiaru. Dla metody z kartką A4 było to od 20 do 40%.
• Skrypt porównuje wymiary oszacowane ze zdjęć z rzeczywistymi pomiarami. Zapisuje też czas działania każdego modelu.
• Wybór modelu: Qwen VL dał najlepszą dokładność w stosunku do kosztu. GPT-4o-mini był zbyt niedokładny przy pomiarach wymagających precyzji w centymetrach.
• Nie mamy porównywalnego wyniku biznesowego sprzed wdrożenia. Wcześniej zamówień nie składano przez internet.

Odrzucone

Kartka A4 jako wzorzec wymiaru na każdym zdjęciu. Wymagała dodatkowej pracy klienta i dawała błędne wyniki przy szkle, lustrach i zdjęciach pod ostrym kątem. Zamiast niej model korzysta z przedmiotów o znanych wymiarach.

Co się zepsuło

Kreator nie potrafił odczytać zdjęć HEIC z iPhone’a. Teraz konwertuje je w przeglądarce, a w razie problemu na serwerze. Gdy usługa GPU była niedostępna, duże zdjęcia spowalniały model zapasowy. Dlatego system zmniejsza je przed wysłaniem do modelu.

Co zapisuje

Przy każdym pomiarze system zapisuje surową odpowiedź modelu, instrukcję dla modelu, czas działania, ostrzeżenia i klucz pamięci podręcznej. Te informacje pomagają poprawiać dokładność.

Źródła

• zaslony.com