Blog pisze się sam, ale każdy wpis sprawdza drugi model i ja
Ten devlog pisze się prawie sam. Co 24 godziny program zbiera moje commity z repozytoriów i zamienia je w podsumowanie dnia. Pierwsza wersja publikowała wpisy od razu na stronie. Szybko uznałem, że to nie może tak zostać, bo to moja publiczna wizytówka.
Co znalazłem: trzy ryzyka automatu
Model widzi kilka commitów i potrafi dopisać wynik testu, którego nikt nie uruchamiał, albo liczbę zmienionych plików, która się nie zgadza. Treść commita trafia do promptu, więc ktoś z dostępem do repozytorium mógłby wpisać w wiadomości polecenie, które zmieni sposób pisania tekstu. Do tego modele domyślnie piszą korporacyjnie, zaczynając od ogólników o "dynamicznie zmieniającym się świecie".
Jak to działa
- Program pobiera commity przez API GitHuba.
- Czyści tekst: usuwa dziwne znaki sterujące, przycina zbyt długie wiadomości i odrzuca fragmenty wyglądające jak polecenia dla modelu.
- Pierwszy model pisze szkic, ale może korzystać wyłącznie z danych, które dostał.
- Drugi model dostaje szkic i surowe dane. Sprawdza każde zdanie z faktami i oznacza te, których nie da się potwierdzić.
- Krótki skrypt porównuje liczby w tekście ze statystykami z Gita i szuka sekretów, takich jak klucze API. Jeśli choć jedna liczba się nie zgadza, szkic odpada.
Wynik trafia jako pull request na osobną gałąź. Nic nie idzie na main bez mojego kliknięcia. Gdy generowanie się nie uda, nic nie jest publikowane. Brak wpisu jest lepszy od słabego wpisu.
Dlaczego to ważne
Blog pracuje w tle, a ja nie muszę za każdym razem sprawdzać, czy nie pojawiła się wymyślona liczba. Ta sama konstrukcja, czyli generator, krytyk i prosty test liczb, nadaje się do każdego raportu AI, który idzie do klienta albo do zarządu.
Czego się nauczyłem
- Dwa modele są lepsze niż jeden, bo drugi nie patrzy na tekst tak jak autor, tylko sprawdza go z danymi w ręku.
- Odpowiedzialność za publikację zostaje u człowieka. Automat może przygotować wpis, ale decyzja należy do mnie.
- Zwykły skrypt wyłapuje błędy, których modele nie widzą, na przykład niezgodne liczby. Nie trzeba do tego kolejnego modelu.