Jeden model AI do wszystkiego?

Jeden model AI do wszystkiego? To brzmi wygodnie. I bardzo szybko robi się drogie.

Przy budowie askee | Organisational Intelligence System dość szybko doszliśmy do wniosku, że nie jest tak ważne który model jest najlepszy, ale który model jest wystarczająco dobry dla konkretnego zadania, przy akceptowalnym koszcie i ryzyku.

To wynika z jednego prostego założenia – organizacja nie ma jednego rodzaju zadań. Innej ścieżki działania asystenta potrzebuję, kiedy wyszukuję informację w procedurze, innej kiedy podsumowuję dokument, innej do klasyfikacji zgłoszenie, a jeszcze innej do
przygotowania rekomendacji, która może mieć wpływ na pracownika albo pieniądze.

Na początku naturalne jest podejście, że wybierzmy jeden mocny model i przepuśćmy przez niego wszystko. Technicznie to oczywiście zadziała, ale czy jednocześnie obroni się ekonomicznie i architektonicznie? – często już nie. Dlatego w askee coraz bardziej myślimy o routingu modeli.

Zanim zadanie trafi do LLM, system powinien rozumieć m.in.:
1. Jak skomplikowane jest zadanie? – proste wyszukanie czy wieloetapowe rozumowanie?
2. Jakie jest ryzyko błędu? – inaczej traktuję streszczenie dokumentu, a inaczej rekomendację dotyczącą wynagrodzenia czy akceptacji kosztu.
3. Jaki poziom jakości jest naprawdę potrzebny? – nie każdy proces wymaga najmocniejszego dostępnego modelu.
4. Ile kosztuje uzyskanie rezultatu? – nie tylko pojedynczy token, ale cały proces: kontekst, liczba wywołań, walidacja i ponowne próby.

I dopiero wtedy można zdecydować który model mniejszy i szybszy, mocniejszy, lokalny / on-premise (chociaż aktualnie znakomita większość naszych klientów oczekuję modelu on-promise, co też określa w znaczący sposób jaki możemy wykorzystać).

Dla mnie to jedna z ważniejszych zmian w myśleniu o AI dla organizacji. Nie budujemy architektury wokół jednego LLM, ale wokół zadania, kontekstu, jakości, kosztu i ryzyka.

I właśnie w tym miejscu zaczyna się prawdziwa optymalizacja AI — nie przez wybór „najtańszego modelu”, tylko przez dobranie właściwego modelu do właściwego procesu.

Czy Waszym zdaniem jeden model może dobrze i ekonomicznie obsługiwać wszystkie zadania organizacji?

W Askee pokazujemy więcej takich decyzji architektonicznych z praktyki budowania wewnętrznego asystenta AI. Masz swoje doświadczenia w podobnych wyzwaniach? Porozmawiajmy:)