Primenjeni AI i LLM sistemi

LLM demo traje jedno popodne; LLM funkcionalnost koja izdrži prave korisnike traži evaluaciju, retrieval koji vraća pravi deo teksta, guardrails i model troška koji možete odbraniti pred finansijama.

Gradimo dosadne delove koji odlučuju da li zanimljivi deo izlazi: golden setove, offline evaluacije uvezane u CI tako da je promena prompta merljivo poboljšanje ili nije, tracing na svakom pozivu, keširanje i rutiranje, i rezervni put za dan kada provajder ima incident.

Ako funkcionalnost koristi retrieval, njega evaluiramo posebno pre generisanja. Model koji halucinira i model koji nikada nije ni dobio pravi deo teksta izgledaju identično u izlazu, a nemaju ništa zajedničko u popravci.