LLMOps
MLOps for systems built on language models — prompts, evals, cost, and safety instead of training runs.
LLMOps sposta le preoccupazioni perché di solito il modello non lo stai addestrando tu. Ciò che versioni, testi e monitori sono i prompt, il retrieval, le definizioni degli strumenti, le eval, la latenza, la spesa e la sicurezza dell’output. La disciplina di fondo è la stessa: non va in produzione niente senza un test che ne coglierebbe il fallimento.
In pratica: Ogni modifica a un prompt fa girare la suite di eval in CI prima di arrivare in produzione.