LLMOps
MLOps for systems built on language models — prompts, evals, cost, and safety instead of training runs.
LLMOps verschiebt die Themen, weil du das Modell in der Regel gar nicht selbst trainierst. Versioniert, getestet und überwacht werden stattdessen Prompts, Retrieval, Tool-Definitionen, Evals, Latenz, Kosten und die Sicherheit der Ausgaben. Die Kerndisziplin bleibt dieselbe: Nichts geht live ohne einen Test, der sein Scheitern bemerken würde.
In der Praxis: Jede Prompt-Änderung durchläuft in der CI die Eval-Suite, bevor sie in die Produktion kommt.