Models
ServiceNow AutoSynthData: Aus Agenten-Fehlern wird ein Trainings-Curriculum
ServiceNow CoreAI hat AutoSynthData vorgestellt - eine Pipeline, die aus den Faehigkeitsluecken eines Agenten automatisch Trainingsdaten macht. Die Kernidee: Ein Modell mag breit fähig sein, scheitert aber an spezifischen Workflows, Tool-Kombinationen oder Constraints der eigenen Unternehmensumgebung. Genau diese Schwachen in Trainingsaufgaben zu überführen ist bisher der Engpass.
Vom Fehlschlag zum Curriculum
AutoSynthData evaluiert das Zielmodell zuerst mit diagnostischen Aufgaben und identifiziert Muster im Scheitern. Ein stärkeres Teacher-Modell zeigt, welche Aufgaben lösbar sind und wie Erfolg aussieht. Die Erkenntnisse fließen in “Capability Specification Cards” - bewusst ohne die originalen Prompts oder Trajektorien. Aus diesen Karten generiert die Pipeline neue Aufgaben mit anderen Entitaeten, Zuständen und Lösungswegen, die der Teacher vormacht.
Validierung auf zwei Ebenen
Jede generierte Aufgabe besteht aus System-Spezifikation, User-Prompt und einem Verifier. Bevor sie ins Trainingset kommt, muss sie positive Verifikation bestehen (die Referenzlösung löst die Aufgabe), negative Verifikation (mutierte Ergebnisse dürfen nicht durchgehen) und einen Repair-Zyklus. Danach multipliziert die Pipeline die akzeptierten Beispiele zu neuen Varianten - jede mit eigenem Zustand, eigener Referenztrajektorie und eigenem Verifier.
Ergebnisse in EnterpriseOps Gym
Im Hybrid-Domain-Test mit Gemma-4-26B als Ziel und Qwen3.8-27B als Teacher entstanden 2.000 Samples in 18 Stunden. Fine-Tuning darauf steigerte Pass@1 um 7,2 Prozentpunkte - 59 Prozent der ursprünglichen Lücke zum Referenzmodell wurden geschlossen. Im ITSM-Domain stieg Pass@1 von 18,77 auf 27,18 Prozent. Der Ansatz ist damit ein weiterer Beleg dafür, dass gezieltes, umgebungsspezifisches Post-Training mehr bringt als generische Datensätze.