Models
Läuft mein Modell auf AWS Trainium? Hugging Face baut einen Nachschlage-Space
Nachschlagen statt ausprobieren
Nach der Vorstellung von TorchNeuron, dem nativen PyTorch-Backend für AWS Trainium, folgt die Praxisfrage: Welche Modelle laufen tatsächlich? Der neue Hugging-Face-Space beantwortet das für die beliebtesten Modelle des Hubs. Pro Modell stehen Ergebnis, Anzahl der Trainium-Kerne, Laufzeit inklusive Kompilierung und Spitzenspeicher.
Was getestet wird
- Nur Transformers-Modelle für text-generation und image-text-to-text (Diffusers und Sentence Transformers sollen folgen)
- Jeder Test lädt das Modell auf einer trn2-Instanz, verteilt auf die kleinstmögliche Zahl an Kernen (maximal 16), und generiert 32 Token
- Auf einem Kern wird gegen einen CPU-Lauf verglichen, bei Sharding prüft ein kleines Judge-Modell, ob der Text flüssiges Englisch ist
- Ein PASS sagt nichts über Durchsatz oder lange Generierungen
Selbst ausführen
Der Space liefert die getestete Neuron-Stack-Version, die Pakete und das run.py-Skript (from_pretrained, statischer Cache, torch.compile mit Backend „neuron"). Wer die Kompilierung überspringen will, kopiert die Graphen aus dem öffentlichen NEFF-Cache. Alle Ergebnisse liegen als Parquet-Dateien im Datensatz aws-neuron/torch-neuronx-model-support und lassen sich direkt abfragen.