Article
Cross-Origin Storage API in Transformers.js: Model-Sharing im Browser
Thomas Steiner vom Chrome-Team bei Google veröffentlicht einen Deep-Dive zur experimentellen Cross-Origin Storage API in Transformers.js. Das Problem ist bekannt: Jede Web-App, die ML-Modelle im Browser nutzt, lädt und cachet die Modelle separat - selbst wenn identische Modelle von verschiedenen Origins angefordert werden.
Die Herausforderung:
Transformers.js ermöglicht Web-Entwicklern, Transformer-Modelle direkt im Browser auszuführen. Aber wenn Xenova/whisper-tiny.en von Origin A und Origin B geladen wird, entstehen 177 MB Duplikate. Bei größeren Modellen und vielen Apps summiert sich das schnell zu Gigabytes an redundantem Storage.
Die Lösung: Die Cross-Origin Storage API ist ein Proposal, das Cross-Origin-Model-Sharing ermöglichen soll. Entwickler können bereits heute damit experimentieren. Der Ansatz erlaubt verschiedenen Origins, auf denselben gecachten Model-Storage zuzugreifen - ähnlich wie Shared Storage für andere Ressourcen.
Für die WebML-Community ist das ein wichtiger Schritt: Browser-basierte AI wird praktikabler, wenn Model nicht pro Origin dupliziert werden müssen. Besonders für Edge-Deployment und Progressive Web Apps mit AI-Features ist die Storage-Effizienz kritisch.
Der Blogpost enthält Code-Beispiele, Benchmarks und Anleitungen zur Integration. Als Guest Post auf dem Hugging Face Blog erreicht er genau die Zielgruppe, die von dieser Verbesserung profitiert.
Links: