Models
Apple Minions - Idle Macs werden zur verteilten GPU-Cloud für LLM-Inferenz
Apple-Forscher haben mit Minions ein System vorgestellt, das ungenutzte GPUs von Apple-Silicon-Macs zu einer internen, verteilten Inferenz-Cloud bündelt. Der Hintergrund ist ein sehr bekanntes Problem: Zentrale GPU-Cluster sind teuer, überbucht und erzeugen lange Wartezeiten – laut Paper teils über zehn Stunden. Gleichzeitig stehen auf den Schreibtischen jede Menge M-Chips, die den Großteil des Tages Däumchen drehen.
So funktioniert’s
- Minion Server: Nimmt Jobs per Web-UI/API an und zerlegt sie asynchron in Subtasks.
- PostgreSQL hält sämtlichen Task- und Executor-Status; Executors greifen nie direkt auf die DB zu, sondern nur über REST.
- Minion Executor läuft auf den Macs und zieht sich Arbeit selbst (Pull-Modell, kein zentraler Scheduler). Embeddings laufen über Hugging Face Transformers, LLM-Completions über Ollama – komplett lokal.
- Watchdog: Überwacht Heartbeats (alle fünf Minuten). Klappt jemand den Laptop zu, landet der Subtask wieder in der Queue.
- Ein- und Ausgaben liegen in S3, damit der Server keine großen Payloads schaufelt.
Ergebnis
Aus Stunden Wartezeit werden Minuten, ohne neue GPU-Anschaffungen. Charmantes Detail: Teams koordinieren die Rechenkraft teilweise per Slack-Nachricht à la „kannst du mal kurz deinen Executor laufen lassen?“. Für Datenschutzbedenken gibt es team-isolierte Executor-Pools. Als nächster Schritt ist verteiltes Training geplant.
Für alle, die zuhause ein paar Macs mit Ollama herumstehen haben, ist das Architekturmuster gut nachbaubar.