SCM: Lokale AI-Suche für Fotos und jede Videosekunde auf macOS

SCM (“Screen Memories”) ist eine Open-Source-Anwendung für macOS, die semantische AI-Suche über lokale Foto- und Videobestände bietet – komplett lokal, ohne Cloud-Account und ohne Uploads. Alle Inferenz läuft auf dem eigenen Mac; die Modellgewichte werden einmalig heruntergeladen (~435 MB für das Standard-CLIP-Modell), danach funktioniert alles offline. Wer ordentlich installieren will, nutzt den Homebrew-Cask, der die macOS-Quarantäne-Flag automatisch entfernt.

Fünf Suchmodi

• Files: Semantische Suche über ganze Fotos und Videos per Vision-Embeddings, mit Filename- und Phrasen-Boosts
• Scenes: Videos werden per ffmpeg in Szenen segmentiert und eingebettet – ein Treffer landet direkt beim gesuchten Shot inklusive Timecode
• OCR: Tesseract findet sichtbaren Text in Bildern und Frames (Englisch plus 35 zuschaltbare Sprachen)
• Dialogue: Whisper-Transkripte ermöglichen exakte Suche nach gesprochenen Wörtern in Videos
• LLMs (opt-in): Ein lokaler Chat-Modus via llama.cpp beantwortet Fragen über die extrahierten Dialoge, OCR-Texte und Dateinamen – mit nummerierten, klickbaren Zitaten

Technische Highlights

• Vier wechselbare Vision-Modelle über ONNX Runtime: CLIP ViT-L/14 (Standard), SigLIP-2-B/16 (schnellster Bulk-Import), SigLIP-2-L/16@256 (hoher Detailgrad) und SigLIP-B/16@384
• Beim Modellwechsel re-embeddet die App die gesamte Bibliothek im Hintergrund, ohne die Suche zu blockieren
• Watched Folders importieren automatisch, Content-Hashes deduplizieren Umbenennungen
• E-Mail-Erkennung direkt aus OCR-Text (inklusive verschachtelter Schreibweisen wie “allen [at] gmail [dot] com”)
• Optionaler lokaler Chat mit Qwen3 1.7B (~1,1 GB) oder Llama 3.2 3B (~2 GB) als llama.cpp-Sidecar
• Kein Telemetrie, keine Accounts, keine Uploads

Elektron-App mit React-Renderer, entwickelt mit Bun. Der Screenshot-Klassifizierer ist dank Metadaten-Probes sogar Umbenennungs-resistent.

Quelle: SCM auf GitHub