Sacred : Leichtgewichtiges Tracking für reproduzierbare KI-Experiment

Sacred ist eine Open-Source-Bibliothek in Python zur Organisation, Protokollierung und Reproduzierbarkeit von Machine-Learning-Experimenten. Entwickelt vom Schweizer KI-Labor IDSIA, richtet sie sich an Forschende und Entwickler:innen, die eine einfache, flexible und codezentrierte Lösung zur Verwaltung von Experimenten suchen – ohne komplexe Abhängigkeiten.

Im Unterschied zu umfassenden MLOps-Plattformen setzt Sacred auf ein leichtes, erweiterbares Design, das sich mit Tools wie MongoDB oder Sacredboard kombinieren lässt.

Zentrale Vorteile:

• Lückenlose Protokollierung von Parametern, Ergebnissen und Abläufen
• Fokus auf Reproduzierbarkeit und Nachvollziehbarkeit
• Ideal für akademische Projekte und experimentelle Workflows

Was sind die Hauptfunktionen von Sacred?

Konfigurationsmanagement und Reproduzierbarkeit

• Verfolgt sämtliche Konfigurationsparameter mit Python-Dekoratoren
• Unterstützt benannte Konfigurationen und modulare Komponenten (“Ingredients”)
• Erfasst automatisch Codeversion, Befehlszeilenargumente und Abhängigkeiten
• Gewährleistet eine identische Wiederholung früherer Runs

Logging und Ergebnisverfolgung

• Protokolliert Metriken, Artefakte, Fehlermeldungen und Ausführungsstatus
• Unterstützt strukturierte Ausgabe und benutzerdefiniertes Logging
• Speichert Zeitstempel, Hostinformationen und Exit-Codes
• Optionale Integration mit MongoDB zur dauerhaften Speicherung

Erweiterbares Observer-System

• Nutzt sogenannte Observers, um Daten an verschiedene Backends zu senden
• Unterstützt standardmäßig: MongoDB, Dateisystem, Slack, SQL usw.
• Entwickelnde können eigene Observer-Klassen erstellen
• Modular und anpassbar für individuelle Anforderungen

Framework-unabhängig und leichtgewichtig

• Keine Abhängigkeit von spezifischen ML-Frameworks
• Kompatibel mit jedem Python-Trainingsloop oder Forschungsworkflow
• Ideal für Skripte, akademische Projekte oder Notebook-basierte Arbeit
• Einfach in bestehende Umgebungen integrierbar

Optionale Weboberfläche mit Sacredboard

• Sacredboard bietet eine Weboberfläche zur Visualisierung von Runs
• Zeigt Konfigurationen, Logs, Metriken und Ausgaben
• Erleichtert den Überblick über laufende und abgeschlossene Experimente
• Besonders nützlich bei vielen Experimenten oder im Team

Warum Sacred wählen?

• Konzipiert für Klarheit, Nachvollziehbarkeit und Wiederholbarkeit
• Open Source, leicht zu bedienen und gut in Python-Workflows integrierbar
• Flexibel erweiterbar durch das Observer-System
• Geeignet für Forschung, Prototyping und Offline-Tracking von Experimenten
• Dokumentiert automatisch alle wichtigen Informationen zum Experiment