Meetings
Topic
Application and experiment automatic performance evaluation pipeline:
Dateisysteme und der damit verbundene Lese- und Schreib-Durchsatz werden üblicherweise mit Microbenchmarks und Applikationen getestet. Dies findet allerdings immer manuell oder über dafür konstruierte Skripte statt. Die Aufgabe der Bachelorarbeit ist es eine Test-Pipeline zu entwerfen und zu entwickeln, die es erlaubt verschiedene Dateisysteme und Anwendungen zu testen. Diese Pipeline soll modular aufgebaut sein, so dass (definierte) Dateisysteme und Applikationen per Knopfdruck gebaut und getestet werden können. Ziel ist es also eine Pipeline per Knopfdruck vollautomatisch auf einem neuen System testen zu können. Die Testergebnisse pro Anwendung und Dateisystem sollen entsprechend aufgearbeitet werden und z.B. per Abbildungen (Bar-Plot o.ä.) präsentiert werden.
TODO
- Apps an Paper https://dl.acm.org/doi/pdf/10.1145/3431379.3460637 Applikationen orienterieren, IO500 und Elbencho https://github.com/breuner/elbencho
- Dateisysteme: Kernel, User-Space
- Kernel: Hier muss nur der Pfad verwendet werden. z.b. /lustre ist ein Lustre-Dateisystem /localscratch ist XFS usw. Zusatz Kernel Dateisystem installieren (benötigt root für pfad): EXT4, XFS, BeeGFS
- User-Space: GekkoFS, BurstFS, UnifyFS
- Finales Ergebnis: Auf Knopfdruck Benchmarks und Apps laufen lassen
- Visualisierung sollen erstellt werden (z.b. Matplotlib)
- Vergleich:
- Für ein Dateisystem Performance Visualisierung über mehrere Apps und Benchmarks
- Pro App und Benchmark Vergleich über mehrere Dateisysteme. Muss nicht ein Run sein.
- Modulares System: Es soll einfach sein Dateisysteme und Use cases (Apps, Benchmarks) hinzuzufügen.
- Konfiguration und Installation
- Ausführung und eventuelle Laufzeit-Optionen
- Ausreichende Dokumentation