2026-03-20 17:03:10
Habe heute entdeckt, dass in der Fakultät ein bisher ungenutzter Server mit 2x NVIDIA V100 32GB stand. Und nach einem Treiberupdate lief darauf auch das #leanstral Modell mit vernünftiger Geschwindigkeit.
Habe jetzt die 4-Bit Quantisierung genommen und dann passt es mehr oder weniger in den VRAM. Die Kiste hat 1TB normalen RAM, also kein Problem hier.
Bin gespannt, was das kann!
#lean #mistral
How it's going #leanstral #lean #mistral
Look how it is offering to prove Fermat's last theorem!