@frankel@mastodon.top2026-03-20 17:03:10
@frankel@mastodon.top2026-03-20 17:03:10
@tomkalei@machteburch.social2026-05-12 16:37:03
Habe heute entdeckt, dass in der Fakultät ein bisher ungenutzter Server mit 2x NVIDIA V100 32GB stand. Und nach einem Treiberupdate lief darauf auch das #leanstral Modell mit vernünftiger Geschwindigkeit.
Habe jetzt die 4-Bit Quantisierung genommen und dann passt es mehr oder weniger in den VRAM. Die Kiste hat 1TB normalen RAM, also kein Problem hier.
Bin gespannt, was das kann!
#lean #mistral
@tomkalei@machteburch.social2026-05-12 17:49:43
How it's going #leanstral #lean #mistral
Look how it is offering to prove Fermat's last theorem!
