Habe heute entdeckt, dass in der Fakultät ein bisher ungenutzter Server mit 2x NVIDIA V100 32GB stand. Und nach einem Treiberupdate lief darauf auch das #leanstral Modell mit vernünftiger Geschwindigkeit.
Habe jetzt die 4-Bit Quantisierung genommen und dann passt es mehr oder weniger in den VRAM. Die Kiste hat 1TB normalen RAM, also kein Problem hier.
Bin gespannt, was das kann!





