🔥 Soup - дообучение LLM одной командой
Проект упрощает fine-tuning и post-training моделей до схемы: один YAML-конфиг → одна команда.
Самое интересное:
- можно дообучать 8B-модель даже на ноутбуке с 4 ГБ VRAM
- layer streaming подаёт слои модели на GPU по одному
- работает с QLoRA и локальными GPU
- автоматически подбирает batch size, устройство и квантование
- есть DPO, ORPO, SimPO и KTO
- без SSH и отдельной облачной инфраструктуры
На RTX 3050 Laptop 4 GB авторы запускали Llama 3.1 8B Instruct с пиковым потреблением около 3,32 ГБ VRAM.
https://github.com/MakazhanAlpamys/Soup
18
6
5August 28, 2026 3.8K 3 222
