Galqiwi's boredomУвеличил на 9% скорость работы и уменьшил размер на те же 9%. Смог сжать эмбединги в nf4 формате. Не стал жать в nf4 голову, остановился на int8, поскольку второй быстрее.Скоро появятся маленькие модели, чтобы можно было даже на телефоне в браузере запустить.Хотя даже сейчас можно на некоторых, люди на пикселе запускали, там много ramt.me/galbdm/1818Translate73November 4, 2024 2K 1
7
37373
