Galqiwi's boredomНаконец-то закончил работу над большим пет-проектом. Я смог запустить Llama 3.1-8b прямо в браузере на cpu с помощью нашего нового алгоритма сжатия AQLM+PV. Можно потестить демо здесь видеоУвеличил на 9% скорость работы и уменьшил размер на те же 9%.Смог сжать эмбединги в nf4 формате. Не стал жать в nf4 голову, остановился на int8, поскольку второй быстрее.t.me/galbdm/1817Translate132November 4, 2024 1.9K 1
13
2
