Mutt Technologies잊고있었던 고전 쥐어짜기 수법 REAP (안쓰이는 Expert 몇개 죽이기) 을 쓰면 39GB 메모리만 쓰고 서빙 가능하다 하네요 이거 잘되면 맥 안바꿔도 될듯?? 추론시 전문가 512개중에 11개만 사용하는 ultra sparse 모델이었는데, 여기서 224개 죽이고 288개만 남겨도 쓸만하다(고 모델 개발자가 주장중) 주말간 실사용 해볼게요 https://huggingface.co/sh0wie/Qwen3.8-Flash-Next-REAP-288-MLX…이거 주말내내 Sol 채찍질해서 돌리고있는데 prefill 600/s decode 70/s 나옴; 시발 ㅋㅋt.me/mutt_tech/503TranslateAugust 30, 2026 312 7 1
