💫 Представляю нарешті нашу статтю як ми робили Лапу!
Тут описано як ми взялись та вирішили 3 проблеми: неефективну токенізацію, брак якісних анотованих даних та відсутність датасетів для слідуванню інструкцій українською. Ми:
1) трансфернули токенізатор завдяки роботі Богдана і Миколи
2) переклад класифікаторів якості і фільтрація претрейну по якості та від дезінформації
3) генерація даних для слідуванню інструкцій
Більше деталей у нашій статтіі Data-Efficient Adaptation of Multilingual LLMs to Ukrainian!
Ми релізнули всі моделі, датасети та код для відтворення результатів.
📖 Стаття: https://aclanthology.org/2026.unlp-1.14/
👩💻 Код: https://github.com/lapa-llm/lapa-llm
📚 Датасети та моделі тут: https://huggingface.co/collections/lapa-llm/lapa-v012-release
Дякую всім, з ким ми разом працювали безкоштовно у вільний від роботи час, деколи під час обстрілів і в безсонні ночі: Богдану Діденку, Миколі Гальтюку, Владиславу Гуменному,
Андріану Кравченку, Роману Кислому, Вікторії Маковській, Артему Орловському, Богдану Рубану, Максиму Рудько, Анастасії Сеник, Назару Друщаку, Дмитру Чаплинському та Марʼяні Романишин.
Також дякую стартапу Comand.AI за обчислювальні ресурси, ELEKS за підтримку через грант памʼяті Олексія Скрипника, проекту Talents for Ukraine від КШЕ, EuroHPC та PLGrid за компʼют на фінальних етапах та HuggingFace за безкоштовні корпоративні ліцензії. Також хочу подякувати Олексію Молчановському, Юрію Філіпчуку, Артуру Кюляну, Нікіті Тринусу, Марку Костіву та Олесю Добосевичу, які допомогли на різних етапах цього проекту.
