Ваша любимая ИИ без инета и бесплатно.На волне новостей о приближающемся чебурнете и о зарубежном трафике по 4500₽ за 1 Гб я задался вопросом: как поставить ИИ на комп так, чтобы она работала без инета.
Конечно, такой сценарий очень бы не хотелось, но кто теперь знает, что там будет завтра.
Листая инет, я нашёл обалденный вариант, который уже опробовал.
Качаете на комп (винда, макбук) прогу LMStudio, качаете в ней нужную вам ИИ, настраиваете и пользуетесь на здоровье.
Вводная статья (что за прога, как установить) про эту прогу здесь, а более детальная, глубокая и развёрнутая (модели ИИ, рекомендуемые ИИ, как настроить и пр.) здесь.
Обычно я пользуюсь двумя ИИ: чатгпт и квин. Собственно, их я и установил на свой комп.
Теперь о важном.Качество и быстродействие ИИ зависит только от мощности вашего железа, поскольку всё вычисление ИИ делает локально, на вашем компе и никакие данные никуда не отправляет.
Поэтому ответ на вашу задачу может быть непривычно долгим.
Например, я попросил Квин подробно расписать целевую аудиторию тех, кто обращается к эксперту по банкротству физ.лиц, выписать их страхи, боли, желания, задачи, ошибки, мечты, хотелки.
Выдернув инет-кабель из системника, я запустил процесс.
Ответ занял 10 минут 46 секунд.
Да, это не 20-30 секунд, как мы привыкли.
Просто всё дело в том, что те ИИ, за которые мы платим бабки, проводят вычисления на очень мощном железе, поэтому вы так быстро получаете ответ.
Кстати говоря, дав эту же задачу чатугпт, он выдавал инфу в процессе размышления, т.е. почти сразу, в отличии от Квин, которая сначала думает, а потом начинает выдавать инфу.
Но ответ гпт был похож на текст из учебника, в то время как Квин "разговаривала" на более живом языке и давала ответы, приближённые к языку аудитории.
Там есть и другие ИИ и у каждой из них есть своя сборка со своим набором параметров.
Чем больше параметров, тем умнее ИИ, но тем прожорливее она будет.
Например, для Macbook на М1 хватит ИИ с 20-30 миллиардами параметров, для версии Pro можно скачать версию с 40-50 млрд параметров.
На моём компе с видяхой RTX 4060 и 32 ГБ оперативки стоит ГПТ с 20 млрд параметров и Квин с 27 млрд. По качеству и времени отработки я вам уже написал выше.
Версия Квин с 27 млрд весит 17.2 Гб, версия Гпт 20 млрд весит 12.1 Гб.
Кстати, эти ИИ можно интегрировать с какими-нибудь сервисами и самим их обучать.
Сама прога LMStudio, через которую происходит взаимодействие с ИИ очень простая, понятная, там так же можно делать несколько чатов и в рамках 1 чата вести свои темы.
В общем, кому надо, пользуйтесь. Я же буду продолжать пользоваться онлайн версией просто потому, что она банально быстрее
