Shekaradan Tys: Жасанды Білім
#7 шығарылым
Synthetic Data: Жалған деректермен нағыз ЖИ қалай оқытады?
Жасанды интеллектті оқыту үшін не керек? Жауап қарапайым - деректер. Көп деректер. Өте көп деректер. Бірақ Қазақстанда бұл үлкен мәселеге айналады. Қазақ тілінде сапалы мәтіндер аз. Медициналық немесе заңдық деректерді жинау , құпиялылық мәселесі. Банктер мен мемлекеттік органдар өз деректерін сырттай бере алмайды. Шешім бар ма? Бар. Бүгінгі тақырыбымыз Synthetic Data (Синтетикалық Деректер). Бұл нағыз адамдар жинаған емес, жасанды интеллектің өзі жасаған деректер.
Синтетикалық деректер дегеніміз не?
Қарапайым тілмен айтқанда: біз ЖИ-ға "мұғалім" рөлін береміз, ол "оқулық" жазады, содан кейін басқа ЖИ сол оқулықтан үйренеді. Мысал келтірейін. Сізге қазақ тіліндегі тұтынушылар сұрақтарына жауап беретін чат-бот керек делік. Бірақ сізде тек 500 нақты диалог бар, бұл тым аз. Не істейміз? Біз үлкен модельге (мысалы, GPT-4 немесе Claude) осындай тапсырма береміз: "Сен - банк клиенті. Карта блоктау туралы сұрақ қой". Модель мыңдаған әртүрлі сұрақтар генерациялайды. Содан кейін басқа модельге жауап жаздырамыз. Нәтижесінде бізде 500 емес, 50 000 диалог болады.
Бұл синтетикалық деректер. Неге бұл жұмыс істейді? Көпшілік сұрайды: "Жалған деректермен оқытсақ, нәтиже де жалған болмай ма?" Жақсы сұрақ. Жауабы мынада: синтетикалық деректер "жалған" емес, олар "модельденген". Бұл ұшқыштар үшін авиасимулятор сияқты. Нағыз ұшақ емес, бірақ нағыз дағдыларды үйретеді.
Синтетикалық деректердің күші әртүрлілік (diversity). Нақты деректерде сирек кездесетін жағдайларды (edge cases) арнайы генерациялауға болады. Мысалы, банк алаяқтығының сирек түрлерін немесе медициналық сирек аурулардың симптомдарын.
Негізгі әдістер
Синтетикалық деректер жасаудың бірнеше танымал тәсілі бар.
Біріншісі: Self-Instruct. Бұл әдіс 2022 жылы Стэнфорд зерттеушілері ұсынған. Идеясы қарапайым: модельге бірнеше мысал (seed examples) көрсетеміз, ол соларға ұқсас жаңа тапсырмалар мен жауаптар генерациялайды. Alpaca моделі дәл осылай жасалды тек 175 қолмен жазылған мысалдан 52 000 instruction жасалды.
Екіншісі: Distillation (Айдау). Үлкен, қымбат модельдің (мысалы, GPT-4) білімін кішірек, арзан модельге "айдау". Үлкен модель сұрақтарға жауап береді, кіші модель сол жауаптардан үйренеді. Нәтижесінде сізде GPT-4 сапасына жақын, бірақ өз серверіңізде жұмыс істейтін жеңіл модель болады.
Үшіншісі: Evol-Instruct. WizardLM жобасында қолданылған әдіс. Қарапайым сұрақтарды біртіндеп қиындатамыз. "Астананың ауа райы қандай?" сұрағынан бастап, "Астанадағы желдің жылдық динамикасын ауыл шаруашылығы контекстінде талда" деңгейіне дейін эволюциялаймыз.
Қазақстан контексті: Неге бізге бұл керек?
Қазақстанда синтетикалық деректер бірнеше маңызды мәселені шешеді.
Құпиялылық мәселесі. Банктер мен денсаулық сақтау ұйымдары нақты клиент деректерін ЖИ оқытуға бере алмайды, бұл заңға қайшы және қауіпті. Бірақ синтетикалық деректер нақты адамдарға сілтеме жасамайды. Біз нақты транзакциялардың статистикалық үлгісін (pattern) сақтай отырып, толығымен жаңа, ешкімге тиесілі емес деректер жасаймыз.
Қазақ тілінің мәселесі.
Интернетте қазақ тіліндегі сапалы мәтіндер шектеулі. Синтетикалық генерация арқылы біз қазақ тіліндегі корпусты арттыра аламыз, сұрақ-жауаптар, нұсқаулықтар, диалогтар.
Сирек жағдайларды модельдеу. Алаяқтық транзакциялар, төтенше жағдайлар, сирек аурулар нақты деректерде олар өте аз. Синтетикалық әдіспен біз осы жағдайларды арнайы көбейтіп, модельді солармен жаттықтырамыз.
Этикалық мәселелер
Синтетикалық деректер қуатты құрал, бірақ жауапкершілікті талап етеді.
Лицензия мәселесі. Кейбір модельдердің (мысалы, OpenAI) шарттары олардың шығысын бәсекелес модельдер оқытуға пайдалануға тыйым салады. Бұл заңдық тәуекел.
Сапа мәселесі.
Синтетикалық деректерде модель галлюцинация жасап, жалған фактілер енгізуі мүмкін. Сондықтан фильтрация және адам тексеруі міндетті.
Қорытынды
Синтетикалық деректер Қазақстан үшін үлкен мүмкіндік. Құпиялылық мәселесін шешеді, қазақ тіліндегі корпусты арттырады, сирек жағдайларды модельдеуге мүмкіндік береді.
