OpenAI совместно с Международным обществом «Қазақ тілі» работает над тем, чтобы ChatGPT лучше понимал казахский язык и точнее отвечал на нем. Об этом рассказал президент общества Рауан Кенжеханулы.
Для обучения ИИ специалисты собирают казахоязычные тексты, аудио, изображения и другие материалы. Объем текстовой базы Kazakh Text Corpus уже достиг 14 млрд токенов.В корпус вошли материалы разных периодов развития казахского языка, а также наследие казахской диаспоры за рубежом. Данные охватывают образование, науку, технологии, экономику, право, медицину, историю, этнографию, медиа и детский контент.
Ожидается, что благодаря этим данным ChatGPT сможет лучше переводить тексты, распознавать казахскую речь и точнее отвечать на вопросы о языке, культуре, традициях и истории Казахстана. Одна из целей — сократить количество ошибок и так называемых «галлюцинаций» ИИ.
👀 Одна из главных проблем — казахоязычного контента для обучения ИИ значительно меньше, чем английского или русского. Чтобы восполнить этот пробел, материалы дополнительно собирают в архивах, музеях, библиотеках и других источниках.
#ChatGPT #OpenAI #КазахскийЯзык #ҚазақТілі #ИИ #ИскусственныйИнтеллект
BlueScreen | Digital Kazakhstan
