Как масштабировать LLM-разметку и не перегрузить API? Наши дата-инженеры задали себе этот вопрос, когда начали масштабировать LLM-разметку на большие объемы данных.
Так появился llm_markup — универсальный Spark-инструмент, который берет на себя батчинг, параллельные запросы к LLM API, контроль нагрузки, повторы и валидацию ответов.
Инженер по работе с большими данными Дима Иванов рассказывает о том, как это устроено — на примере оценки качества поиска и классификации отзывов.
Но llm_markup этим не ограничивается и подходит для разных задач массовой LLM-обработки. Главное, чтобы их можно было описать источником данных, промптом и форматом ответа.
Листайте карточки и погружайтесь в подробный разбор архитектуры со всеми нюансами — mapInPandas, rate limiting, JSONL и structured-режимы для стабильной работы в продакшене.✨ Читать на Хабре
Lamoda Tech#LaTech_habr
