Курс будет длиться 4 месяца и рассчитан на тех, кто прошел уроки с 1.1 по 6.6 базового курса по Python.
После прохождения курса вы сможете использовать Python для решения практических задач анализа данных и Data Engineering.
Python регулярно встречается в вакансиях по анализу и инженерии данных. Знание Python стало одним из базовых профессиональных навыков.
Как будет проходить обучение
Каждую неделю будут опубликованы 1–2 видеоурока продолжительностью до 15 минут.
После каждого урока будут тестовые вопросы и задачи с автопроверкой.
Раз в неделю, по средам в 20:00, будет общий созвон, на котором мы будем разбирать ваши вопросы по теории и решать дополнительные задачи.
У нас будет общий чат для обсуждения вопросов.
Также учиться нам будет помогать бот, который каждый день будет присылать небольшой блок теории и небольшую задачу.
Цель бота — помочь нам заниматься 10–15 минут каждый день и стабильно продвигаться в обучении даже в условиях нехватки времени.
План на 16 недель
1. Python для эффективной обработки данных
• Итераторы и генераторы
•
yield и lazy evaluation• Генераторные выражения
• Потоковая обработка данных
• Работа с большими объёмами данных и памятью
2. NumPy
•
ndarray, shape, dimensions, dtype• Индексация и slicing
• Векторизированные вычисления
• Broadcasting
• Агрегации
• NumPy vs обычные Python-циклы
3. Pandas: основы
• Series и DataFrame
• Index и columns
• Типы данных
• Загрузка и первичное исследование datasets
•
loc, iloc• Фильтрация и
query4. Pandas: преобразование данных
•
rename, astype, assign• Создание новых признаков
•
map и apply• Векторизация
• Производительность Pandas
5. Pandas: группировка и агрегация
•
groupby•
agg• Несколько агрегатов
•
transform•
filter• MultiIndex
• Расчёт бизнес-метрик
6. Pandas: объединение и изменение структуры данных
•
merge• INNER / LEFT / RIGHT / OUTER JOIN
• One-to-one, one-to-many, many-to-many
• Cardinality и дубликаты ключей
•
concat•
pivot, pivot_table, melt7. Время и очистка данных
• Работа с datetime
• Timezone
• Resampling
• Rolling и накопительные показатели
• Пропуски
• Дубликаты
• Некорректные типы
• Выбросы
• Проверка качества данных
8. Исследовательский анализ данных
• Как правильно проводить EDA
• Постановка аналитического вопроса
• Поиск закономерностей и аномалий
• Формирование и проверка гипотез
• Matplotlib
• Seaborn
• Выбор правильного типа визуализации
Практический кейс: исследование поведения клиентов на реальном наборе данных.
9. Python + PostgreSQL
• Подключение к PostgreSQL из Python
• DB-API
• Connection и Cursor
• Параметризованные запросы
• Transactions
• SQLAlchemy
• Engine и Connection
• Работа с DataFrame и PostgreSQL
10. Надёжная загрузка данных из API
• Pagination
• Rate limits
• Timeout
• Retries
• Обработка ошибок
• Incremental loading
• Watermark
• Checkpoint
• Защита от дубликатов
Практика: API → Python → PostgreSQL
11. ETL / ELT и проектирование Data Pipeline
• ETL и ELT
• Extract → Transform → Load
• Raw / Staging / Final
• Архитектура pipeline
• Full и incremental loading
• Idempotency
• Retry и recovery
• Checkpoints
• Что происходит при падении pipeline
Практика: спроектировать и реализовать устойчивый ETL pipeline.
12. Production Python
• Архитектура Python-проекта
• Modules и packages
•
src-структура• Configuration
• Environment variables
• Secrets
•
pyproject.toml• Dependencies
• Type hints
• Pydantic
Практика: превратить обычный ETL-скрипт в полноценный Python-проект.
13. Testing и Data Quality
• Pytest
• Unit tests
• Fixtures
• Parametrization
• Mocking
• Тестирование transformations
• Schema validation
• Null checks
• Uniqueness
• Referential integrity
• Business rules
Практика: добавить автоматические тесты и проверки качества данных в pipeline.
14. Большие данные и эффективное хранение
• Когда Pandas перестаёт справляться
• Memory limitations
• Chunk processing
• Streaming
• SQL pushdown
• DuckDB
• Polars
• CSV vs Parquet
• Apache Arrow
• Compression
• Partitioning
• Predicate pushdown
Практика:
