Интервью на Senior Python: System Design для data pipeline и scraper

Коротко о видео

Кандидат проходит senior System Design-секцию. В первой задаче он проектирует загрузку крупных CSV и Parquet-файлов из S3 в ClickHouse: обсуждаются event trigger, потоковая обработка, буферизация, Kafka, consumer groups, дедупликация и batch insert. Интервьюер последовательно проверяет, какие функциональные и нефункциональные свойства теряются при отказе от очереди ради стоимости. Во второй задаче участники проектируют SaaS для мониторинга цен: уточняют SLA, объём данных, расчёт RPS, надёжность и противодействие блокировкам. Далее разбираются rate limiting, rotating proxies, Redis, autoscaling, формат сырых данных, ClickHouse и стратегия retry. В конце кандидат задаёт вопрос о Spot-инстансах и идемпотентности запусков.

Затронутые темы

Что взять на заметку

• Связывать архитектурное решение с потерями по стоимости, масштабированию и replayability.
• Использовать consumer groups и batch insert для параллельной загрузки данных.
• Начинать дизайн scraper с SLA, объёмов и оценки RPS.
• Закладывать rate limiting, прокси и backoff для внешних ограничений.
• Проектировать идемпотентные задачи, устойчивые к прерыванию Spot-инстансов.