DevDays Moscow 2021 Online Edition

Илья Орлов

Должность: Ведущий разработчик программного обеспечения

Компания: ООО “СТМ” (Современные технологии мониторинга)

Страна: Россия

Биография

Ведущий инженер с более чем 12-летним опытом промышленной разработки на языках C/C++, Python, JavaScript, преподаватель авторского курса Python в НИИТ (Нижегородский Институт Информационных Технологий), спикер конференций Women in Big Data. Специализируется на задачах обработки и хранения данных большого объема.

Доклад

Делаем из Питона Гидру, Или Как Мы Совмещали Мультипроцессинг с Kafka

Использовать Kafka универсальным способом могут не только лишь все, мало, кто может это сделать. Как предотвратить не только потерю, но и повторную обработку сообщений? Как на лету масштабировать Kafka, не опасаясь последствий ребаланса? Как использовать мультипроцессинговый кэш Python для варьирования нагрузки на конвейер обработки данных? В данном докладе хочу поделиться тем, как мы последовательно решали означенные вопросы, придя в итоге к гибкому и надежному решению для обработки большого потока данных.

Ключевые слова

🔑 Big Data
🔑 Kafka
🔑 Python

« Назад