DevDays Moscow 2021 Online Edition

Алексей Жадан

Должность: DevOps-архитектор

Компания: Neoflex

Страна: Россия

Биография

Стаж работы в IT свыше 17 лет. За это время успел поработать в таких компаниях как Neoflex, Media Markt Russia, Acronis, Рамблер, EPAM, LiveLinux, LiveEduck и Burgerking Russia. Основная сфера деятельности – развитие решений в области машинного обучения и DevOps. Также занимается построением бизнес-процессов и организацией работы отделов разработки и эксплуатации. Активно обучает специалистов Linux. В свободное время увлекается гештальтом и путешествиями. Амбассадор IT в регионах.

Доклад

Инструменты Разработки и Развёртывания Моделей Машинного Обучения. Введение в MLOps.

Расскажем об автоматизации жизненного цикла моделей и подходе к модели как к коду, который включает в себя:

  • Контролируемый доступ к коду и артефактам моделей
  •  Логирование изменений
  •  Контролируемый перенос изменений с локальной машины в репозиторий
  • Автоматическую сборка модели с версионным хранением артефактов
  • Возможность отладки на тестовом окружении
  • Оптимизированный граф исполнения модели
  • Автоматический перенос на промышленное окружение
  • Отчет и уведомления по результатам исполнения модели

Покажем концептуальную архитектуру решения, которая включает в себя:

  • Автоматизацию бизнес-процессов управления жизненным циклом моделей с помощью workflow JIRA
  • Jupyter (Jupyterlab, Jupyterhub) в качестве среды разработки моделей
  • Управление исходным кодом модели посредством Git
  • Хранение артефактов моделей на S3 совместимом хранилище Minio
  • Использование Mlflow в CI/CD для создания исполняемых артефактов
  • Установку моделей на среду в online и batch режимах
  • Контроль обученных моделей и формирование отчетов в BI системах

Сделаем обзор инструментов:

  • Jenkins: Сборочный конвейер для pipeline
  • Airflow: Workflow-координатор
  • Pandos и Koalos как Python библиотеки для обработки и анализа данных
  • PySpark в Kubernetes
  • Хранение артефактов в DVC

Ключевые слова

🔑 MLOps
🔑 DevOps
🔑 Data Science

« Назад