Проведение воспроизводимых ML-экспериментов

 

00:00 Содержание лекции 01:56 Проблема воспроизводимости ML-экспериментов 27:58 Работа с данными 47:12 Шаблон кода для обучения моделей на PyTorch Lightning 1:16:08 Как запуститься локально 1:23:03 Как запуститься в Colab 1:39:41 Яндекс. Датасфера Подборка полезных материалов по теме лекции: Презентация:
Блокноты лекции: - EDA и подготовка разбиения данных на train-val-test на примере датасета PCAM:
- Запуск и обучение модели в среде Colab:
- Предлагаемый, в качестве шаблона, репозиторий с воспроизводимым кодом обучения модели классификации на Lightning:
Полезные ссылки: - Большой, но крайне дружелюбный туториал по git (Для тех, кто всё откладывал знакомство с этим инструментом):
- Инструкция по работе с сервисом Яндекс.Датасфера:
- Инструмент Weights & Biases для распределенной визуализации экспериментов:
- Как заменить логирование в TB на логирование в W&B для Lightning пайплайнов:
- MLflow:
- Популярная статья о том, что такое MLflow и как им пользоваться:
- Надстройка для гита, которая позволяет версионировать данные — DVC:
- Статья о том как пользоваться DVC:
Наши каналы: Сайт:
VK: https://vk.com/msu_ai
Telegram:
#MSU_AI#Фонд_Интеллект