В этом видео мы знакомимся с Apache Airflow - платформой оркестрации процесса выполнения задач. В процессе понимания того, что такое Airflow мы познакомимся с отличиями Workflow от Dataflow, архитектурой и основными компонентами Airflow, интерфейсом пользователя и его возможностями. Основные абстракции, которые предоставляет Airflow, также не останутся без внимания: * DAG, атом, единица запуска * Operator, действие, единица исполнения * Composition как способ задания взаимосвязи операторов В ролике мы уделим внимание best practices - что стоит ожидать от Airflow и как его не стоит использовать, поймем, почему Airflow не является ETL инструментом, вспомним "синдром молотка". Кратко коснемся способов использования Airflow для построения эффективных конвейеров подготовки данных. Более подробно вы можете познакомиться с нашими курсами по Apache AirFlow здесь КУРС DATA PIPELINE НА APACHE AIRFLOW И APACHE HADOOP
КУРС DATA PIPELINE НА APACHE AIRFLOW И ARENADATA HADOOP
Другие видео по Apache Airflow: Часть 1: Начало работы с apache airflow -
Часть 2: ETL на airflow -
Часть 3: ETL на airflow c postgresql -
По вопросам обучения на курсах машинного обучения приглашаем в нашу "Школу Больших Данных" Обращаться по телефону: +7 (495) 41-41-121 +7 (995) 100-45-63 Чтобы не пропустить информацию о новых курсах, акциях и других событиях Школы Больших Данных, рекомендуем подписаться на нас в социальных сетях: Телеграм-канал:
Facebook: https://www.facebook.com/BigDataSchoolRu/
Вконтакте: https://vk.com/bdschool_mck
LinkedIn:
Twitter: https://twitter.com/BigdataschoolR
Подписывайтесь и будьте в курсе всех интересных новинок мира Big Data вместе со Школой больших данных -
!
