Какие прокси я использую:
Промокод на первые 5 GB бесплатно: GTHDSQ1 Курс ООП и Приват канал:
Телеграм канал:
Исходный код:
В данном видео мы напишем парсер изображений с сайта Nvidia и сделаем синхронную и асинхронную версию с использованием прокси. Наша задача сделать парсинг данных с сайта и сохранить итоговые изображения. Мы сделаем тесты производительности обычных requests запросов и асинхронной версии, с использованием: aiohttp, asyncio и aiofiles. Также узнаем, почему синхронность работает медленней асинхронности, и узнаем как ускорить все эти процессы на максимум. Асинхронный парсинг сайтов, позволяет в разы ускорить запросы Python и завершить процесс намного быстрее. Github:
Все плейлисты с уроками:
Связаться со мной: [email protected] Поддержать канал:
Тайм-коды: 0:00 - Делать ли видео о aiofiles? 0:48 - Извлекаем запросы из сайта Nvidia 2:12 - Какие прокси будем использовать? 2:39 - Генерируем названия файлов через время Unix 3:18 - Извлекаем расширение файла из content-type 4:08 - Сохраняем изображения в папку images 4:35 - Скорость синхронной версии без прокси 4:52 - Скорость синхронной версии с прокси 5:20 - Почему синхронность медленней асинхронности? 5:57 - Запускаем асинхронные задания параллельно 7:07 - Делаем запросы полностью асинхронными 7:23 - Делаем запись в файл асинхронно, с помощью aiofiles и chunks 8:07 - Скорость асинхронной версии (прирост в 8 раз) 8:17 - Скорость асинхронной версии с прокси (прирост в 2 раза) 8:30 - 1000 лайков == видео с aiofiles 8:45 - Исходный код в описании. Полезные видео в подсказках
