Детальная настройка Screaming Frog SEO Spider для парсинга миллионов страниц

Проходим по всем настройка программы Screaming Frog SEO Spider для парсинга больших (и не очень) проектов. Правила для исключений: http.*\.jpg http.*\.jpeg http.*\.png http.*\.gif http.*\.pdf http.*\.JPG http.*\.JPEG http.*\.PNG http.*\.GIF http.*\.css http.*\.CSS http.*\.js http.*\.JS http.*\.jpe* http.*\.JPE* http.*\?.*
* -- Платные услуги SEO-консультации/аудиты -
SEO-продвижение под ключ -
Накрутка поведенческих факторов (ПФ) -
По всем коммерческим вопросам -
-- 00:00 - Вступление 00:38 - Начинаем настраивать 00:51 - Storage Mode 2:00 - Memory Allocation 3:09 - Настройка спайдера 10:29 - Настраиваем исключения 12:18 - Настройка скорости 13:35 - Что включать в парсинг 14:26 - User-Agent 15:00 - Настраиваем вкладки 16:37 - Сохраняем настройки