5 ноября 2026 г.Screaming Frog SEO Spider — один из самых популярных краулеров для технического SEO-аудита. Обычно он работает напрямую, но есть задачи, где без прокси не получится: сайт ограничивает частоту запросов, нужно увидеть страницы глазами пользователя из другой страны или сканирование идёт из сети, где выход в интернет возможен только через прокси. Разберём, как настроить прокси в Screaming Frog и какой тип выбрать.
Когда нужен прокси
- Сайт ограничивает запросы. При активном сканировании защита может начать отдавать 403 или 429. Прокси помогает разнести запросы, но в первую очередь стоит снизить скорость краулинга.
- Гео-версии сайта. Многие сайты показывают разный контент, язык, валюту и редиректы в зависимости от страны. Чтобы проверить версию для Германии, нужен немецкий IP.
- Корпоративная сеть. Если выход в интернет идёт через прокси-сервер компании.
Особенность Screaming Frog: один прокси
По документации Screaming Frog, в программе можно указать только один прокси-сервер: списков и встроенной ротации нет, а через прокси идёт весь HTTP/HTTPS-трафик программы.
Отсюда простое решение: если нужна смена IP, укажите ротирующий шлюз. Это один адрес и порт, за которым провайдер сам меняет IP на каждый запрос или по таймеру. Если нужен стабильный адрес — например, при проверке гео-версии сайта, — используйте sticky-сессию: шлюз держит один IP заданное время.
Настройка по шагам
1. Получите данные подключения
В личном кабинете PSB Proxy выберите тип прокси, страну и режим: ротация или sticky-сессия. Скопируйте адрес, порт, логин и пароль.
2. Откройте сетевые настройки
- Windows и Linux: File → Settings → Network
- macOS: Screaming Frog SEO Spider → Settings → Network
3. Включите прокси
- Отметьте Use Proxy Server.
- Введите адрес и порт прокси.
- Отметьте Use Proxy Credentials и введите логин и пароль.
Поля прокси в настройках SEO Spider (в новых версиях раздел называется Network). Источник: документация Screaming Frog.
4. Перезапустите программу
Настройки прокси вступают в силу только после перезапуска SEO Spider. Это касается и любых последующих изменений.
5. Проверьте подключение
Перед большим краулом просканируйте одну страницу сервиса проверки IP — например, psbproxy.io/tools/my-ip — или страницу сайта с указанием страны и убедитесь, что запрос идёт с нужного адреса.
Какой тип прокси выбрать
- Серверные (дата-центр) — для обычного сканирования: быстро и недорого.
- Резидентные — если сайт иначе реагирует на серверные адреса или нужно увидеть версию сайта для пользователя конкретной страны и города.
- Мобильные — для проверки мобильных версий и мобильной выдачи в конкретной стране.
Советы
- Скорость важнее количества IP. Начинайте с небольшого числа потоков в настройках скорости краулинга (Configuration → Speed) и увеличивайте постепенно.
- Для гео-проверок — sticky-сессия. Если IP меняется посреди сканирования, сайт может переключать языковые версии и редиректы, и отчёт получится смешанным.
- IPv4 и IPv6. По умолчанию в настройках включён режим Use IPv4 Only. Отключайте его, только если ваша сеть требует IPv6.
- Учитывайте трафик. Резидентные прокси обычно оплачиваются за гигабайт. Если не нужны картинки, CSS и JS, отключите их загрузку в настройках краулинга — это заметно сократит объём.
Итог
Screaming Frog поддерживает один прокси-сервер с авторизацией по логину и паролю. Если нужна смена IP, указывайте ротирующий шлюз провайдера, для гео-проверок — sticky-сессию нужной страны. Не забудьте перезапустить программу после изменения настроек и подберите скорость краулинга так, чтобы сайт отвечал без ошибок.
