Как использовать CaptchaAI с резидентными прокси для парсинга

Главная
Блог
Как использовать CaptchaAI с резидентными прокси для парсинга

14 ноября 2026 г.6 минут чтения

Партнёрский материал. Подготовлено командой CaptchaAI.

Резидентный прокси подключился, парсер получил страницу. Запрос выглядит успешным — пока парсер не находит вместо карточки товара экран проверки.

Сразу менять IP — не всегда решение. Парсер должен отличать проблему соединения от капчи, а затем обработать проверку, не теряя сессию, которая нужна для продолжения работы.

Резидентные прокси и CaptchaAI отвечают за разные части этого процесса. В этом руководстве — как их связать, когда сервису решения капч нужен ваш прокси и как проверить, что задача сбора данных действительно выполнена.

Такую схему стоит применять только на своих ресурсах, по поручению клиента или там, где это разрешено договором.

За что отвечают резидентные прокси, а за что — сервис решения капч

Резидентный прокси меняет сетевой выход, через который вы обращаетесь к сайту. CaptchaAI обрабатывает запросы на решение поддерживаемых типов капч.

В процессе сбора данных с резидентными прокси PSB Proxy за планирование запросов, управление сессиями, парсинг и проверку результата по-прежнему отвечает ваше приложение.

Это разделение важно: ни рабочий прокси, ни полученное решение капчи сами по себе не доказывают, что нужные данные собраны.

Отслеживайте каждый этап отдельно:

Этап	Условие успеха
Соединение	Запрос доходит до сайта через нужный прокси.
Обработка проверки	Задача по поддерживаемой капче возвращает пригодный результат.
Проверка на сайте	Сайт принимает отправленное решение или сессию.
Извлечение	Парсер находит и сохраняет нужные записи.

Сначала разберите ответ, потом меняйте IP

Парсер должен смотреть не только на HTTP-статус.

В ответе может оказаться страница проверки вместо нужного контента. Проверяйте ожидаемые поля, маркеры страницы или структуру, которая нужна парсеру.

Если ответ неожиданный, сначала определите, что это:

Ошибка соединения или авторизации.
Ограничение частоты запросов (rate limit).
Поддерживаемая капча.
Требование войти в аккаунт.
Изменилась структура страницы.

При rate limit следуйте указаниям сайта и меняйте расписание запросов. Если изменилась вёрстка — проверяйте парсер. Отправляйте задачу на решение, только если причина — поддерживаемая капча.

Решите, нужен ли сессии стабильный IP

Ротация полезна между независимыми задачами сбора, но смена выхода во время проверки может сломать процесс, где важно постоянство IP.

Для такой последовательности используйте постоянное соединение или sticky-сессию, если провайдер это поддерживает. Актуальные параметры подключения и настройки сессий берите в личном кабинете PSB Proxy.

Не считайте, что одинаковые настройки шлюза дают одинаковый IP на выходе. Проверьте, что видит сайт на нескольких запросах подряд.

Держите страну и поведение сессии в соответствии с задачей и не меняйте IP между получением капчи и применением её решения.

Стабильная сессия во время проверки

Когда передавать прокси в CaptchaAI

Требования зависят от типа капчи.

Для Cloudflare Challenge нужен тот же IP на выходе, а также полученные cookie clearance и User-Agent.

Для других поддерживаемых методов передавайте прокси, если этого требует сайт или интеграция. Параметры прокси нужны не всегда.

CaptchaAI не поддерживает решение reCAPTCHA v3 с прокси пользователя. У парсера может быть своё прокси-соединение, но в задачу на решение v3 его включать не нужно.

Перед отправкой задач с прокси войдите в CaptchaAI и включите Proxy в разделе Account Configuration. Следуйте документации по конкретному методу и руководству по использованию прокси.

Пошаговая настройка процесса сбора

1. Проверьте подключение PSB Proxy

Скопируйте из личного кабинета хост, порт, данные авторизации и протокол.

Проверьте их в том же HTTP-клиенте или браузере, в котором будет работать парсер. Убедитесь, что разрешённый сайт открывается и выход находится в нужной локации.

2. Создайте сессию

Сохраняйте нужные cookie, контекст браузера и соединение на время задачи.

Если важно постоянство IP, проверьте, что сессия держит один и тот же выход всё время работы.

3. Обнаружьте и определите тип капчи

Соберите данные, которые требует соответствующий метод CaptchaAI.

Не рассчитывайте, что каждой проверке нужен site key или что формат ответа всегда один. Интеграции reCAPTCHA, графической капчи и Cloudflare Challenge различаются.

4. Отправьте задачу

Если нужно, добавьте параметры proxy и proxytype из документации.

Для авторизации по логину и паролю формат прокси такой:

login:password@HOST:PORT

В общих примерах используйте заглушки, а реальные данные не храните в репозитории и логах.

5. Примените результат и проверьте данные

Применяйте результат так, как требует метод и интеграция сайта.

Для Cloudflare Challenge следующий запрос к сайту с cookie clearance должен идти с тем же IP и полученным User-Agent.

Перед передачей ответа парсеру проверьте, что в нём есть нужные записи. Не сохраняйте текст страницы проверки как собранные данные о товаре.

Протестируйте интеграцию: 50 бесплатных потоков

50 бесплатных потоков CaptchaAI для пользователей PSB Proxy

Пользователи PSB Proxy могут получить 50 бесплатных потоков CaptchaAI на 3 дня — с безлимитом решений в пределах 50 потоков.

Отправьте код PSBProxy50 в Telegram @AskCaptchaAI, чтобы запросить активацию.

Начните с небольшой, но показательной задачи. Проверьте сохранение сессии, обработку поддерживаемых проверок и точность извлечения, прежде чем увеличивать нагрузку.

Пример: мониторинг цен и капча

Представьте разрешённую задачу мониторинга, которая собирает цены с нескольких страниц каталога.

Одна страница возвращает нужные данные. Следующая — поддерживаемую проверку.

Вместо того чтобы отбрасывать всю пачку, приложение приостанавливает эту страницу, сохраняет её сессию и отправляет нужную задачу в CaptchaAI. Если метод требует совпадения прокси, передаёт нужное соединение.

Получив и применив результат, приложение снова запрашивает страницу и проверяет нужные поля товара.

Если проверка прошла, страница парсится и сохраняется. Если нет — задача записывается для ограниченного числа повторов или разбора. Остальные страницы перезапускать не нужно.

Это иллюстрация процесса, а не замер производительности. Её цель — показать, как должно работать восстановление после сбоя.

Масштабируйте по числу готовых записей

Все тарифы CaptchaAI включают безлимит решений в пределах выбранного числа потоков, без дневных или месячных квот.

Потоки ограничивают число одновременных задач. Если все потоки заняты, приложение должно ставить новые задачи в очередь, а не отправлять запросы повторно.

Больше потоков не означает автоматически больше полезных данных. Узким местом могут стать ресурсы браузера, объём прокси, лимиты запросов, парсинг и хранилище.

Измеряйте:

Сохранённые корректные записи.
Незавершённые задачи сбора.
Время ожидания свободных потоков.
Частоту появления проверок.
Сбои, связанные с прокси.
Дубли и неполные записи.

Повышайте параллельность постепенно и смотрите, растёт ли число корректных результатов.

Как найти этап, на котором всё ломается

Проблема	Что проверить
Не проходит авторизация прокси	Данные доступа, протокол и требования к белому списку IP.
Выход меняется во время проверки	Режим ротации и настройки сессии.
Решение получено, но страница всё ещё заблокирована	Применение результата, его срок действия и постоянство сессии.
Cloudflare Challenge повторяется	IP на выходе, полученный User-Agent и работа с cookie clearance.
Появляется `ERROR_NO_SLOT_AVAILABLE`	Число активных потоков и очередь в приложении.
Парсер сохраняет пустые записи	Проверка ответа и допущения парсера.

Повторная проверка — не доказательство того, что виноват только прокси. Разберите всю последовательность, прежде чем менять соединение или отправлять новое решение.