English
PSB Parser · Website Crawl
Website Crawl: весь сайт, а не одна страница
Crawl последовательно находит и собирает страницы сайта: по ссылкам и sitemap, на заданную глубину и с ограничением числа страниц. Каждую найденную страницу можно обработать возможностями Web Scraper — получить HTML, текст, Markdown, структурированные данные или AI-анализ.
Один API для сайтов, поисковых систем и AI. Оплата пакетами кредитов.
Что получаете по каждой странице
- HTML
- Текст
- Markdown
- Структурированные данные
- AI-анализ
- Все возможности Web Scraper для найденных страниц
Возможности Website Crawl
Только то, что инструмент умеет сейчас.
Поиск страниц
- Поиск URL по ссылкам на страницах
- Обработка sitemap
- Обход на заданную глубину
Границы обхода
- Ограничение максимального числа страниц
- Правила включения и исключения URL (include / exclude)
- Ограничение разрешённых доменов
- Обработка поддоменов
Чистые URL
- Нормализация URL
- Обработка query-параметров
- Удаление дублей URL
Как работает обход
Вместо одной страницы Crawl последовательно находит и собирает страницы сайта.
Стартовый адрес
Укажите сайт или раздел, с которого начинается обход.
Правила обхода
Глубина, максимум страниц, разрешённые домены и поддомены, правила include / exclude для URL.
Поиск страниц
Crawl идёт по ссылкам на страницах и по sitemap, нормализует URL, учитывает query-параметры и убирает дубли.
Данные по каждой странице
Каждая найденная страница обрабатывается возможностями Web Scraper: HTML, текст, Markdown, структурированные данные или AI-анализ.
Для каких задач
Где Website Crawl экономит время на сборе данных.
Данные со всего сайта
Все страницы раздела или сайта — одним заданием
Контент для AI-систем
Сайт целиком в Markdown или текстом
Аналитика
Структурированные данные со множества страниц
Карта сайта
Какие страницы есть на сайте: по ссылкам и sitemap
Только нужный раздел
Фильтры include / exclude и ограничение доменов
Тысячи страниц
Лимит страниц и глубина обхода под задачу
Как подключить
Три шага.
Зарегистрируйтесь на сайте
Создайте аккаунт — ключ API появится в личном кабинете.
Оплатите тариф
Выберите пакет кредитов — от $3 за 1 000 кредитов.
Настройте запрос
Укажите стартовый адрес и правила обхода: глубину, максимум страниц, домены и фильтры URL. Выберите, что получить по каждой странице.
Цена
Инструменты PSB Parser
Сбор данных из сайтов, поисковых систем и AI в одном API.
Website Crawl
Обход сайта целиком: ссылки и sitemap, глубина, лимиты, фильтры URL.
Вы здесьGoogle Search API
Структурированная выдача Google: органика, PAA, AI Overview, Knowledge Graph, реклама.
Подробнее →ChatGPT Parser
Запросы к ChatGPT через API, ответы — текстом и структурированными данными.
Подробнее →Подробнее о Website Crawl
Что такое Website Crawl
Website Crawl — инструмент PSB Parser для обхода сайта целиком. Он начинает со стартового адреса, находит новые страницы по ссылкам и через sitemap и собирает их последовательно — пока не достигнет заданной глубины или лимита страниц.
Только нужные страницы
Правила include / exclude, ограничение доменов и обработка поддоменов оставляют в обходе только нужные разделы. Нормализация URL, обработка query-параметров и удаление дублей избавляют от повторов одной и той же страницы.
Данные, а не только список адресов
Каждая найденная страница проходит через Web Scraper: можно сразу получить HTML, текст, Markdown, структурированные данные или AI-анализ — от простой загрузки HTML до тысяч страниц, превращённых в данные для API, аналитики и AI-систем.
Вопросы о Website Crawl
Чем Website Crawl отличается от Web Scraper?
Как Crawl находит страницы?
Можно ли ограничить обход?
Что с дублями и параметрами в адресах?
В каком виде приходят данные?
Сколько стоит?
Подключите Website Crawl
PSB Parser: от простой загрузки HTML до обхода тысяч страниц и превращения веб-контента в данные для API, аналитики и AI-систем.