Spider

Spider — движок для веб-краулинга и скрапинга, написанный на Rust. Он предназначен для извлечения данных из интернета. Инструмент подходит для разработчиков, которым требуется собирать информацию с веб-сайтов для анализа, мониторинга или наполнения баз данных.

Spider обрабатывает страницы по мере их получения, что позволяет получать данные без ожидания завершения всего процесса. Инструмент использует JavaScript-рендеринг только для страниц, где это необходимо, что оптимизирует сбор данных. Он также предоставляет встроенные функции для работы с прокси, повторных попыток запросов, ограничения частоты запросов и режима скрытности.

Проект доступен как библиотека Rust, а также в виде пакетов для Node.js и Python. Для работы с сайтами, активно использующими JavaScript, можно включить функцию Chrome и использовать метод crawl_smart(). В этом режиме Spider сначала пытается использовать HTTP и запускает Chrome только при необходимости. Проект распространяется под лицензией MIT.

Spider на GitHub · 2780 звёзд