armada
Armada — оркестратор для запуска и масштабирования ботов и скрейперов в Kubernetes. Он распределяет задания между рабочими процессами и объединяет конфигурации, код и входные данные проекта.
Armada включает экосистему микросервисов, таких как Proxy Service для ротации прокси, Fingerprint Service для токенов отпечатков браузера и Monitoring Service для отслеживания задач. Оркестратор координирует Python-код, JSON-конфигурации и CSV-файлы для создания исполняемых задач, распределяемых по подам Kubernetes. Для автоматизации браузеров используется встроенная библиотека Fantomas, которая обеспечивает эмуляцию действий пользователя с помощью различных стратегий взаимодействия.
Для локального воспроизведения демонстрации README перечисляет Linux, Python, Azure SQL Database, Docker и Minikube с kubectl и Helm. Развёртывание на полноценном Kubernetes-кластере описано отдельно. В репозитории также приведены переменные окружения, сценарии подготовки ресурсов и документация жизненного цикла задания.
https://github.com/armadasvc/armada | 175 звёзд
#сервисы