OpenEyes — компьютерное зрение для периферийных роботов

OpenEyes — фреймворк для робототехнического зрения, предназначенный для периферийных устройств. Он позволяет роботам видеть, отслеживать объекты и следовать за людьми в реальном времени, что делает его пригодным для автономных систем и интерактивных роботов.

Возможности и состав проекта

Фреймворк использует аппаратное ускорение DeepStream для обработки видеопотока. OpenEyes включает обнаружение объектов с помощью YOLOv10n, распознавание лиц с MediaPipe FaceMesh, оценку позы с MediaPipe Pose и распознавание жестов рук. Также реализована оценка глубины сцены с MiDaS и Depth Anything V3, а также отслеживание объектов с обработкой перекрытий с ByteTrack.

Начало работы и требования

Проект поддерживает работу на платформах NVIDIA Jetson, Raspberry Pi с AI HAT, Intel NPU и Hailo. Для развёртывания предусмотрена интеграция с ROS2 и Docker. Для работы требуется Python 3.10+ и зависимости, указанные в файле requirements.txt.

Ограничения и выбор сценария

Поддержка нескольких устройств не означает одинаковую реализацию всех ускоренных pipeline на каждом из них. Показатели FPS в README относятся к конфигурациям авторов. До управления движением робота проверяют распознавание на записанных данных и ограничения выбранного оборудования.

Лицензия и условия использования

GitHub определяет лицензию репозитория как Apache-2.0. Перед использованием и распространением проверьте полный текст LICENSE и отдельные условия зависимостей, данных или моделей: лицензия репозитория не заменяет их лицензии.