newspaper
Если нужно вытащить текст, картинки, автора или дату публикации из кучи статей, то Newspaper3k — твой спаситель. Это как Instapaper, только для кода: скармливаешь ссылку, и она сама всё разберёт. Удобно, когда надо анализировать много новостей.
Это Python-библиотека, которая умеет парсить статьи, собирать из них ключевые слова и даже делать краткое саммари. Написана с использованием lxml, что делает её очень быстрой, а по простоте использования напоминает requests.
Круто, что Newspaper3k может автоматически определять язык статьи и работает более чем с 10 языками, включая русский, китайский и арабский. Ещё она умеет обходить блокировки IP, если ты скрапишь в промышленных масштабах.
https://github.com/codelucas/newspaper | 15120 звёзд
#сервисы
