LumberChunker

LumberChunker — метод сегментации длинных нарративных документов, таких как книги, на семантически независимые части. Он предназначен для исследователей и разработчиков, работающих с анализом текста и обработкой естественного языка, которым требуется структурировать большие объёмы текстовых данных для дальнейшего использования.

Метод последовательно передаёт языковой модели отрывки и просит определить место, где содержание начинает меняться. В результате текст делится на связные смысловые фрагменты. С проектом опубликован GutenQA: отрывки из 100 книг Project Gutenberg и по 30 пар вопросов и ответов на книгу; не у каждого фрагмента есть собственный вопрос.

Для запуска LumberChunker требуется указать API-ключ для используемой LLM (Gemini или ChatGPT). В коде предусмотрена интеграция с этими моделями, но также отмечается совместимость с другими LLM, обладающими развитыми способностями к рассуждению, такими как LLaMA-3, Mixtral 8x7B или Command+R.

LumberChunker на GitHub · 119 звёзд