"Придумал" очередной бенчмарк для LLM
Вы, вероятно, знакомы с практикой цензуры, когда определенные фразы или абзацы скрывают черными полосами. Например:
█ ███████ ██████████ ████████ ██████ ██████████ ████ █████████ █████████ ███ ████ ████ █████████ ███████ ████████ ██ ████ ███
Или другой пример (фото), где создатели Atomic Heart показали секретный документ с удалёнными данными.
Идея заключается в создании бенчмарка, где LLM, зная количество скрытых символов, предлагает варианты, которые подходят по контексту и смыслу
