Antislop: A framework for eliminating repetitive patterns in language models
Исследователи представили Antislop — комплексный фреймворк для обнаружения и устранения повторяющихся шаблонов ("slop") в языковых моделях, которые снижают качество вывода и делают тексты, сгенерированные ИИ, легко узнаваемыми. Фреймворк включает три компонента: Antislop Sampler для подавления нежелательных строк при выводе без потери словарного запаса, автоматизированный конвейер для профилирования специфичных для модели шаблонов и генерации обучающих данных, а также Final Token Preference Optimization (FTPO) — новый метод тонкой настройки, работающий с отдельными токенами. Некоторые шаблоны "slop" встречаются в выводе LLM более чем в 1000 раз чаще, чем в человеческом тексте, при этом Antislop Sampler успешно подавляет 8000+ паттернов, сохраняя качество, тогда как запрет токенов становится бесполезным уже при 2000 шаблонах. FTPO достигает 90% сокращения "slop" при сохранении или улучшении производительности в кросс-доменных оценках, включая GSM8K, MMLU и творческие задания, в отличие от DPO, который страдает от значительного снижения качества письма и лексического разнообразия.