Почему 70% политических новостей стали «нейтральными» для RoBERTa

Если модель помечает 70% политических статей как нейтральные, это ещё не значит, что в них нет позиции. Возможно, проблема в самом способе измерения: бинарная шкала «позитивный — негативный» плохо видит идеологию, риторику и способы расставить акценты.

Именно это авторы исследования называют neutral collapse — схлопыванием содержательного политического текста в аналитически бесполезную категорию. Они сравнили RoBERTa-анализ тональности с LLM-платформой, которая рассматривает сразу несколько измерений: направление и интенсивность политического уклона, сенсационность, эмоциональную подачу и фрейминг.

Показательный результат: среди статей, которые RoBERTa назвала нейтральными, у 23% вероятность негативной тональности была выше 0,30. То есть «нейтральный» ярлык иногда скрывает заметный сигнал, который модель не решается отнести к положительному или отрицательному классу.

Практический вывод здесь не в том, что LLM автоматически понимает новости лучше. Скорее, для политического анализа одной тональности недостаточно: важен не только эмоциональный знак текста, но и то, кого он делает ответственным, какие угрозы подчёркивает и в какую рамку помещает событие. Для исследователя это означает переход от одного ярлыка к набору интерпретируемых характеристик.

Но у подхода остаются ограничения. В исследовании использован корпус всего из 50 политических статей из 17 международных медиа, поэтому результат нельзя автоматически переносить на все языки, жанры и редакционные системы. Кроме того, многомерный вывод LLM — это не объективная мера политической предвзятости: он тоже зависит от формулировки задачи, критериев оценки и способности модели различать контекст. Авторы показывают недостаточность традиционного SA, но не доказывают, что любой LLM-фреймворк решает проблему.

Если вы анализируете новости с помощью одной шкалы тональности, что для вас важнее: удобный единый показатель или риск потерять политический смысл текста? Источник: cs.CL updates on arXiv.org