Signs of introspection in large language models

No post summary.

В обсуждении поднимается вопрос о том, насколько можно доверять утверждению, что модель может "интроспектировать" свои собственные внутренние состояния, и насколько это вообще имеет смысл, если мы не знаем, как именно она работает.
Участники обсуждения указывают на то, что статья может быть просто маркетинговым материалом Anthropic, и что в ней могут быть конфликты интересов.
Также обсуждается, что если модель может быть "инъектирована" с концептом, то она может быть и "инъектирована" с другими концептами, и что это может быть использовано для извлечения скрытых влияний.
Некоторые участники подчеркивают, что статья не предоставляет достаточной информации о том, как именно происходило вмешательство в активации, что делает трудным или невозможным воспроизвести эксперимент.