Hacker News Digest

Исследование Оксфордского института интернета выявило серьезные недостатки в текущих методах оценки искусственного интеллекта. Ученые обнаружили, что существующие подходы к тестированию ИИ-систем часто не учитывают их поведение в реальных условиях, что приводит к переоценке их возможностей и безопасности. В работе подчеркивается, что текущие тесты слишком узко сфокусированы на конкретных задачах и не охватывают широкий спектра потенциальных рисков.

Авторы исследования отмечают, что стандартные бенчмарки не выявляют скрытых предвзятостей и уязвимостей в системах ИИ. В качестве примера приводится случай, когда модель, показавшая отличные результаты в контролируемых тестах, демонстрировала предвзятость при работе с реальными данными. Ученые призывают к разработке более комплексных методов оценки, которые бы учитывали этические аспекты, социальное воздействие и долгосрочные последствия внедрения ИИ-технологий в различных сферах общественной жизни.

• Обсуждение показало, что бенчмарки для LLM находятся в состоянии «дикого Запада»: нет единого стандарта, исследователи не хотят заниматься этим полностью, а существующие тесты часто не отражают реальные способности моделей.
• Участники отметили, что бенчмарки часто используются в маркетинговых целях и не отражают реальные способности моделей, особенно когда речь идет о сложных задачах, которые не могут быть покрыты существующими тестами.
• Был

Исследование Университета штата Пенсильвания показало, что большинство пользователей не способны распознать предвзятость в данных для обучения ИИ, даже когда она очевидна. Участники экспериментов не заметили систематической предвзятости в обучающих данных, где белые лица использовались исключительно для выражения счастья, а черные — для выражения несчастья. Исследователи создали 12 версий прототипа ИИ для распознавания эмоций и протестировали его на 769 участниках в трех экспериментах. Большинство участников не видели предвзятости, пока не столкнулись с ее проявлениями в работе системы.

«В этом случае ИИ, похоже, научился считать расу важным критерием для определения, счастливое ли лицо или грустное, хотя мы и не хотели, чтобы он это усвоил», — отметил ведущий автор исследования С. Шайам Сундар. Черные участники чаще распознавали расовую предвзятость, особенно когда речь шла о негативных изображениях людей их расы. Исследователи были удивлены, что люди не замечали смешения расы и эмоций в обучающих данных, что привело к созданию ИИ, связывающего эти характеристики.

• Обсуждение вращается вокруг вопроса, что такое «предвзятость» и как её выявлять: от распознавания субъективной оценки до технических ограничений моделей.
• Участники подчеркнули, что «предвзятость» может быть как внутри самой модели (например, в обучающих данных), так и в самом человеке, который её использует.
• Были примеры, где модель, обученная на данных, которые могут быть предвзятыми, может неправильно классифицировать лица, выражения или даже объекты.
• Также обсуждалось, что даже если модель не имеет встроенной предвзятости, пользователь может всё равно увидеть в ней отражение собственных убеждений.
• В конце-концов, обсуждение подвело к выводу, что критическое мышление и саморефлексия — единственный способ распознать и уменьшить влияние как встроенной, так и человеческой предвзятости.

Исследования в области поведенческих наук часто страдают от системной ошибки: они опираются на данные, собранные в западных, образованных, индустриальных, богатых и демократических обществах (WEIRD), а затем применяют выводы ко всему человечеству. Это приводит к искажённым результатам, поскольку такие популяции составляют лишь малую часть мирового населения и могут демонстрировать нетипичные психологические и социальные паттерны.

Например, многие классические теории о принятии решений или морали основаны на экспериментах с студентами американских университетов, чьи реакции часто не совпадают с поведением людей из других культур. Это ограничивает применимость исследований в глобальном масштабе и подрывает их ценность для бизнеса или политики, ориентированных на разнообразные аудитории.

Осознание этой проблемы — первый шаг к более инклюзивной и точной науке.

• Обсуждается культурная предвзятость ИИ (особенно ChatGPT), который демонстрирует сильное смещение в сторону западных, особенно американских, ценностей из-за преобладания англоязычных данных в обучении.
• Участники отмечают, что исходные данные для обучения ИИ (например, с Reddit) перекошены в сторону взглядов западной, образованной, индустриализированной, богатой и демократической (WEIRD) аудитории, что ограничивает способность ИИ отражать глобальное разнообразие.
• Поднимается вопрос, могут ли ИИ, обученные на других языках или данных (например, DeepSeek, Mistral), или использование специальных промптов снизить этот эффект и лучше отражать другие культуры.
• Критикуется методология исследования, лежащего в основе статьи, за отсутствие деталей и возможную нерепрезентативность, а также обоснованность некоторых антропологических claims в рекомендованной книге.
• Обсуждается, является ли проблема inherent ограничением архитектуры ИИ или же её можно смягчить за счёт более разнообразных данных и специализированного обучения для разных культурных контекстов.