Most users cannot identify AI bias, even in training data
Исследование Университета штата Пенсильвания показало, что большинство пользователей не способны распознать предвзятость в данных для обучения ИИ, даже когда она очевидна. Участники экспериментов не заметили систематической предвзятости в обучающих данных, где белые лица использовались исключительно для выражения счастья, а черные — для выражения несчастья. Исследователи создали 12 версий прототипа ИИ для распознавания эмоций и протестировали его на 769 участниках в трех экспериментах. Большинство участников не видели предвзятости, пока не столкнулись с ее проявлениями в работе системы.
«В этом случае ИИ, похоже, научился считать расу важным критерием для определения, счастливое ли лицо или грустное, хотя мы и не хотели, чтобы он это усвоил», — отметил ведущий автор исследования С. Шайам Сундар. Черные участники чаще распознавали расовую предвзятость, особенно когда речь шла о негативных изображениях людей их расы. Исследователи были удивлены, что люди не замечали смешения расы и эмоций в обучающих данных, что привело к созданию ИИ, связывающего эти характеристики.