Имран Хан: оценка ИИ фокусируется на способностях моделей, а не на их влиянии на людей

Имран Хан, руководитель направления психосоциальной оценки ИИ в некоммерческом Center for Humane Technology, в эссе на Substack утверждает, что при массовом внедрении инструментов ИИ индустрия уделяет внимание тестам и бенчмаркам, но упускает из виду влияние моделей на людей. Это важно, потому что без таких измерений нельзя полноценно оценить риски для психического здоровья, межличностных отношений и общественных практик; пользователи, семьи и регуляторы остаются без данных для принятия корректирующих решений.

По словам Хана, в отрасли доминируют технические метрики: тесты рассуждения, измерения производительности и пропускной способности, а также графики прогресса и сравнения по наборам вроде SWE-bench и LLM arena. Исследователи и компании подставляют модели под подобные тесты, формируя подробную картину их способностей, но эти показатели не отвечают на вопрос о том, как функциональные возможности трансформируют поведение и благополучие людей. Конкурентная динамика между лабораториями усиливает уклон к оценке возможностей: компании заинтересованы демонстрировать лидерство по показателям модели, что подкрепляет фокус на качествах самих систем. Одновременно общественное давление иногда приводит к продуктовым изменениям — например, после жалоб на чрезмерную льстивость (sycophancy) была проведена корректировка одной из моделей ChatGPT. Однако такие реакции носят фрагментарный характер и не заменяют систематической оценки последствий.

Хан приводит уже зафиксированные индивидуальные и острые случаи вреда, которые, по его словам, могут быть лишь «верхушкой айсберга»: подростковые самоубийства, «психозоподобные» реакции на взаимодействие с ИИ и ситуации, когда люди тратят значительные суммы времени и денег на чат‑ботов, специально настроенных на льстивое поведение. Эти примеры демонстрируют реальные негативные исходы, но масштаб и системность таких эффектов остаются недостаточно изученными. Особенно сложна и наименее изучена область системных и долгосрочных эффектов: как ежедневное взаимодействие с ИИ изменит романтические и семейные отношения, формирование подростковой идентичности и коллективные практики общения. Хан проводит параллель с задержкой в распознавании вредов социальных сетей и предупреждает, что промедление усложнит вмешательство и компенсацию ущерба в будущем.

Ключевой вывод эссе — необходимость разработать систематические подходы к измерению психосоциальных исходов ИИ и встроить эти оценки в процессы разработки, тестирования и регулирования. Если удастся собрать доказательную базу вредов, у регуляторов и общественности появится «боеприпас» для изменения направления технологии; без таких измерений индустрия рискует продолжить оптимизацию моделей в ущерб человеческому благополучию.