Пока американская администрация пытается продвигать идею "сделать Америку снова здоровой" (MAHA, Make America Healthy Again), новая технология этого проекта не приносит политикам ничего, кроме головной боли. Особенно неловкий инцидент произошел на этой неделе, когда инструмент ИИ, связанный с назначенным министром здравоохранения Робертом Ф. Кеннеди-младшим, выдал пользователям странные диетические рекомендации. В том числе - вводить продукты через задний проход, чтобы "улучшить усвоение питательных веществ".
Этот инцидент, широко освещавшийся в СМИ США и Великобритании, – лишь верхушка айсберга в череде технических и профессиональных сбоев, сопровождающих официальный доклад комитета MAHA. Доклад, представленный как "золотой стандарт" современной науки, оказался переполнен нелепыми ошибками, которые, по мнению экспертов, возникли из-за небрежного использования генеративного ИИ.
►Фейки и выдумки в правительственном докладе
Проверка, проведенная ведущими СМИ, включая британский The Guardian и американский NOTUS, показала, что доклад министра Кеннеди-младшего содержит ссылки на медицинские исследования, которые просто не существуют. По меньшей мере 7 научных источников, цитируемых в докладе, оказались типичными "галлюцинациями" языковых моделей с именами несуществующих исследователей и исследованиями, которые звучат убедительно, но никогда не проводились.
Даже когда ИИ не выдумывал, он все равно ошибался. Исследователи, чьи имена были вставлены в доклад, выразили изумление: эпидемиологи и педиатры отметили, что выводы, приписываемые им в правительственном тексте, прямо противоположны результатам их реальных исследований.
В ответ на критику в Белом доме попытались преуменьшить значение сбоя, назвав его "проблемой формата", однако доклад был тайно обновлен, и фиктивные ссылки удалили из онлайн-версии.
►Несерьезная модель
Важно отметить, что технологические гиганты тоже разрабатывают модели для врачей, но, в отличие от общих чат-ботов, модели Google и Microsoft (в сотрудничестве с OpenAI) проходят обучение на проверенных медицинских базах данных и сдают лицензионные медицинские экзамены США (USMLE) с результатом выше 85%. Ключевое различие заключается в механизмах фильтрации, которые не позволяют системе давать псевдонаучные или опасные советы. Этого элемента, судя по всему, полностью лишена платформа Кеннеди (которая, по сообщениям, основана на Grok от xAI).
Тем не менее, прорыв больших языковых моделей в 2022 году привел к тревожной демократизации медицинских консультаций. Если раньше к экспертным системам обращались только врачи, то сегодня любой человек может получить "диагноз" со смартфона. Случай с MAHA подчеркивает опасность в сочетании политики, спорной медицинской идеологии и еще не созревшей технологии.
В мире, где Китай вкладывает миллиарды в ИИ для управления больницами, а Европа принимает строгие законы о регулировании ИИ (AI Act), США оказываются в дипломатическом и профессиональном затруднении. Когда министр здравоохранения продвигает фиктивные данные, созданные машиной, общественное доверие к системе здравоохранения подвергается реальной угрозе. Технология, призванная "оздоровить Америку", сама нуждается в срочном лечении и, прежде всего, в профессиональном человеческом контроле, который не позволит цифровым галлюцинациям превратиться в национальную политику.
Перевод: Даниэль Штайсслингер