Драма из-за ошибки искусственного интеллекта: американец попал в больницу после консультации с ChatGPT по поводу диеты с низким содержанием соли. ИИ посоветовал употреблять вместо обычной столовой соли... бромид натрия - вещество для дезинфекции бассейнов. В результате у мужчины развился психоз, галлюцинации, и ему пришлось провести в больнице 3 недели до улучшения состояния. Сообщение об этом случае опубликовано в медицинском журнале Annals of Internal Medicine.
►Опасный эксперимент
В статье так описываются обстоятельства происшествия. Мужчина решил уменьшить потребление соли и попросил совета у ChatGPT. Получив ответ о замене соли на бромид натрия, мужчина так и поступил. В результате у него произошло отравление бромом - редкое заболевание, распространенное в XIX и начале XX веков, когда бром входил в состав препаратов для лечения эпилепсии.
Симптомы отравления бромом - психоз, галлюцинации, тревога, тошнота и проблемы с кожей. В прошлом это отравление было настолько распространенным, что на него приходилось 8% всех госпитализаций в психиатрические больницы в США.
Пострадавший мужчина был госпитализирован с признаками психоза, но попытался сбежать из больницы, что привело к принудительной госпитализации и интенсивному лечению. Только после трех недель медики смогли выяснить причину отравления и узнали, что оно произошло после общения мужчины с ChatGPT. Чтобы проверить выводы, врачи сами протестировали чат-бот, и он повторил ту же опасную рекомендацию - без какого-либо предупреждения.
►Галлюцинации искусственного интеллекта
Этот случай вновь обнажает одну из главных проблем систем на основе ИИ, которая заключается в выдумывании несуществующих фактов и предоставлении неправильных ответов, особенно в областях, требующих профессиональных знаний, таких как медицина. Похожий случай произошел в прошлом с Gemini, чат-ботом Google, который посоветовал пользователям есть камни для поддержания здоровья (этот ответ был основан на юмористическом контенте из сети).
Как сообщали "Вести", компания OpenAI, разработчик ChatGPT, несколько дней назад запустила GPT-5 - новую версию, которая должна давать более точные ответы на медицинские вопросы. Компания провела внутреннюю экспертизу 5000 медицинских вопросов, чтобы проверить достоверность информации, предоставленной чат-ботом. Тем не менее компания отметила в официальном заявлении: "На ответы наших сервисов не следует полагаться как на единственный источник фактической информации или как на замену профессиональной консультации".
Отравление бромом после ответа ИИ служит еще одним доказательством того, что к такой информации следует относиться с особой осторожностью, особенно когда речь идет о личном здоровье. Ею также нельзя заменять личную консультацию у врача.
Перевод: Даниэль Штайсслингер