ИИ-врача легко убедить выписать неправильные лекарства — показало новое исследование 😬 Исследователи из компании Mindgard протестировали медицинского ИИ-ассистента Doctronic, который умеет работать с рецептами и медицинскими рекомендациями. Оказалось, что систему довольно просто обмануть. Например, специалисты смогли: 🔄 заставить ИИ раскрыть свои системные инструкции; 🔄убедить его распространять ложную мединформацию — например, конспирологию про вакцины и COVID-19; 🔄изменить рекомендации по лекарствам и увеличивать дозировки. Самый простой трюк — сказать системе, что диалог ещё не начался и пользователь якобы разговаривает не с ботом, а с системой. В этом режиме модель раскрывала свои системные промпты, после чего её поведение можно было менять. Уверен, кто-то да оценит такого ИИ-врача 👍