В начале лета чат-боты на основе искусственного интеллекта стали источником дезинформации, распространяя ложные вести о смерти Дональда Трампа. Это стало возможным из-за нового явления, известного как отравление искусственного интеллекта (AI poisoning), при котором злоумышленники манипулируют учебными данными моделей, чтобы повлиять на их поведение.
Явление отравления искусственного интеллекта возникает, когда злоумышленники намеренно внедряют вредоносный контент в наборы данных, которые используются для обучения моделей. Это может привести к опасным последствиям, включая неточности в классификации изображений, ложные диагнозы в медицине или даже ошибочное обнаружение угроз в работе систем автономного вождения. Исследование Anthropic, в котором участвовал Институт Алана Тьюринга, показало, что даже незначительное количество отравленных документов способно значительно ухудшить производительность моделей.
В области безопасности корпорация Oracle акцентирует на важности постоянного мониторинга, очистки данных и адаптации алгоритмов для предотвращения отравления. EC-Council подчеркивает необходимость внедрения комплексных проверок всех данных, используемых при обучении моделей, для избежания возникновения предвзятостей и предотвращения распространения дезинформации.
Такие случаи, как фейковые сообщения о смерти Трампа и другие, указывают на настоятельную необходимость в тщательном пересмотре и адаптации подходов к кибербезопасности в разработке и эксплуатации систем искусственного интеллекта.
Отравление искусственного интеллекта представляет серьезную угрозу, требующую новых подходов к безопасности и управлению данными, чтобы защитить общество от распространения дезинформации и опасных манипуляций.
