Бельгийские исследователи придумали способ обмана нейросети
Бельгийские исследователи доказали возможность обхода применяемых в системах видеонаблюдения нейросетевых алгоритмов. Об этом сообщается в статье на arXiv.
Изначально специалисты просто меняли оригинальные пиксели на изображении, что могло запутать нейросети. Эта уязвимость нейросетевых алгоритмов была обнаружена в 2013 году и с тех пор стала активно изучаться исследователями, потому что ее потенциально можно применять для атак на алгоритмы беспилотных автомобилей, систем видеонаблюдения и других устройств в сферах с высокой ответственностью. Позднее был разработан специальный метод, основанный на определенным образом сгенерированной картинке. Именно она переключала внимание искусственного интеллекта, не давая ему распознать реального человека.
Исследователи из Лёвенского католического университета под руководством Туна Гёдеме применили этот метод для обмана алгоритмов обнаружения людей, используемых в системах видеонаблюдения. В своей работе авторы использовали популярный алгоритм YOLOv2, основанный на сверточной нейросети. В ответ на входное изображение он выдает кадр, на котором обнаруженные объекты обведены прямоугольником, а также указывает уровень уверенности в классификации каждого объекта.
За создание состязательного изображения отвечает алгоритм, разработанный исследователями. Процесс создания изображения устроен следующим образом. Сначала алгоритму для обнаружения объектов YOLOv2 дают серию изображений с людьми и он выделяет на них соответствующие области. Затем новый алгоритм, созданный исследователями в работе, накладывает на области с распознанными людьми созданное состязательное изображение и результат снова отдается алгоритму для обнаружения людей. После этого вероятности для каждого обнаруженного объекта отдаются алгоритму для создания состязательных примеров для доработки изображения и процесс повторяется снова. Благодаря такой схеме алгоритму удалось создать относительно универсальные изображения, которые позволяют обманывать алгоритмы обнаружения объектов с разными людьми в кадре и в разных условиях.
Проведенные исследователями Лёвенского католического университета опыты наглядно показали как с помощью изображения на картонке алгоритм обнаружения терял людей, тогда как для обычного человеческого глаза их наличие было очевидным. Кроме того, исследователи провели количественную оценку, показавшую, что изображение снижает точность работы алгоритма обнаружения людей по сравнению со съемкой без такого изображения или с листом, на котором распечатан случайный шум.
