Malwarebytes machine learning anomalous 100 что это
С компьютером творится что-то странное? Антивирус не справился с угрозой, и похоже работает некорректно? К кому нужно обратиться? Конечно, к Malwarebytes! На протяжении многих лет Malwarebytes является надежным решением в ситуациях, когда основной антивирус допустил грубую ошибку. С момента прошлого обновления программы прошло несколько лет. За это время вендор потратил много энергии на разработку методов предотвращения инфицирования компьютера в режиме реального времени. Однако, Malwarebytes 3.0 Free все еще доступен как автономный инструмент для очистки вредоносных заражений. Это отличный продукт, даже несмотря на то, что новая версия в тестах выступила немного хуже предшественника.
Основная причина долгого ожидания версии 3.0 - создание нового облика Malwarebytes Premium. Старший продукт получил разнообразные технологии сканирования и обнаружения зловредов, которые раньше были представлены в отдельных решениях компании. Premium-версия получила защиту от троянов-шифровальщиков и защиту от эксплойтов. Встроенная защита реального времени выполняет поиск признаков вредоносного поведения и обнаруживает известные вредоносные программы. Веб-защита блокирует доступ к вредоносным и мошенническим веб-сайтам. Интеграция данных уровней защиты позволяет рекомендовать Malwarebytes Premium в качестве замены существующему антивирусу, хотя возможна и совместная работа с традиционной антивирусной защитой.
Главное окно бесплатного продукта немного отличается от предыдущей версии. Простое навигационное меню расположено на левой панели, а панель справа показывает статус защиты. Функции платного продукта здесь тоже перечислены и имеют статус “Только в Premium-версии”. Панель инструментов показывает текущий статус безопасности и содержит крупную кнопку для запуска сканера. Программа имеет простой и интуитивный интерфейс. В большинстве сценариев использования вам нужно будет просто нажать кнопку “Запустить проверку”.
Мало информации от лабораторий
Согласно информации от представителя вендора, Malwarebytes предназначен для очистки вредоносных программ, а не для прохождения тестов. Например, если конкретный образец не имел контактов с пользователями Malwarebytes за последнее время, то компания может удалить его сигнатуру, чтобы улучшить производительность. Испытание, которое использует старый образец, может посчитать продукт недостаточно эффективным. Malwarebytes сознательно не участвует в тестах большинства отслеживаемых лабораторий по этой причине.
Кроме того, тестовые результаты, доступные на момент выхода новой версии почти всегда относятся к предыдущей версии продукта. В случае медленного развития программы это уместно. Однако, кардинальные изменения, представленные в новой версии Malwarebytes означают, что полученные ранее результаты не имеют смысла.
West Coast Labs утвердила сертификацию предыдущей версии Malwarebytes Premium. Отметим, что данная лаборатория работает с вендорами по улучшению продукта, чтобы он прошел сертификацию.
MRG-Effitas занимает жесткую позицию в своих тестах на блокировку вредоносного ПО. Участник тестирования, который предотвратил установку абсолютно всех образцов получает сертификацию 1 уровня. Продукт, которые допустил установку нескольких образцов, но провел успешной восстановление в течении 24 часов получает сертификацию 2 уровня. Все остальные антивирусы не проходят тест, и никакой градации по количеству пропущенных файлов не существует. Специализированные утилиты очистки не могут блокировать установку, но если сканер по требованию полностью удаляет вредоносные программы, то они получают сертификацию 1 уровня.
Malwarebytes провалил данное испытание, как и большинство других продуктов При детальном анализе результатов выяснилось, что Malwarebytes не справился с удалением 40 процентов образцов, хотя три инструмента очистки смогли получить сертификацию 1 уровня.
К сожалению, тестовых данных для подсчета совокупного показателя Malwarebytes недостаточно. С другой стороны, даже при наличии достаточных данных, сложно сказать, насколько релевантным был бы этот результат по отношению к новой версии.
Только очистка и восстановление
Бесплатная версия Malwarebytes предназначена только для очистки заражений, она лишена защиты реального времени. Обычный тест на блокировку вредоносного ПО здесь не подойдет. Однако, увидеть продукт в действии нужно было. С этой целью вредоносные образцы запускались небольшими партиями. Некоторое время они устанавливались в систему, после чего в действие вступал Malwarebytes.
Во время работы без защиты, некоторые вредоносные программы смогли создать проблемы. Один из шифровальщиков успел заблокировать файлы перед тем, как сканер смог его удалить. В этом случае инструмент очистки ничего не может поделать. Интересно, что была зашифрована утилита, которая проверяет наличие следов вредоносного ПО. Для подобных случаев всегда имейте резервную копию!
После установки угроз была запущена программа для проверки наличия в системе вредоносных следов. Затем был запущено стандартная проверка Malwarebytes. На тестовой системе она выполнялась около 2 минут. В большинстве случае для завершения очистки требовалась перезагрузка компьютера. После восстановления, снова проверялось наличие остатков вредоносного ПО.
Результаты разочаровали. Если F-Secure и Webroot SecureAnywhere AntiVirus обнаружили 100 процентов образцов, Malwarebytes не смог обнаружить 33 процента зловредов. Представитель вендора пояснил, что Malwarebytes может не распознать старые и не представленные в сети вредоносные программы. Все образцы были получены с реального зараженного сайта в начале 2016 года. Однако, при просмотре подробной информации выяснилось, что возраст некоторых зловредов составлял несколько лет.
С другой стороны, Malwarebytes полностью удалил остатки 44 процентов угроз. Еще в 13 процентах случаев продукт удалили некоторые следы, но оставил нетронутыми исполняемые файлы. В остальных 10 процентах случаев файлы якобы были отправлены в карантин, но в то же время оставались в своем обычном местоположении. Полученные логи были отправлены вендору для разбирательства.
Смягчающие обстоятельства
Надо признать, что собственные тесты PCMag не всегда отражают реальную эффективность продукта. Обычно Malwarebytes используют, когда вредоносная программа смогла обойти антивирусную защиту или препятствует ее установке. Данное поведение должно быть сигналом к действию для Malwarebytes. Менее опасный образец, вручную загруженный в тестовую систему, не вызывает такие проблемы.
В любом случае, прошлые версии программы справлялись лучше. Несколько лет назад Malwarebytes должен был удалить активные угрозы в десятке зараженных систем. Malwarebytes обошел конкурентов и показал 89-процентный уровень обнаружения. Сейчас провести аналогичный тест не представляется возможным.
Держите под рукой
Учитывая все обстоятельства, Malwarebytes 3.0 Free остается полезным инструментом, несмотря на выявленные во время тестирования проблемы. Если у вас есть флеш-накопитель с коллекцией инструментов, то Malwarebytes должен там присутствовать. Только обязательно используйте продукт совместно с антивирусами, например, с Bitdefender, Kaspersky, McAfee AntiVirus Plus или другим продуктом с защитой реального времени. Запускайте инструмент по необходимости или рассмотрите использование полнофункциональной Premium-версии.
В современных реалиях стремительного роста числа программ-вымогателей и троянов, инструмент очистки никогда не сможет стать первой линией защиты. Вам понадобятся дополнительные слои защиты, которые можно получить в Malwarebytes Premium.
Обзор Malwarebytes 3.0 Free: Рейтинг PCMag
- очень быстрая скорость сканирования;
- удаление большинства вредоносных объектов;
- распространяется бесплатно.
- отсутствует защита реального времени;
- пропустил старые вредоносные образцы в тесте;
- в испытании некоторые файлы, помеченные как добавленные в карантин, оставались в системе.
Malwarebytes 3.0 Free призван очистить систему от коварных вредоносных программ, которые могут обойти традиционную антивирусную защиту и попытаться предотвратить установку инструментов безопасности. Без защиты реального времени продукт не сможет стать заменой вашего основного антивируса.
Продолжая проработку темы глубокого обучения, мы как-то раз хотели поговорить с вами о том, почему нейронным сетям повсюду мерещатся овцы. Эта тема рассмотрена в 9-й главе книги Франсуа Шолле.
Таким образом мы вышли на замечательные исследования компании «Positive Technologies», представленные на Хабре, а также на отличную работу двоих сотрудников MIT, считающих, что «вредоносное машинное обучение» — не только помеха и проблема, но и замечательный диагностический инструмент.
Далее — под катом.
В течение нескольких последних лет случаи вредоносного вмешательства привлекли серьезное внимание в сообществе специалистов по глубокому обучению. В этой статье мы хотели бы в общих чертах рассмотреть данный феномен и обсудить, как он вписывается в более широкий контекст надежности машинного обучения.
Вредоносные вмешательства: интригующий феномен
Чтобы очертить пространство нашей дискуссии, приведем несколько примеров такого вредоносного вмешательства. Думаем, что большинству исследователей, занятых МО, попадались подобные картинки:
Слева изображен поросенок, верно классифицируемый современной сверточной нейронной сетью как поросенок. Стоит нам внести в картинку минимальные изменения (все пикселы находятся в диапазоне [0, 1], и каждый меняется не более чем на 0,005) – и теперь сеть с высокой достоверностью возвращает класс «авиалайнер». Такие атаки на обученные классификаторы известны как минимум с 2004 года (ссылка), а первые работы, касающиеся вредоносного вмешательства в классификаторы изображений относятся к 2006 году (ссылка). Затем этот феномен стал привлекать существенно больше внимания примерно с 2013 года, когда выяснилось, что нейронные сети уязвимы для атак такого рода (см. здесь и здесь). С тех пор многие исследователи предлагали варианты построения вредоносных примеров, а также способы повышения устойчивости классификаторов к таким патологическим возмущениям.
Однако, важно помнить, что совсем необязательно углубляться в нейронные сети, чтобы наблюдать такие вредоносные примеры.
Насколько устойчивы вредоносные примеры?
Возможно, ситуация, в которой компьютер путает поросенка с авиалайнером, поначалу может растревожить. Однако, следует отметить, что использованный при этом классификатор (сеть Inception-v3) не так хрупок, как может показаться на первый взгляд. Хотя, сеть и наверняка ошибается при попытке классифицировать искаженного поросенка, это происходит лишь в случае специально подобранных нарушений.
Сеть гораздо устойчивее к случайным возмущениям сопоставимой магнитуды. Поэтому, основной вопрос заключается в том, именно ли вредоносные возмущения вызывают хрупкость сетей. Если вредоносность как таковая критически зависит от контроля над каждым входным пикселом, то при классификации изображений в реалистичных условиях такие вредоносные образцы не кажутся серьезной проблемой.
Недавние исследования свидетельствуют об ином: можно обеспечить устойчивость возмушений к различным канальным эффектам в конкретных физических сценариях. Например, вредоносные образцы можно напечатать на обычном офисном принтере, так что изображения на них, сфотографированные камерой смартфона, все равно классифицируются неправильно. Также можно изготовить стикеры, из-за которых нейронные сети неверно классифицируют различные реальные сцены (см., например, ссылка1, ссылка2 и ссылка3). Наконец, недавно исследователи напечатали на 3D-принтере черепашку, которую стандартная сеть Inception практически под любым углом обзора ошибочно считает винтовкой.
Подготовка атак, провоцирующих ошибочную классификацию
Как создать такие вредоносные возмущения? Подходов много, но оптимизация позволяет свести все эти различные методы к обобщенному представлению. Как известно, обучение классификатора зачастую формулируется как нахождение параметров модели , позволяющих минимизировать эмпирическую функцию потерь для заданного множества примеров :
Поэтому, чтобы спровоцировать ошибочную классификацию для фиксированной модели и “безвредного” ввода , естественно попытаться найти ограниченное возмущение , такое, чтобы потери на получились максимальными:
Если исходить из этой формулировки, многие методы создания вредоносного ввода можно считать различными оптимизационными алгоритмами (отдельные шаги градиента, проецируемый градиентный спуск, т.д.) для различных наборов ограничений (небольшое -нормальное возмущение, небольшие изменения пикселов, т.д.). Ряд примеров приведен в следующих статьях: ссылка1, ссылка2, ссылка3, ссылка4 и ссылка5.
Как было объяснено выше, многие успешные методы генерации вредоносных образцов работают с фиксированным целевым классификатором. Поэтому важен вопрос: а не воздействуют ли данные возмущения лишь на конкретную целевую модель? Что интересно – нет. При применении многих методов возмущения результирующие вредоносные образцы переносятся от классификатора к классификатору, обученных с разным набором исходных случайных значений (random seeds) или различных архитектур моделей. Более того, можно создать вредоносные образцы, обладающие лишь ограниченным доступом к целевой модели (иногда в таком случае говорят об «атаках по принципу черного ящика»). См., например, пять следующих статей: ссылка1, ссылка2, ссылка3, ссылка4 и ссылка5.
Не только картинки
Вредоносные образцы встречаются не только при классификации изображений. Похожие феномены известны при распознавании речи, в вопросно-ответных системах, при обучении с подкреплением и решении других задач. Как вы уже знаете, изучение вредоносных образцов продолжается более десяти лет:
Хронологическая шкала вредоносного машинного обучения (начало). Полная шкала приведена на рис. 6 в этом исследовании.
Кроме того, естественной средой для изучения вредоносных аспектов машинного обучения являются приложения, связанные с обеспечением безопасности. Если злоумышленник может обмануть классификатор и выдать вредоносный ввод (скажем, спам или вирус) за безвредный, то спам-детектор или антивирусный сканер, работающий на основе машинного обучения, окажется неэффективен. Следует подчеркнуть, что эти соображения – не чисто академические. Например, команда Google Safebrowsing еще в 2011 году опубликовала многолетнее исследование того, как злоумышленники пытались обходить их системы обнаружения вредоносного ПО. Также см. эту статью о вредоносных образцах в контексте фильтрации спама в почте GMail.
Не только безопасность
Все новейшие работы по изучению вредоносных образцов совершенно четко выдержаны в ключе обеспечения безопасности. Это обоснованная точка зрения, но мы считаем, что такие образцы должны рассматриваться и в более широком контексте.
Надежность
В первую очередь вредоносные образцы поднимают вопрос о надежности всей системы. Прежде, чем мы сможем осмысленно рассуждать о свойствах классификатора с точки зрения безопасности, мы должны убедиться, что механизм хорошо обеспечивает высокую точность классификации. В конце концов, если мы собираемся развертывать наши обученные модели в реальных сценариях, то необходимо, чтобы они демонстрировали высокую степень надежности при изменении распределения базовых данных – независимо от того, обусловлены ли эти изменения злонамеренным вмешательством или всего лишь естественными флуктуациями.
В таком контексте вредоносные образцы – это полезное диагностическое средство для оценки надежности систем машинного обучения. В частности, подход с учетом вредоносных образцов позволяет выйти за рамки стандартного протокола оценки, где обученный классификатор прогоняется по тщательно подобранному (и обычно статическому) тестовому набору.
Так можно прийти к поразительным выводам. Например, оказывается, что можно легко создавать вредоносные образцы, даже не прибегая к изощренным методам оптимизации. В недавней работе мы показываем, что ультрасовременные классификаторы изображений удивительно уязвимы для небольших патологических переходов или поворотов. (См. здесь и здесь другие работы на эту тему.)
Поэтому, даже если не придавать значения, скажем, возмущениям из разряда ℓ∞ℓ∞, все равно зачастую возникают проблемы с надежностью из-за вращений и переходов. В более широком смысле, необходимо понимать показатели надежности наших классификаторов, прежде, чем можно будет интегрировать их в более крупные системы как подлинно надежные компоненты.
Понятие о классификаторах
Чтобы понять, как работает обученный классификатор, необходимо найти примеры его явно удачных или неудачных операций. В данном случае вредоносные образцы иллюстрируют, что обученные нейронные сети зачастую не соответствуют нашему интуитивному представлению о том, что значит «выучить» конкретную концепцию. Это особенно важно в глубоком обучении, где часто заявляют о биологически правдоподобных алгоритмах и о сетях, чья успешность не уступает человеческой (см, напр., здесь, здесь или здесь). Вредоносные образцы отчетливо заставляют в этом усомниться сразу во множестве контекстов:
- При классификации изображений, если минимально изменить набор пикселов или немного повернуть картинку, это едва ли помешает человеку отнести его к верной категории. Тем не менее, такие изменения полностью вырубают самые современные классификаторы. Если поместить объекты в необычном месте (например, овец на дереве) также легко убедиться, что нейронная сеть интерпретирует сцену совсем не так как человек.
- Если подставить нужные слова в текстовый отрывок, можно серьезно запутать вопросно-ответную систему, хотя, с точки зрения человека смысл текста из-за таких вставок не изменится.
- В этой статье на тщательно подобранных текстовых примерах показаны границы возможностей переводчика Google Translate.
Безопасность
Наконец, вредоносные образцы действительно представляют опасность в тех сферах, где машинное обучение уже достигает определенной точности на «безвредном» материале. Всего несколько лет назад такие задачи как классификация изображений выполнялись еще очень плохо, поэтому проблема безопасности в данном случае казалась вторичной. В конце концов, степень безопасности системы с машинным обучением становится существенна лишь тогда, когда эта система начинает достаточно качественно обрабатывать «безвредный» ввод. В противном случае мы все равно не можем доверять ее прогнозам.
Теперь в различных предметных областях точность таких классификаторов существенно повысилась, и развертывание их в ситуациях, где критичны соображения безопасности – всего лишь вопрос времени. Если мы хотим ответственно к этому подойти, то важно исследовать их свойства именно в контексте безопасности. Но к вопросу безопасности нужен целостный подход. Подделать некоторые признаки (например, набор пикселов) гораздо легче, чем, например, другие сенсорные модальности, или категориальные признаки, или метаданные. В конце концов, при обеспечении безопасности лучше всего полагаться именно на такие признаки, которые сложно или даже практически невозможно изменить.
Итоги (подводить пока рано?)
Несмотря на впечатляющий прогресс в машинном обучении, который мы наблюдали в последние годы, необходимо учитывать пределы возможностей тех инструментов, что есть у нас в распоряжении. Проблемы самые разнообразные (напр., связанные с честностью, приватностью или эффектами обратной связи), причем, максимальную озабоченность вызывает надежность. Человеческое восприятие и познание устойчивы к разнообразнейшим фоновым помехам окружающей среды. Однако, вредоносные образцы демонстрируют, что нейронные сети до сих пор очень далеки от сопоставимой устойчивости.
Итак, мы уверены в важности изучения вредоносных примеров. Их применимость в машинном обучении далеко не ограничивается вопросами безопасности, а может послужить диагностическим эталоном для оценки обученных моделей. Подход с использованием вредоносных образцов выгодно отличается от стандартных оценочных процедур и статических тестов тем, что позволяет выявить потенциально неочевидные изъяны. Если мы хотим разобраться в надежности современного машинного обучения, то новейшие достижения важно исследовать и с точки зрения злоумышленника (правильно подобрав вредоносные образцы).
Пока наши классификаторы сбоят даже при минимальных изменениях между учебным и тестовым распределением, мы не сможем достичь удовлетворительной гарантированной надежности. В конце концов, мы стремимся создавать такие модели, которые не просто будут надежны, но и будут согласовываться с нашими интуитивными представлениями о том, что такое «изучить» задачу. Тогда они будут безопасны, надежны и удобны для развертывания в самых разных средах.
Добрый день, рад всех вас видеть ? 🤔 приветствовать, сегодня я напомню кто тут все еще батя в плане сканирования зараженных систем, но теперь еще и неплохой антивирус.
Что это такое вообще?
Malwarebytes - это антивирусный сканер, который стартанул в 2006 году и вырос с обычного сканера вирусов, до полноценного антивирусного ПО, или же нет?
Вообще данная программа позиционирует себя как антивирусное средство, которое находит вирусы, там где традиционные антивирусы не справляются.
И я сразу отмечу что с сканированием он справляется довольно хорошо, ресурсов много не потребляет, все словом здорово, даже антивирусная защита отмечается неплохим обнаружением и блокированием угроз при подозрительных действиях.
Он платный или бесплатный?
Есть две версии, одна бесплатная, вторая платная. Проверить свой компьютер можно с помощью временной лицензии (trial), так что в случае чего можно проверить компьютер полностью на вирусы всеми возможными сканерами. При этом во время сканирования, защита в реальном времени будет ловить вирусы если таковые имеются.
Вот пишу я это все, и вспомнил комментаторов, которые не будут даже это читать и напишут в комментариях, мол антивирусы не нужны, вирусов не существует, пожелайте им здоровья. Они в своем манямирке живут.
Так вот на чем мы остановились, за полную лицензию (1 год) которая обзывается Premium нужно выложить почти 2000 рублей, 1990 на один компьютер, если берете на два года скидка, есть вариант с покупкой на все семейные компьютеры, или например на 5 устройств, ну и куда же мы без VPN, тут он тоже есть, в полном пакете.
Я уважаю данный сканер, он заслужил свое доверие, наверное один из лучших сканеров, да и антивирусную защиту налепили неплохо, и вы уже ждете когда будет "но".
Но, если вы подозреваете что ваш компьютер как либо скомпрометирован или просто был подвержен вирусному заражению, то одним сканером тут никак не обойтись. Конечно львиную долю всей гадости данная программа уберет, я более чем уверен в этом.
Однако, она просто может не знать о других угрозах, потому как с ними она раньше не встречалась, не прописанные сигнатуры, как результат пропущенный зловред.
И как быть?
Сканируем разными сканерами!
- MalwareBytes Premium
- Cure It
- Panda Cloud Cleaner
- Internet Security Essentials
- Hitman Pro
- Zemana AntiMalware
Не обязательно проходить все сканеры, разве что вы параноик, как и я.
В результате сканирования вы найдете все зловреды или нежелательные программы которые могли разместиться у вас в системе.
Лучше сканеров я просто не знаю, AVZ4 не входит в данный список, потому как он стар. И описанные в списке выше сканеры работают лучше.
Если бы не форум AVZ4, то он бы уже давно загнулся, а так скрипты до сих пор спасают многих.
Короче говоря:
MalwareBytes крутое средство для усмирения различных вирусов и нежелательных программ, сканер один из самых лучших, но вот в плане антивируса я думаю ему нужно дать еще время.
Да и в глазах больших организаций это выглядит жалко," мол: у них оборот настолько ничтожен, что они пытаются выжить за счет пожертвований ".
Что такое Adversarial Machine Learning (вредоносное машинное обучение) и какую опасность может нести эта технология? В материале, подготовленном специально для TAdviser, на эти вопросы отвечает журналист Леонид Черняк.
Одним из самых серьезных препятствий на пути к предсказываемому массовому внедрению умных систем, снабженных элементами искусственного интеллекта (ИИ), может оказаться непредвиденное обстоятельство – эти системы пока не настолько умны, чтобы обладать способностью к противостоянию злому умыслу или жульничеству со стороны человека. Масштаб последствий такого обмана непредсказуем, он зависят лишь от того, насколько ответственны функции, переданные системе, снабженной ИИ.
В технологической истории возникновение таких препятствий далеко не единичный случай – пока та или иная новация пребывает в зародышевом состоянии, об ее возможных негативных последствиях не задумываются. Но рано или поздно наступает момент, когда непредвиденное ранее выступает на первый план. На заре автомобилизма вопрос безопасности не стоял, а теперь он важнейший. В сфере программирования никто не мог представить возможность существования вредоносного ПО (malware) вплоть до создания сети ARPANET (предшественницы Интернета), но с середины восьмидесятых malware во всех его ипостасях стало серьезной угрозой для персональных, а позже и других компьютеров. Точно так же, с конца пятидесятых годов XX века и практически до самого последнего времени создатели технологий машинного обучения (ML) не принимали во внимание возможность какой-либо угрозы. Однако и здесь она возникла, в данном случае со стороны Adversarial Machine Learning (AML) - боковой ветви ML, ставшей теоретической основой для разработки инструментов, способных создавать помехи в работе систем на основе ML. Термин Adversarial Machine Learning пока редко встречается в русскоязычных текстах, его переводят как «состязательное машинное обучение», но точнее для слова adversarial подходят значения из ряда антагонистическое, конфронтационное или противоборствующее, поэтому по аналогии с malware будем переводить его «вредоносным машинным обучением». Открытие теоретической возможности существования AML и первые публикации на эту тему относят к 2004 году. Историю AML и анализ текущего состояния дел можно найти в статье «Wild Patterns: Ten Years After the Rise of Adversarial Machine Learning» двух итальянских исследователей Battista Biggioa и Fabio Rolia, опубликованной в 2018 году [1] .
На протяжении первых десяти лет существования AML, то есть до того времени, пока системы на основе ML не получили заметного распространения, отношение к AML носило теоретический характер. Однако ситуация резко изменилась после того, как несколько лет назад Иан Гудфеллоу, вундеркинд из Стэнфордского университета, одним из первых публично заговорил о реальности атак на ML с использованием AML. Прочитанная им лекция, посвященная теории этого вопроса, выложена в Сети [2] , есть написанная им с соавторами статья «Explaining and harnessing adversarial examples» [3] .
Для перевода ее названия необходимо уточнить ключевой термин adversarial example. Аdversarial example (AE) есть ни что иное как собственно инструмент атаки, это он оказывает вредоносное воздействие на нейронную сеть с целью вызвать ошибки в ее поведении. Вредоносное воздействие AE является аналогом воздействию malware, но в приложении не к коду, а к ML.
Что такое AE проще всего пояснить на наиболее часто используемом примере систем из компьютерного зрения, где средствами AML удается вызвать оптические иллюзии. Это значит, что атакованная система «видит не то, что есть на самом деле». В статье Гудфеллоу приведен классический лабораторный случай, когда «подмешивание» специально созданного враждебного шума (Adversarial Noise) к исходному изображению панды, распознаваемому с вероятностью 57,7 %, приводит к распознаванию его же, но уже как гиббона и с более высокой вероятностью 99,3 %. Область действия AML не ограничена машинным зрением, она может затрагивать самые разные сферы применения ML, все, где приходится решать задачи распознавания (текст, звук …). Такими средствами можно обойти функцию Face ID в смартфоне iPhone X или иных биометрических средствах защиты.
Существование AML, как антипода, помогает лучше понять природу ML. Очевидно, что технологии ML – это вовсе никакой не «искусственный интеллект», а всего лишь подход, являющийся альтернативой программированию, он более гибок в части передачи знаний компьютеру. Не более того. И, если программе, как простому (если не тривиальному) носителю знаний, может противодействовать другая программа, в которую программистом заложены свои собственные знания, то обучаемой ML вред может нанести только другая, но тоже обучаемая технология. Иначе говоря, против программы действует другая программа, а против системы на основе ML действует другая система на основе ML, называемая AML.
Для того, что атаковать, AML-система должна обладать сведениями о жертве, так называемыми «вредоносными знаниями» (Adversarial Knowledge, AK), то есть иметь представление о том, как готовятся и из каких источников берутся данные для обучение, каковы эти данные, каковы основные функции атакуемой системы, по каким алгоритмам она работает, каковы результаты и т.д. Знания об объекте нападения AK определяют возможную стратегию атаки. Все AML-атаки удается разделить на два типа – отравляющие (poisoning) и искажающие (evasion). Отравляющие атаки нацелены на процесс обучения модели, а искажающие атаки нарушают функционирование ранее обученной модели, уже встроенной в ту или иную систему. В том и другом случае для создания соответствующего оружия в форме AE требуется получить AK и противопоставить их знаниям, полученным в процессе обычного ML. То есть одни знания выступают против других знаний. Если воспользоваться терминологией, принятой специалистами по информационной безопасности, то для отравляющих атак больше подходит стратегия «белого ящика», а искажающих – «черного ящика», хотя одно и не исключает другого.
Лица, осуществляющие отравляющую атаку, стремятся получить доступ к данными и процессу обучения модели с тем, чтобы ее отравить, и чтобы в последующем она проявила себя неадекватно. С этой целью они могут использовать различие сетевые средства проникновения и деформации. Целью искажающих атак является неадекватное поведение уже готового продукта со встроенной в него моделью, созданной средствами ML. Если злоумышленник получает доступ к такому продукту, то он может рассматривать его в большей мере как черный ящик, выясняя его характеристики и не вникая в его устройство.
Усилиями маркетологов в качестве объекта искажающей атаки обычно рассматривают автомобили-беспилотники, хотя и все другие устройства в равной мере могут стать жертвами. Атака начинается с момента, когда автомобиль становится доступен для злоумышленников, использующих AML. Их действия относят к так называемой обратной разработке (реверс-инжинирингу). В данном случае под реверс-инжинирингом понимается исследование обученной модели и выявление ее уязвимостей. Для анализа поведения подсистемы машинного зрения автомобиля на ее вход могут в огромном количестве подаваться слегка видоизмененные изображения дорожных знаков. Модель не идеальна, рано или поздно удается найти слабые места и использовать их во зло. Как показывают эксперименты, проведенные в Принстонском университете, когда свойства модели изучены, достаточно нанести несложные искажения на знак ограничения скорости, чтобы система восприняла его как знак обязательной остановки. Легко представить себе к чему приведет внезапное торможение на шоссе. Эти процедуры детально описаны в статье «Введение в заблуждение автономных автомобилей зараженными знаками» [4] .
Факт существования таких угроз вызвал незамедлительную реакцию многих вендоров. Компания Nvidia, работающая в сотрудничестве с Mercedes-Benz опубликовала отчет SELF-DRIVING SAFETY REPORT 2018, [5] в котором описаны прилагаемые ею инфраструктурные решения для защиты автомобилей. Компании, специализирующиеся на безопасности самолетов, предлагают распространить на автомобили разработанные ими технологии, например Communication Lockdown (Блокировка коммуникаций), которой комплектуются строящиеся по заказу истребители Израиля F-35I и F-16I.
Однако, на нынешнем уровне развития не существует каких-либо готовых теоретических подходов для создания средств противодействия искажающим атакам, поэтому потенциальные угрозы с их стороны остаются важнейшим тормозом на пути дальнейшего распространения автономных автомобилей. Об этом говорила профессор Массачусетского Технологического Института (МТИ) Дан Сонг 25 марта 2019 года в своем выступлении на конференции EmTech Digital, прошедшей в Сан-Франциско [6] .
Читайте также: