Новая модель искусственного интеллекта может помочь предотвратить разрушительные и дорогостоящие утечки данных

Главная » Маркетинг, Статьи » Новая модель искусственного интеллекта может помочь предотвратить разрушительные и дорогостоящие утечки данных

Эксперты в области конфиденциальности создали алгоритм ИИ, который автоматически проверяет системы, сохраняющие конфиденциальность, на предмет потенциальной утечки данных.

Это первый случай использования ИИ для автоматического обнаружения уязвимостей в системах такого типа, примеры которых используются в Google Maps и Facebook.

Эксперты из группы вычислительной конфиденциальности Imperial рассмотрели атаки на системы на основе запросов (QBS) — управляемые интерфейсы, с помощью которых аналитики могут запрашивать данные для извлечения полезной совокупной информации о мире. Затем они разработали новый метод с поддержкой ИИ под названием QuerySnout для обнаружения атак на QBS.

QBS предоставляют аналитикам доступ к коллекциям статистических данных, собранных на индивидуальном уровне, таких как местоположение и демографические данные. В настоящее время они используются в Google Maps для отображения оперативной информации о загруженности того или иного района или в функции измерения аудитории Facebook для оценки размера аудитории в определенном месте или демографической ситуации, чтобы помочь в проведении рекламных акций.

В своем новом исследовании, опубликованном в рамках 29-й конференции ACM по компьютерной и коммуникационной безопасности, команда, в которую входят сотрудники Института науки о данных Ана Мария Крету, доктор Флоримонд Уссиау, доктор Антуан Кюлли и доктор Ив-Александр де Монтжойе, обнаружила, что мощные и точные атаки на QBS могут быть легко обнаружены автоматически, нажатием одной кнопки.

По словам старшего автора исследования доктора Ива-Александра де Монтжоя: «До сих пор атаки разрабатывались вручную с привлечением высококвалифицированных специалистов. Это означает, что на обнаружение уязвимостей уходит много времени, что оставляет системы под угрозой».

«QuerySnout уже превосходит людей в обнаружении уязвимостей в реальных системах».

Потребность в системах, основанных на запросах

За последнее десятилетие наши возможности по сбору и хранению данных резко возросли. Хотя эти данные могут способствовать научному прогрессу, большинство из них являются личными, и поэтому их использование вызывает серьезные опасения по поводу конфиденциальности, защищенной такими законами, как «Общий регламент ЕС по защите данных».

Поэтому возможность использования данных во благо при сохранении нашего фундаментального права на неприкосновенность частной жизни является своевременным и важным вопросом для специалистов по исследованию данных и экспертов по защите частной жизни.

QBS обладают потенциалом для проведения анонимного анализа данных в масштабе, сохраняющем неприкосновенность частной жизни. В QBS кураторы сохраняют контроль над данными и поэтому могут проверять и изучать запросы, посылаемые аналитиками, чтобы гарантировать, что полученные ответы не раскрывают частную информацию о лицах.

Однако нелегальные злоумышленники могут обойти такие системы, составляя запросы таким образом, чтобы получить личную информацию о конкретных людях, используя уязвимости или ошибки в реализации системы.

Тестирование системы

Риски неизвестных сильных атак «нулевого дня», когда злоумышленники используют уязвимости в системах, затормозили разработку и развертывание QBS.

Для проверки надежности этих систем, подобно тестированию на проникновение в кибербезопасности, можно смоделировать атаки на утечку данных, чтобы обнаружить утечку информации и выявить потенциальные уязвимости.

Однако ручная разработка и реализация таких атак на сложные QBS — сложный и длительный процесс.

Поэтому, по мнению исследователей, ограничение потенциала для сильных атак, не поддающихся имитации, необходимо для обеспечения полезного и безопасного применения QBS при сохранении индивидуальных прав на неприкосновенность частной жизни.

QuerySnout

Команда Imperial разработала новый метод с поддержкой ИИ под названием QuerySnout, который работает путем обучения тому, какие вопросы задавать системе для получения ответов. Затем он учится автоматически комбинировать ответы, чтобы обнаружить потенциальные уязвимости конфиденциальности.

Используя машинное обучение, модель может создать атаку, состоящую из набора запросов, которые комбинируют ответы, чтобы раскрыть определенную часть частной информации. Этот процесс полностью автоматизирован и использует технику «эволюционного поиска», которая позволяет модели QuerySnout находить правильные наборы вопросов, которые необходимо задать.

Это происходит в условиях «черного ящика», то есть ИИ нужен только доступ к системе, но ему не нужно знать, как она работает, чтобы обнаружить уязвимости.

Соавтор работы Ана-Мария Крету говорит: «Мы продемонстрировали, что QuerySnout находит более мощные атаки, чем те, которые в настоящее время известны на реальных системах. Это означает, что наша модель ИИ лучше, чем люди, справляется с поиском таких атак».

Следующие шаги

В настоящее время QuerySnout тестирует только небольшое количество функций. По словам доктора де Монтджойе, «основной задачей на будущее будет масштабирование поиска на гораздо большее количество функций, чтобы убедиться, что он обнаруживает даже самые продвинутые атаки».

Несмотря на это, модель может позволить аналитикам проверить устойчивость QBS к различным типам злоумышленников. Разработка QuerySnout представляет собой ключевой шаг вперед в обеспечении конфиденциальности личных данных в отношении систем, основанных на запросах.