К моему удивлению тема искусственного интеллекта и кибербезопасности оказалась более чем востребованной. Я уже 4 раза читал в разных местах регулярно обновляемую презентацию и еще как минимум 3 заказа есть на ближайшее время. И так как я не люблю повторять презентации, то для каждого выступления добавляю что-то новое, все больше погружаясь в тематику, которая, на мой взгляд сейчас больше смахивает на очередной хайп.
Да, ИБ-стартапы (не в России) активно применяют (или заявляют об этом) различные варианты искусственного интеллекта (как правило, машинное обучение) в своих продуктах, делая именно на ни ставку. За прошедшие 6 лет было совершено более двухсот сделок в этой области и рынок кибербезопасности входит в Топ 5 сфер для сделок слияний и поглощений в этой сфере. Очень активны в этой области различные инвестиционные фонды, которые, как мне кажется, просто хотят нажиться на горячей теме, чем продвинуть ее в массы. Хотя наличие среди самых активных инвесторов ЦРУшной In-Q-Tel заставляет думать и об обратном.
Но какие наблюдения у меня родились в процессе подготовки различных версий презентации по ИИ и кибербезопасности? Их несколько. Во-первых, многие "апологеты" и "евангелисты", похоже, не учили математику в своей юности (или юность их не так далеко от них ушла) и поэтому они почему-то считают, что ИИ - это что-то новое и он вот-вот поработит нас, как Скайнет в "Терминаторе". Но разочарую - этой теме уже с полсотни лет и пока никакого порабощения нас роботами и компьютерами не произошло (и пока нет уверенности, что это произойдет в ближайшем будущем). Я вспоминаю свое обучение в институте по специальности "Прикладная математика" и многое из того, что сегодня преподносят как новое, на самом деле является хорошо забытым старым. Кстати, одна из курсовых у меня была посвящена созданию экспертных систем (да, это еще не Big Data и не совсем ИИ, но многое из области эксертных систем потом перешло в область искусственного интеллекта).
Очень мало где говорится об атаках на искусственный интеллект, позволяющих превратить все новомодные модели в тыкву. Безопасникам же наоборот требуется смотреть на все новомодные штуки именно с прицела "как можно ее обойти" или "как можно использовать ее во вред". Об этом пишут не так уж и много, так как исследователей ИИ в первую очередь интересует положительная сторона их творений (как тут не вспомнить Манхеттенский проект).
Еще меньшее число исследований говорит о том, как защитить ИИ от негативных направленных воздействий? Как защитить обучающую выборку? Как защитить модели от внедрения некорректных данных или использования "белых пятен" в алгоритмах ИИ? Как обеспечить целостность данных и моделей и защититься от манипуляции с ними? Про SecOps для ИИ тоже мало кто говорит, хотя в этой нише как раз много наработок из традиционной корпоративной сферы.
Наконец, мало говорят о том, как искусственный интеллект может быть использовать во вред, то есть применен для обхода систем защиты. И дело не в банальном обходе CAPTCHA, а в более сложных механизмах уклонения от антивирусов и системы защиты от вредоносного кода, от систем контентной фильтрации, от систем сетевой безопасности. Такие технологии активно тестируются различными сторонами - от хакеров до военных ведомств разных государств, что вновь обращает нас к мысли, что не стоит так уж бездумно бросаться в тему искусственного интеллекта. Вот уж, кстати, дурацкое название. Кому в голову пришла мысль перевести "intelligence" как "интеллект" (при наличии английского "intellect")?
К чему это я? Какой-то конкретной цели заметка не преследует. Скорее это наблюдение, которым я решил поделиться и которое мне не хотелось терять в суматохе. В любом случае стоит помнить о здравом скепсисе, который должен сопровождать безопасника при изучении/внедрении новых технологий. Без этого жить становится сложно.
Но какие наблюдения у меня родились в процессе подготовки различных версий презентации по ИИ и кибербезопасности? Их несколько. Во-первых, многие "апологеты" и "евангелисты", похоже, не учили математику в своей юности (или юность их не так далеко от них ушла) и поэтому они почему-то считают, что ИИ - это что-то новое и он вот-вот поработит нас, как Скайнет в "Терминаторе". Но разочарую - этой теме уже с полсотни лет и пока никакого порабощения нас роботами и компьютерами не произошло (и пока нет уверенности, что это произойдет в ближайшем будущем). Я вспоминаю свое обучение в институте по специальности "Прикладная математика" и многое из того, что сегодня преподносят как новое, на самом деле является хорошо забытым старым. Кстати, одна из курсовых у меня была посвящена созданию экспертных систем (да, это еще не Big Data и не совсем ИИ, но многое из области эксертных систем потом перешло в область искусственного интеллекта).
Очень мало где говорится об атаках на искусственный интеллект, позволяющих превратить все новомодные модели в тыкву. Безопасникам же наоборот требуется смотреть на все новомодные штуки именно с прицела "как можно ее обойти" или "как можно использовать ее во вред". Об этом пишут не так уж и много, так как исследователей ИИ в первую очередь интересует положительная сторона их творений (как тут не вспомнить Манхеттенский проект).
Еще меньшее число исследований говорит о том, как защитить ИИ от негативных направленных воздействий? Как защитить обучающую выборку? Как защитить модели от внедрения некорректных данных или использования "белых пятен" в алгоритмах ИИ? Как обеспечить целостность данных и моделей и защититься от манипуляции с ними? Про SecOps для ИИ тоже мало кто говорит, хотя в этой нише как раз много наработок из традиционной корпоративной сферы.
Наконец, мало говорят о том, как искусственный интеллект может быть использовать во вред, то есть применен для обхода систем защиты. И дело не в банальном обходе CAPTCHA, а в более сложных механизмах уклонения от антивирусов и системы защиты от вредоносного кода, от систем контентной фильтрации, от систем сетевой безопасности. Такие технологии активно тестируются различными сторонами - от хакеров до военных ведомств разных государств, что вновь обращает нас к мысли, что не стоит так уж бездумно бросаться в тему искусственного интеллекта. Вот уж, кстати, дурацкое название. Кому в голову пришла мысль перевести "intelligence" как "интеллект" (при наличии английского "intellect")?
К чему это я? Какой-то конкретной цели заметка не преследует. Скорее это наблюдение, которым я решил поделиться и которое мне не хотелось терять в суматохе. В любом случае стоит помнить о здравом скепсисе, который должен сопровождать безопасника при изучении/внедрении новых технологий. Без этого жить становится сложно.
