В прошлой заметке я писал про критическое мышление, которое помогает разбираться в правдивости получаемой нами информации и принятии решений на ее основе. Но, что если пойти чуть дальше, и попробовать поставить вопрос по другому, а именно:
Можно ли количественно измерить уровень доверия к источнику информации?
Например, если я подключаюсь к различным источникам информации Threat Intelligence, то мы прекрасно понимаем, что какие-то источники нам полезны, а какие-то нет — в каких-то есть информация по нашему региону, а в каких нет, какие-то я задействую часто, а какие-то нет, какие-то генерят очень много фолсов, а какие-то нет… Ну и т.д. На основе такой оценки мы можем выбирать источники, отказывать от них, пересматривать условия сотрудничества с ними и выполнять любые иные действия, которые, однако, требуют некой формализации, базирующейся на количественном измерении источника информации Threat Intelligence.
Давайте попробуем разработать формулу количественного измерения качества данных TI. Для начала нам надо понять, как нам количественно оценить качество? Как и в любом измерении, важно провести декомпозицию задачи и понять, из каких составляющих состоит качество данных. Я бы выделил 5 метрик:
Почему такой показатель как качество не может быть получен извне? А все потому, что отдельные его составные части могут иметь разное значение для разных потребителей. Например, полнота или точность зависят от потребностей получателя данных и должны вычисляться в привязке к конкретной организации и ее задач. Например, атрибуция какой-то группировки или кампании интересна только тем, кто использует эти данные, как это делают правоохранительные органы или очень крупные предприятия. Тогда в показателе полноты и точности данных мы будем учитывать наличие данных по атрибуции. А для небольшой компании, которая и вовсе ограничивается внесением IP-адресов в списки контроля доступа МСЭ, полнота и точность имеет совсем иное наполнение. Есть и более сложная ситуация, когда некачественные по отдельности источники вместе представляют вполне себе качественную информацию, дополняя друг друга. Но это уже относится к оценке всего TI-процесса, чем к отдельным его источникам.
Каждый из указанных выше показателей имеет свой вес (определяется в каждой организации по своему) и может быть ранжирован по трех- или пятибалльной шкале, которые затем суммируются; примерно так, как я описывал это применительно к ранжированию угроз в методе TARA.
У отдельных поставщиков TI, применительно к отдельным индикаторам, часто измеряется уровень доверия (confidence level) и который каждый вендор/поставщик/агрегатор Threat Intelligence вычисляет по какому-то своему, не всегда формализованному алгоритму. Например, ThreatConnect так описывает свой уровень доверия, зависящий от ответов на следующие вопросы:- Индикатор подтвержден независимыми источниками или это первичный анализ?
- Это логично и правдоподобно (близко к highly likely)? В отдельности он имеет смысл?
- Подтверждается ли он другой доступной информации и согласуется ли с ней (опять highly likely)?
На мой взгляд, это не самый лучший пример описания уровня доверия к индикатору, так как он больше качественный, чем количественный. Поэтому выше, описывая показатель полноты, я уровень доверия перечислил наряду с другими полями, которые могут быть учтены при оценке полноты данных Threat Intelligence.
В итоге, если провести декомпозицию для каждого набора данных, которые мы используем в деятельности информационной безопасности и рассчитаем каждый из показателей, то на выходе мы получим итоговый уровень качества данных TI (аналогично оценивать можно и другие данные ИБ), на базе которого можно принимать более обоснованные решения — ранжировать источники, отказываться от каких-то из них, обогащать их дополнительной информацией или включать их в плейбуки.
А может все это слишком сложно (особенно без автоматизации) и надо просто использовать бинарную логику при оценке качества данных — полезно/не полезно?
Решать вам!
Заметка
Как оценивать источники информации: количественный подход была впервые опубликована на Бизнес без опасности .
