Voltar ao blog

Blog

CISA e NIST medem simulações de ciberataque

CISA, NIST e ISO/IEC 27001 apontam o que medir em simulações: cliques, reportes, aberturas, dificuldade

CISA e NIST medem simulações de ciberataque

As simulações de cyber attack não devem ser avaliadas por uma única taxa de clique. Para um CISO, equipes de TI ou compliance, o mais útil é entender que capacidade o exercício testa, qual variável alterou o resultado e que ajuste de programa passa a ser possível. A ISO/IEC 27001:2022 exige consciência, educação, treinamento e atualizações periódicas de acordo com a função, enquanto CISA e NIST avançam para exercícios, métricas e correções mais operacionais.

Antes de analisar cada fonte separadamente, o conjunto mostra algo que nenhuma delas entrega sozinha: a norma define o programa, a CISA define o exercício e o NIST, junto dos estudos, empurra as métricas e as variáveis que realmente mudam o resultado.

Norma, fonte ou estudo O que pede O que mede O que altera Decisão que permite Fonte
ISO/IEC 27001:2022 cláusula 6.3 conscientização, educação, treinamento e atualizações periódicas adequadas à função não especificado não especificado definir um programa de conscientização e treinamento adaptado ao cargo ISO/IEC 27001:2022
ISO/IEC 27001:2022 controle A.6.3 conscientização, educação, treinamento e atualizações periódicas adequadas à função não especificado não especificado definir um programa de conscientização e treinamento adaptado ao cargo ISO/IEC 27001:2022
CISA, cyber exercise e simulated cyberattack um evento planejado ou ataque autorizado e simulado prevenção, detecção, mitigação, resposta ou recuperação, e fraquezas exploráveis não especificado testar controles e capacidade operacional antes de uma exploração real CISA NICCS
CISA, Cybersecurity Performance Goals exercícios anunciados e não anunciados, com testes de intrusão, bug bounties, simulações de incidentes ou exercícios de mesa não especificado desenho anunciado ou não anunciado escolher o tipo de exercício para obter evidência operacional mais robusta CISA
CISA, mock phishing emails e-mails simulados para grupos definidos, usados para avaliar vulnerabilidade ao phishing aberturas, cliques e nível potencial de impacto não especificado medir a vulnerabilidade real ao phishing CISA
NIST, estudo sobre programas de conscientização não especificado taxa de conclusão do treinamento, cliques em simulações, auditorias, reportes de phishing simulado e real não especificado selecionar métricas para avaliar a efetividade do programa NIST
SAGE, estudo hospitalar simulações autorizadas para avaliar reconhecimento de phishing por e-mail capacidade da equipe de reconhecer ataques por e-mail personalização do e-mail segmentar e personalizar iscas para medir melhor a suscetibilidade real SAGE Journals
Phin Security, resumo de estudo longitudinal não especificado resiliência ao phishing, cliques e reportes dificuldade do phishing simulado ajustar a dificuldade, porque ela muda fortemente o resultado Phin Security
JISTIC, simulação publicada não especificado 17.062 e-mails entregues, 30,35% de aberturas, 1,09% de cliques e 0,43% de envio de dados não especificado usar uma linha de base operacional para comparar campanhas JISTIC

O que a ISO/IEC 27001:2022 realmente pede e o que não define?

A ISO/IEC 27001:2022, na cláusula 6.3 e no controle A.6.3, exige consciência, educação, treinamento e atualizações periódicas adequadas à função, segundo a cópia da norma e o resumo de controle fornecidos. Ela não fixa uma KPI de simulação nem obriga a observar uma única métrica. A leitura da Whalemate é que a norma define o dever de programa, não o painel de controle.

O que a CISA entende por cyber exercise e simulated cyberattack?

A CISA, no NICCS, define cyber exercise como um evento planejado para simular uma disrupção cibernética e desenvolver ou testar prevenção, detecção, mitigação, resposta ou recuperação. A CISA também define simulated cyberattack como um ataque autorizado e simulado para avaliar defesas e encontrar fraquezas exploráveis. A leitura da Whalemate é que o exercício vale pela capacidade que coloca à prova, não pela teatralidade da isca.

Por que a CISA insiste em exercícios anunciados e não anunciados?

A CISA, em seus Cybersecurity Performance Goals, diz que os exercícios podem incluir penetration testing, bug bounties, simulações de incidentes ou exercícios de mesa, e devem incluir testes anunciados e não anunciados. Isso altera a qualidade da evidência, porque evita que a equipe responda apenas pela expectativa do calendário. A leitura da Whalemate é que o anúncio ou a surpresa são variáveis de desenho, não detalhes administrativos.

Quais métricas o NIST usa para avaliar conscientização?

Em seu estudo sobre programas de conscientização, o NIST relata que as métricas mais usadas foram taxa de conclusão do treinamento, cliques em simulações de phishing e auditorias ou avaliações do programa. O mesmo estudo também cita reportes de phishing simulado e real como insumo de avaliação. A leitura da Whalemate é que a medição útil combina conformidade formal com comportamento observável.

O que acontece quando a dificuldade ou a personalização da isca muda?

A Phin Security, ao resumir um estudo acadêmico, afirma que a dificuldade do phishing simulado teve efeito substancial, com cliques subindo de 7% com iscas fáceis para 15% com iscas difíceis. No estudo hospitalar da SAGE, a personalização aumentou de forma significativa a probabilidade de interação, com 64% que não abriram o phishing genérico ante 38% que não abriram o personalizado. A leitura da Whalemate é que o resultado depende muito do desenho do estímulo.

O treinamento convencional basta para reduzir o risco?

A Phin Security resume um estudo longitudinal com mais de 14.000 funcionários ao longo de 15 meses e diz que o treinamento convencional integrado não tornou os funcionários mais resilientes ao phishing e pode ter tido efeitos negativos não intencionais. O mesmo resumo acrescenta que simulações contínuas e treinamento direcionado reduziram aproximadamente pela metade as taxas de comprometimento bem-sucedido em até seis meses. A leitura da Whalemate é que o programa precisa fechar o ciclo entre simulação, análise, intervenção e ajuste do treinamento.

O que isso significa para um CISO, TI ou compliance na América Latina?

A decisão útil para amanhã é parar de tratar a simulação como um rito de awareness e transformá-la em teste de capacidade. Isso significa definir se serão medidos abertura, clique, envio de dados, reporte, auditoria e desempenho em exercícios anunciados e não anunciados, conforme o objetivo do programa. Também significa decidir se o problema está no desenho da isca, na capacidade de detecção e reporte ou no treinamento feito depois.

Para TI e segurança, isso muda a operação, porque exige manter rastreabilidade de campanhas, segmentação, resultados e ações corretivas. Para compliance, muda a evidência, porque já não basta provar que houve treinamento, mas sim que o programa gera atualização periódica e correções observáveis. Para o CISO, a decisão concreta é se o programa é governado por uma única taxa de clique ou por um conjunto de sinais que permitam ajustar controles e treinamento.

O que ler em seguida?

Ver o guia completo do tema

Perguntas

Perguntas frequentes

Uma simulação de cyber attack é a mesma coisa que um curso?

Não. A CISA a trata como um evento planejado ou um ataque simulado autorizado para testar capacidades, enquanto a ISO/IEC 27001:2022 fala de conscientização, educação, treinamento e atualizações periódicas. Um curso informa; uma simulação observa comportamento e capacidade sob condições controladas. Na prática, um não substitui o outro.

Qual métrica convém olhar primeiro?

Depende do objetivo, mas o NIST mostra que as organizações costumam olhar conclusão do treinamento, cliques em phishing simulado, auditorias e reportes. Se o objetivo é detectar melhora real, convém somar reportes e não ficar só nos cliques. Se o objetivo é testar resiliência operacional, é preciso olhar também aberturas, envio de dados e resposta da equipe.

Por que não basta reduzir a taxa de clique?

Porque a evidência citada mostra que a dificuldade da isca e a personalização mudam muito o resultado. Uma taxa de clique baixa pode vir de uma isca óbvia demais, e não de uma melhora real. E uma taxa de clique alta pode depender da segmentação escolhida. Por isso, a decisão correta é tomada com vários sinais, e não com uma única KPI.

O que uma organização deveria fazer depois de uma simulação?

A CISA sugere usar a análise dos resultados para modificar o treinamento e mitigar o risco de phishing. Isso implica revisar o que aconteceu, identificar se a falha esteve na isca, na detecção ou no reporte, e ajustar o programa. Se não houver mudança posterior, a simulação fica como registro, mas não como melhoria de controle.

O que isso agrega ao compliance?

Agrega evidência de que o programa não é apenas documental. A ISO/IEC 27001:2022 exige atualização e adequação à função, e simulações bem desenhadas permitem mostrar que essa obrigação se traduz em medição e ajustes. Para compliance, o valor está em provar que existe um ciclo de melhoria, e não apenas uma campanha isolada.

Gostaria de se aprofundar neste tema?

Abra este artigo diretamente no Claude ou ChatGPT — faça perguntas, peça um resumo ou explore ideias relacionadas.

Abrir com ClaudeAbrir com ChatGPT