Por 
Para um CISO, TI ou compliance na América Latina, uma plataforma de security awareness training deve ser avaliada como um sistema de medição, segmentação e evidência, e não como um catálogo de cursos. Os marcos citados no material convergem ao exigir capacitação contínua e atualizada, e vários ainda pedem exercícios, avaliação de eficácia e registros verificáveis. A tensão aparece quando essa exigência normativa cruza com a evidência empírica: treinamento isolado não mostra uma redução consistente de phishing, então a decisão útil é quem precisa de intervenção, com que intensidade e como provar se o programa funciona.
O que as exigências normativas mostram em conjunto
Colocadas lado a lado, as fontes não descrevem apenas um dever de "treinar". Elas descrevem um sistema que combina frequência, exercícios, medição e evidência, com níveis diferentes de detalhe conforme o marco.
| Norma | O que exige | Frequência | Exercícios | O que medir | Evidência | Fonte |
|---|---|---|---|---|---|---|
| NIST SP 800-53 Rev. 5 AT-2 | Treinamento de alfabetização em segurança e privacidade para usuários do sistema, incluindo gerentes, executivos sêniores e contratados; atualizar conteúdo e incorporar lições aprendidas de incidentes ou violações internas ou externas | Treinamento inicial para novos usuários e depois na frequência definida pela organização; também quando mudanças no sistema ou eventos definidos pela organização exigirem | Inclui as melhorias AT-2(1) "Practical Exercises" e AT-2(3) "Social Engineering and Mining" | não especificado | não especificado | segundo NIST SP 800-53 Rev. 5 |
| PCI DSS v4.0 Req. 12.6 | Um programa formal de conscientização para que todo o pessoal conheça a política e os procedimentos de segurança da informação e seu papel na proteção dos dados do titular; o treinamento deve incluir phishing and related attacks e social engineering | A educação de conscientização em segurança é uma atividade contínua | não especificado | não especificado | não especificado | segundo PCI DSS v4.0 |
| ISO/IEC 27001:2022 Annex A 6.3 + cláusula 7.2 | O pessoal e as partes interessadas relevantes devem receber conscientização, educação e treinamento adequados e atualizações regulares; além disso, é preciso determinar a competência necessária, assegurar a competência, tomar medidas para adquiri-la e avaliar a eficácia dessas medidas | Atualizações regulares | não especificado | Avaliar a eficácia das medidas tomadas para adquirir a competência | Manter informação documentada como evidência de competência | segundo ISO/IEC 27001:2022 e a interpretação citada por Sentrix |
| CISA phishing guidance + CISA FISMA metrics | Implementar treinamento de usuários sobre engenharia social e phishing; educar regularmente para identificar e-mails e links suspeitos, não interagir com eles e reportá-los; combinar conscientização e treinamento, ataques simulados e análise de resultados para ajustar o treinamento e reduzir o risco | Os funcionários devem revisar material de treinamento anti-phishing anualmente; também é exigido monitorar e analisar métricas quantitativas e qualitativas | Avaliação de vulnerabilidade a phishing por meio de e-mails simulados para grupos definidos; contempla evidências de exercícios voltados a executivos sêniores, usuários privilegiados ou equipe de cibersegurança | Percentual de usuários que concluíram o treinamento anual; percentual de novos usuários que concluíram o treinamento antes de acessar; quantidade de usuários que participaram dos exercícios, quantidade que passou e quantidade que identificou e reportou o phishing | Os dados que sustentam as métricas devem ser obtidos de forma exata, consistente e reproduzível | segundo CISA |
| ENISA | Os programas devem incluir criação de capacidades, avaliações periódicas de tendências e desafios, medição do comportamento de cibersegurança e planejamento de campanhas; propõe identificar objetivos, segmentar funcionários em grupos-alvo, selecionar meios, implementar e avaliar | Simulações regulares de phishing e avaliações periódicas | Recomenda uma avaliação de linha de base e simulações regulares de phishing para identificar quem precisa de treinamento adicional | Medição do comportamento de cibersegurança; avaliação de linha de base para determinar onde estão os riscos | não especificado | segundo ENISA |
| Banco Central do Brasil CMN 4.893/2021 | Mecanismos de disseminação de uma cultura de cibersegurança, incluindo implementação de programas de treinamento e avaliação periódica de funcionários; a política deve prever o compromisso da alta direção com a melhoria contínua dos procedimentos relacionados à cibersegurança | Avaliação periódica de funcionários | não especificado | Avaliação periódica de funcionários | não especificado | segundo a Resolução CMN 4.893/2021 do Banco Central do Brasil |
A plataforma é comprada para dar cursos ou para medir comportamento?
A leitura da Whalemate é que os marcos do material se parecem mais com um sistema de gestão do que com uma biblioteca de conteúdo. Segundo o NIST SP 800-53 Rev. 5, o controle AT-2 exige treinamento inicial, treinamento posterior com frequência definida pela organização, atualização de conteúdo e incorporação de lições aprendidas de incidentes. Segundo o PCI DSS v4.0, o Requirement 12.6 estabelece que a educação em awareness é uma atividade contínua, não um curso isolado.
Isso muda o critério de compra. Se o problema a resolver fosse apenas distribuir conteúdo, bastaria um LMS básico. Mas, segundo a ENISA, o programa deve partir de uma linha de base, segmentar funcionários em grupos-alvo, executar simulações regulares e medir comportamento, de modo que a plataforma útil é aquela que transforma comportamento observado em decisões de intervenção.
Cumprir a capacitação anual basta para reduzir phishing?
A CISA coloca o treinamento anti-phishing no piso mínimo. Segundo a orientação da CISA, os funcionários devem revisar material de treinamento anualmente e a organização deve combinar conscientização, ataques simulados e análise de resultados para ajustar o treinamento e reduzir o risco.
A evidência empírica do material complica qualquer promessa linear. Segundo o estudo em larga escala publicado no arXiv, o grupo de controle teve taxa de clique de 9,8% frente a 10,5% entre participantes treinados, sem diferença estatisticamente significativa, com p=0,450. O mesmo estudo também não encontrou diferença estatisticamente significativa em reportes, com p=0,417 e tamanhos de efeito inferiores a 0,01. A leitura da Whalemate é que o treinamento anual pode ser necessário para cumprir exigências e estabelecer uma base, mas não basta como prova de eficácia comportamental.
O que vale mais, o clique ou o reporte?
A prática organizacional ainda se concentra muito no clique. Segundo uma pesquisa do NIST, 72% das organizações ouvidas usavam a taxa de cliques em simulações de phishing para medir eficácia e 62% usavam reportes de phishing simulado. Segundo outro estudo do NIST, a conclusão do treinamento foi usada por 84% das organizações ouvidas e a taxa de cliques por 72%.
As recomendações do material são mais amplas. Segundo o NCSC, não se deve medir apenas quantas pessoas clicaram, mas também quantas reportaram. Segundo a CISA, uma das condutas a ensinar é reportar e-mails, links e anexos suspeitos. A leitura da Whalemate é que uma plataforma que captura apenas cliques deixa de fora um sinal central de resiliência operacional, porque reportar cedo acelera resposta e contenção.
Dá para comparar taxa de clique sem contexto?
Segundo o NIST, não. A NIST Phish Scale existe justamente para dar contexto às taxas de clique conforme a dificuldade humana de detectar a isca. O NIST indica que uma taxa não deve ser comparada sem considerar essa dificuldade.
O mesmo ponto aparece na evidência empírica. Segundo o estudo do arXiv, a taxa de clique subiu de 7,0% para iscas fáceis para 15,0% para iscas difíceis. A leitura da Whalemate é direta: uma plataforma que mostra taxa bruta sem classificar campanhas, iscas e populações pode induzir decisões erradas, porque mistura dificuldade do ataque e desempenho do usuário.
Os estudos mostram melhora sustentada ou resultados nulos?
Mostram as duas coisas, e essa tensão importa. Segundo o estudo longitudinal da Ruhr University Bochum, a taxa de cliques caiu de 19% para 10% à medida que o treinamento avançava, com 429.418 e-mails enviados e 59.689 cliques, equivalentes a 13,90%, e em uma segunda fase 27.501 links clicados, equivalentes a 10,55%. O mesmo estudo relatou que 61 de 77 clientes melhoraram sua taxa de cliques depois de usar e-mails simulados.
Mas, segundo a revisão de escopo em Computers & Security, que identificou 42 estudos, o impacto de curto prazo está documentado e a evidência sobre mudança comportamental sustentada é limitada. Segundo o arXiv, além disso, em um estudo recente de larga escala não houve efeitos principais significativos nem em cliques nem em reportes. A leitura da Whalemate é que não convém comprar a promessa de redução garantida, e sim a capacidade de medir localmente se a intervenção funciona na sua população e nas suas campanhas.
O que fazer com benchmarks otimistas de fornecedores?
Eles devem ser lidos como referência comercial, não como veredicto independente. Segundo a KnowBe4, sua análise reuniu 67,7 milhões de simulações de phishing, 14,5 milhões de usuários e 62,4 mil organizações. A fornecedora reportou uma taxa global média de phishing simulado de 33,1% antes do treinamento, uma redução de 40% após três meses e uma redução acumulada de 86% após doze meses. Em outro relatório, a KnowBe4 reportou uma redução de 34,3% para 4,6% para sua categoria de treinamento.
O próprio material exige confronto desses dados. Segundo a SC Magazine UK, em um estudo de dez campanhas durante oito meses com mais de 19.500 funcionários de uma organização de saúde dos Estados Unidos, não foi observada melhora nas taxas de clique ao longo do tempo e o treinamento tradicional presencial ou estático teve pouco efeito mensurável. A leitura da Whalemate é que benchmarks servem para dimensionar cenários, mas a compra deve se apoiar em rastreabilidade metodológica, segmentação e resultados verificáveis dentro da própria organização.
