Benchmarking en Security Awareness

Por Nicolás Bruna, Product Manager de SMARTFENSE.

En los más de 7 años que llevo trabajando en SMARTFENSE me encontré muchas veces con preguntas del tipo: ¿qué porcentaje de usuarios caen en las trampas de Phishing de los clientes de SMARTFENSE? 

Y el objetivo es siempre el mismo: comparar la propia organización con el resto.

Como si el hecho de que las organizaciones tengan un porcentaje promedio de clics en enlaces de Phishing del 25% sirviera como consuelo si mi organización ronda también ese número preocupante. O como si tener un porcentaje menor al resto sirviera como parámetro para considerar mi trabajo en concientización exitoso y suficiente.

Esto, que básicamente es Benchmarking aplicado al Security Awareness, tiene dos problemas según mi punto de vista:

• los números de Benchmarking no siempre son lo que parecen
• es difícil encontrar una organización lo suficientemente similar a la nuestra para que la comparación tenga sentido

Los números de Benchmarking no siempre son lo que parecen

Para que la lectura no se haga pesada, vamos a suponer un ejemplo bien sencillo basado en el engagement de los usuarios finales con campañas de videos de concientización.

Usualmente tendremos métricas como:

• Cantidad de usuarios que fueron asignados a la campaña
• Cantidad de usuarios que comenzaron a ver el video
• Cantidad de usuarios que finalizaron de ver el video

Supongamos ahora dos organizaciones:

Organización 1

• Usuarios asignados 20.000 (100%)
• Videos comenzados: 10.000 (50%)
• Videos finalizados: 5.000  (25%)

Organización 2

• Usuarios asignados 50 (100%)
• Videos comenzados: 45 (90%)
• Videos finalizados: 40  (80%)

¿Qué nos indica el Benchmarking aquí?

En casos como este, si nuestro proveedor no lo aclara, podemos tener resultados con interpretaciones muy diferentes:

Promedio de interacciones

Vamos a analizar el Benchmarking de videos finalizados. Para eso sumamos la cantidad de usuarios que finalizan videos y lo dividimos por el total:

Organización 1: 5.000 videos finalizados

Organización 2: 40 videos finalizados

Total de usuarios asignados entre ambas organizaciones: 20.040

Promedio de usuarios que finalizan los videos: 25,13%

Promedio de porcentajes

Otro cálculo posible sin embargo es centrarnos en las proporciones e independizarnos de la cantidad de usuarios, por ejemplo:

Organización 1: 25% de los usuarios finalizan los videos

Organización 2: 80% de los usuarios finalizan los videos

Promedio de usuarios que finalizan los videos: 52,5%

Como vemos, según el enfoque que se sigue para calcular el Benchmarking los resultados pueden variar muchísimo.

Filtrado por industria y por cantidad de usuarios

Una manera que se suele utilizar para disminuir un poco el sesgo que puede tener un ejemplo como el anterior es comparar nuestra organización contra otras del mismo sector y similar cantidad de empleados.

Esto parece ser una muy buena idea, pero cuando hablamos de concientización, no lo es tanto. Más arriba decíamos que ‘es difícil encontrar una organización lo suficientemente similar a la nuestra para que la comparación tenga sentido.’

Y es que en Security Awareness, la industria y cantidad de usuarios no son filtros suficientes para compararnos contra otra organización.

Recordemos que con nuestros programas de concientización podemos tener diferentes objetivos aún en organizaciones similares:

Según estos objetivos, la manera de gestionar el programa de concientización puede variar en factores como:

Y no solo esto. Recordemos que estamos tratando con personas, y el resultado de las campañas de concientización puede verse afectado por algunos factores generales como:

Además, el resultado de las campañas puede estar determinado también por la realidad que los usuarios viven en esa organización:

Y también por cuestiones sociales y políticas de la ciudad y país en las que vive cada uno.

Por último, y no menos importante, con la concientización usualmente buscamos gestionar el riesgo de la ingeniería social. Y el nivel de riesgo aceptable para nuestra organización no tiene por qué ser el nivel aceptable para el resto. Entonces, en términos de gestión de riesgos, los resultados que para una organización pueden ser buenos, para otra pueden ser inaceptables.

Algunos ejemplos puntuales

Supongamos que hemos realizado un filtro para obtener información de Benchmarking comparando a nuestra organización con otra del mismo rubro y similar cantidad de usuarios.

¿De qué nos sirve saber el porcentaje promedio de apertura de archivos adjuntos en nuestra industria?

Quizá algunas de las organizaciones con las que nos comparamos utilizan contenidos de nivel sencillo, fáciles de detectar por el usuario, con el único objetivo de cumplir con cierta cantidad de simulaciones anuales. 

Quizá algunas de estas organizaciones no complementa las simulaciones con acciones de concientización como el envío de videos y módulos interactivos, y sus usuarios no se ven motivados con técnicas de gamificación para asimilar mejor los contenidos y mejorar sus hábitos. 

Un número frío como ‘el 20% de los usuarios de las organizaciones de tu mismo rubro y tamaño abren archivos adjuntos no solicitados’ en realidad nos aporta muy poco valor para entender la realidad actual en nuestra organización y mucho menos para plantear objetivos relacionados con nuestro programa de concientización.

¿De qué nos sirve saber el porcentaje promedio de aprobación de exámenes en nuestra industria?

Quizá algunas de las organizaciones con las que nos comparamos tienen una mayor cantidad de usuarios técnicos que encuentran sencillo aprobar exámenes de determinados tópicos. 

Además, el promedio de edad de los usuarios de muchas de esas organizaciones es de entre 35 años, por lo que sus usuarios tienen una relación cercana con la tecnología y son capaces de discernir de manera sencilla algunas situaciones. 

Si en nuestra organización la mayoría de los usuarios no tienen conocimientos técnicos y el promedio de edad es de 45 años, la realidad puede ser muy diferente. Y el hecho de tener un porcentaje menor de aprobados no significa que estemos haciendo las cosas mal.

 

¿Por qué queremos compararnos con otras organizaciones?

Según el análisis anterior el Benchmarking no es un parámetro útil o representativo para guiar nuestros planes de concientización y no nos sirve más que para satisfacer una curiosidad, acerca de cómo les está yendo a otros en sus campañas.

Frente a esto no está de más analizar por qué surge esta necesidad de compararnos con otros y ver de qué forma podemos satisfacerla mediante un enfoque mejor. 

Por lo general, la motivación de mirar un Benchmarking nace porque queremos conocer si estamos yendo por un buen camino con nuestro programa de concientización. Si estamos logrando resultados aceptables, o si debemos realizar ajustes.

Y el tema principal a tener en cuenta es que no deberíamos plantear nuestros objetivos y metas mirando a otros. La recomendación de mi parte es la siguiente:

Midamos el nivel de exposición que nuestra organización tiene frente a la ingeniería social utilizando los métodos que tengamos disponibles:

• Simulaciones de Phishing
• Simulaciones de Smishing
• Simulaciones de Ransomware
• Simulaciones de USB drop
• Exámenes
• Encuestas

Hagamos un análisis de los resultados y determinemos nuestra línea base. 

Aquí podemos ir un paso más allá y no quedarnos con el número o el porcentaje en sí que resulta de nuestra medida. En lugar de dejar asentado que ‘el 25% de nuestros usuarios hacen clic en enlaces de Phishing’, demos un paso más y pensemos en las implicancias que esto tiene en nuestra organización.

Basta con pensar en las consecuencias de esta medición y darle una mirada más gerencial: ¿Qué implica para nuestra organización que estos clics ocurran en un incidente real? ¿Cuáles son los costos a los que vamos a incurrir? ¿qué valor tiene la información que puede verse comprometida?, etc.

Esta mirada, aplicada a todos los indicadores que podemos obtener de nuestras mediciones, nos va a permitir expresar el nivel de riesgo actual utilizando escalas cuantitativas (favorablemente en dinero) y cualitativas.

A partir de esta línea base podemos plantear en nuestra organización en particular cuál es el nivel de riesgo que sería aceptable, y trabajar internamente para llegar allí.

Este nivel de riesgo va a ser exclusivo de nuestra organización, no debería depender de lo que hagan los demás.

Las acciones de concientización de nuestra organización son las que llevarán el nivel de riesgo actual al nivel deseado, y a partir de allí podremos realizar acciones para mantenerlo en el tiempo o mejorarlo aún más, a través de un proceso de mejora continua.

 

Ideas finales

Frente a la duda acerca de qué tan bien está nuestra organización en términos de la capa humana, poco puede aportarnos una comparación con el resto.

Las variables que influyen en la respuesta son muchas, y el número que arroja un Benchmarking termina siendo muy difícil de interpretar.

La mejor manera de guiar nuestros planes de concientización no es mirar a otros, sino realizar nuestras propias mediciones y establecer nuestros propios objetivos y metas, teniendo en cuenta nuestra propia realidad organizacional.