Seguridad en Machine Learning Parte 4

En este artículo analizaremos más de cerca el uso de Inteligencia Artificial y Machine Learning en varios casos de uso relacionados con la seguridad. Cubriremos no solo la ciberseguridad sino también algunos escenarios de seguridad generales y cómo las soluciones basadas en Inteligencia Artificial y Machine Learning se están volviendo cada vez más frecuentes en todas estas áreas.

Hacia el final, también exploraremos formas en que los atacantes pueden eludir estas técnicas de seguridad.

Así que comencemos con algunas áreas interesantes donde las características de seguridad se benefician de Inteligencia Artificial y Machine Learning.

Monitoreo y respuesta

Cuándo Consideramos la ciberseguridad, una de las áreas más comunes donde Inteligencia Artificial y Machine Learning recibe una mención es el problema de la ‘aguja en el pajar’ en la seguridad de un entorno a gran escala. Cuando se está mirando un gran ecosistema, es casi imposible para los humanos escalar en la tarea de descubrir los verdaderos positivos en un océano de ruido.

Durante años, hemos tratado de enfrentar este desafío haciendo heurísticas cada vez más sofisticadas que se basan en el filtrado basado en reglas para intentar dar a conocer posibles eventos sospechosos. Sin embargo, en última instancia, los enfoques basados ​​en reglas se limitan al universo de patrones conocidos o concebidos por los diseñadores de reglas.

Es decir, cualquier enfoque basado en reglas solo puede descubrir problemas del espacio finito cubierto por las reglas. Por último, de vez en cuando, cuando un sistema basado en reglas hace una posible actividad sospechosa, en un contexto de centro de operaciones de seguridad (SOC) tradicional todavía corremos el riesgo de perderlo debido a la fatiga humana.  La actividad sospechosa es mucho más difícil de identificar en sistemas grandes

¡Un sistema basado en Machine Learning puede abordar las tres preocupaciones anteriores sin romper el sudor! Es decir, puede escalar a miles de millones de eventos provenientes de sensores dispares en varias capas, puede “reconocer” patrones de ataque nuevos, hasta ahora invisibles, y puede emitir juicios correctos en todo momento, a diferencia del fatigado ingeniero de SOC.

Los sistemas basados ​​en Machine Learning tienen otras ventajas en el contexto de ataques de 0 días (cuando los enfoques basados ​​en firmas simplemente no pueden funcionar) y en el contexto de amenazas persistentes avanzadas (APT) donde los atacantes progresan de manera subrepticia durante períodos prolongados y con intentos explícitos de mantenerse por debajo del umbral que podría generar alertas.

Fraude en línea – financiero y de otro tipo

Otro dominio interesante donde las características de seguridad en Machine Learning han marcado son las áreas de detección y prevención de fraude. Aquí, también, los enfoques anteriores han sido “basados ​​en reglas” y han planteado sus propios tipos de desafíos.

Por ejemplo, las empresas que han utilizado técnicas tradicionales han descubierto que pierden más debido a los “falsos positivos” (se rechazan las transacciones de buenos clientes) que el dinero ahorrado de los “verdaderos positivos” (casos reales de fraude) señalados por el sistema.

Como resultado, una tasa más baja de “falsos positivos” es verdaderamente importante para ellos. En este contexto, las técnicas basadas en Inteligencia Artificial y Machine Learning se han mostrado prometedoras con métricas de “precisión” y “recuperación” mucho mejores, sin mencionar que son capaces de detectar anomalías no vistas previamente.

Minimizar los falsos positivos es fundamental en las técnicas de detección de fraudes

Existen muchas otras áreas de detección de fraude además del fraude financiero en las que se han empleado técnicas basadas en Machine Learning. Por ejemplo, el campo de la estilometría emplea técnicas basadas en Machine Learning para identificar el fraude de autoría en la escritura y la música (o incluso en la identificación de autores de malware basados ​​en el análisis de los estilos de codificación).

Autenticación avanzada

Tradicionalmente, la autenticación del usuario ha sido una única verificación de tipo “talla única” en el punto de entrada de los sistemas. Después de la prevalencia de ataques basados ​​en la web como Cross-site Request Forgery (CSRF), algunos de los escenarios más delicados se han protegido con un desafío adicional (la OTP demasiado familiar) cuando el usuario está a punto de realizar una tarea más privilegiada. operación (por ejemplo, transferir dinero en lugar de solo buscar saldos de cuentas). Sin embargo, estos son en su mayoría enfoques estáticos para una autenticación más fuerte. Con Inteligencia Artificial y Machine Learning entrando al juego, el campo de juego cambiará para mejor y significativamente.

Hace solo unos años, en un escenario de banca en línea, un banco no podía hacer ninguna suposición más allá del El hecho de que la persona en el otro extremo del cable conocía una contraseña (y si era su contraseña debe ser usted !).

Con el advenimiento de la ‘biometría multimodal’ (uso de más de una categoría de biométrica) y la ‘biometría del comportamiento’ (características como el reconocimiento de individuos por sus patrones de escritura o movimiento del mouse), el nivel de confianza de la autenticación está empezando a cambiar para el

Además, reforzada por Inteligencia Artificial y Machine Learning, la autenticación está configurada para ser verdaderamente “adaptativa” en la naturaleza, en el sentido de que el sistema puede hacer una determinación basada en una horda de señales y condiciones ambientales (sobre el usuario , el dispositivo que se está utilizando, la ubicación geográfica, los indicadores de la capa de red, la hora del día, la naturaleza de la actividad, etc.) en cuanto a qué factores emplear para desafiar a un individuo en cualquier etapa durante una serie de interacciones. Es probable que estos mecanismos de autenticación adaptativa se conviertan en la norma en la mayoría de los sistemas en línea en el futuro.

Control de pasajeros

Los controles de seguridad en los aeropuertos se han vuelto cada vez más estrictos con los años. Las colas que se mueven lentamente y el dolor de tener que voltear su bolsa de aparatos de adentro hacia afuera (y luego empacar todo de nuevo) se sienten de manera uniforme por todos en todas partes … y eso ni siquiera se está involucrando en temas delicados como la invasión de la privacidad y la creación de perfiles .

Todo esto probablemente cambiará para mejor pronto. Los sistemas de reconocimiento facial (FRS) basados ​​en Inteligencia Artificial y Machine Learning se han vuelto viables para la implementación a escala junto con combinaciones prácticas con otros atributos de identificación, como el estilo de andar de alguien (análisis de la marcha).

También se está realizando un gran esfuerzo para obtener un reconocimiento superior de los objetos sospechosos de las exploraciones de rayos X en vivo. Por ejemplo, durante 2017, TSA patrocinó una competencia mundial entre científicos de datos para ayudar a mejorar la precisión de la predicción en sus sistemas de detección de pasajeros con 1.5 millones de dólares de dinero de precio.

Dado todo esto, no podemos aléjese de una visión cuando, para tomar un vuelo, solo tiene que entrar en el aeropuerto, caminar directamente hacia la puerta de embarque, subir al avión y tomar asiento por su número de asiento. ¿No sería eso una utopía para los viajeros frecuentes (y de otra manera)?

Vigilancia a gran escala

Mientras que en el tema del reconocimiento facial y la seguridad física, hay muchos escenarios interesantes habilitados en las áreas de vigilancia y seguridad de multitudes.

Los sistemas de vigilancia de multitudes ahora pueden reconocer y rastrear a las personas en una muchedumbre sustancialmente grande, lo que puede ser útil para vigilar y vigilar a los posibles alborotadores. Incluso cuando los posibles alborotadores no se conocen previamente, se puede usar un comportamiento anómalo entre la multitud para orientar mejor la vigilancia.

En escenarios de vigilancia en los que el área a cubrir es desproporcionadamente grande, se basa en Inteligencia Artificial y Machine Learning las técnicas brillan de manera similar a como lo hacen en los escenarios SOC de ciberseguridad: pueden identificar anomalías en una avalancha de flujos entrantes y es poco probable que se pierdan algo debido a la fatiga.

¿Cuán infalibles son estas nuevas capacidades?

Encontrar defectos y debilidades en las características de seguridad siempre ha sido un área importante de interés para los atacantes. Naturalmente, la misma historia se está desarrollando en el contexto de muchas de las características de seguridad en Machine Learning que mencionamos anteriormente.

Por ejemplo, se ha demostrado que los sistemas de reconocimiento facial (FRS) son susceptibles de modificaciones ingeniosamente diseñadas para La cara de una persona. Los investigadores han demostrado algunos resultados sorprendentes con esto.

En este papel intrigante, los autores muestran que al usar gafas personalizadas (vea la imagen a continuación del papel), podrían hacerse pasar por una persona objetivo que se ve totalmente diferente y engañar a los FRS de última generación.

Esto es una especie de inverso del problema que vimos en la parte 3 antes cuando consideramos el ejemplo de una señal de PARADA con modificaciones sutiles. En ese caso, observamos cómo un humano nunca confundiría una señal de PARADA con graffiti como cualquier otra cosa que una señal de PARADA, sin embargo, una máquina lo interpreta como algo totalmente diferente.

Por el contrario, en el ataque que se muestra a continuación, no hay forma de que un humano pueda confundir a la persona en la parte superior con la de la parte inferior.

Sin embargo, el sistema FRS se convence fácilmente de que lo es. Sin embargo, la técnica subyacente para ambos ataques es similar. Los anteojos impresos a medida sirven para alterar (o agregar perturbaciones) a la matriz de entrada de manera tal que el resto de los cálculos arroje una conclusión totalmente diferente en cuanto a quién es la persona.

Ataques similares funcionan en sistemas de autenticación basados ​​en voz también. En ese caso, las muestras de voz se combinan o se emplean técnicas de transformación de voz para engañar más allá de la tecnología de reconocimiento de voz.

Además, se ha demostrado que solo los fonemas son suficientes para elaborar muestras de ataques. Es decir, en lugar de esperar a que te registre a escondidas diciendo ‘ Hey, Siri ‘ incluso si un atacante pudiera oírte decir palabras individuales ‘ hem’ ‘ sit’ ‘ rim’ los fonemas desde allí se pueden combinar para formar ‘ Hey, Siri ‘! Ahora piense en cuántas maneras diferentes de recopilación de muestras de su voz podría ser el objetivo de un ataque de suplantación de voz.

¡La seguridad en Machine Learning sigue siendo un problema de diseño del sistema!

A veces, los atacantes pueden superar una función de seguridad en Machine Learning al no tener que derrotar específicamente los componentes de Inteligencia Artificial y Machine Learning del sistema. Aquí hay un muy buen ejemplo:

En un ingenioso ataque llamado Dolphin Attack los investigadores pudieron enviar comandos “inaudibles” a casi todos los asistentes personales (Alexa, Siri, etc.) para hacer varias cosas desde ‘ abra la puerta trasera ‘ o ‘ solicite este artículo ‘. El ataque implica generar sonidos por encima del rango audible para los humanos y luego resolverlos para que los asistentes personales los “escuchen” (de ahí el nombre de ataque ‘Dolphin’).

Los delfines se comunican en frecuencias por encima del rango audible humano. Se utiliza un par de observaciones inteligentes para elaborar el ataque real. Primero, los micrófonos en los dispositivos de asistente personal generalmente generan ‘armónicos’ en respuesta a una señal de sonido y, segundo, que los dispositivos electrónicos descendentes en estos dispositivos están diseñados para filtrar o ignorar las frecuencias por encima del rango audible humano (bajo el supuesto de que los humanos esperan que hacer el mando).

Por lo tanto, el ataque modula los comandos de frecuencia humana (‘ h ‘) sobre una señal portadora de un tono inaudible (‘ c ‘) dando como resultado una señal combinada (inaudible para los humanos) (‘ c + h ‘). Cuando el micrófono en el dispositivo recibe esta señal, genera armónicos (que son varios múltiplos / combinaciones de las frecuencias componentes en la señal original, es decir, 2 * (c + h) 2 * c + h ch etc.).

¿Y adivina qué? ¡Uno de los armónicos generados pasa a ser ‘ h ‘! Ahora, con el filtro de paso bajo que se ocupa de eliminar todo lo que un ser humano no pudo haber generado (o no puede escuchar) lo que se registra en la corriente (más profundo en el dispositivo) es solo “ h “. Es decir, ¡el sistema responde como si escuchara las órdenes del propietario!

Este ataque sirve como un excelente recordatorio de que, al final, la seguridad es un problema del diseño del sistema . La simple integración de una función de seguridad en Machine Learning puede no hacer que un sistema sea más seguro.

Es probable que los atacantes busquen en todas partes y, para aumentar realmente el nivel de seguridad, los diseñadores deben pensar de principio a fin y asegurarse de que no solo la nueva función esté bien integrada, sino que los mecanismos de soporte están diseñados desde cero con la seguridad en mente.

Por lo tanto, esa característica de seguridad en Machine Learning prometedora puede no ser el enlace más débil de su sistema. ¿Pero a los atacantes les importa?

¿Qué sigue?

Comenzamos esta parte con una mirada a las áreas donde Inteligencia Artificial y Machine Learning se está utilizando para construir varios tipos de características de seguridad tanto en la ciberseguridad como en los dominios de seguridad física. También observamos cómo los ataques a estas características también se desarrollan mano a mano.

En la siguiente parte de la serie, veremos cómo los atacantes pueden beneficiarse mediante el uso de técnicas de Inteligencia Artificial y Machine Learning para varios tipos de ataques y cómo las posibles formas en que los atacantes pueden “armar” la IA ofrece algunas posibilidades aterradoras.