datos cifrados

El equipo optimiza las redes neuronales para ser más hábiles en la informática con datos cifrados

Crédito: Pixabay / CC0 Public Domain

Esta semana, en la 38a Conferencia Internacional sobre Aprendizaje Automático (ICML 21), los investigadores del Centro de Seguridad Cibernética de la NYU en la Escuela de Ingeniería Tandon de la Universidad de Nueva York están revelando nuevos conocimientos sobre las funciones básicas que impulsan la capacidad de las redes neuronales para hacer inferencias sobre datos cifrados.

En el artículo, “DeepReDuce: ReLU Reduction for Fast Private Inference”, el equipo se centra en los operadores lineales y no lineales, características clave de los marcos de redes neuronales que, según la operación, suponen un gran costo de tiempo y recursos computacionales. Cuando las redes neuronales computan sobre datos encriptados, muchos de estos costos son incurridos por la función de activación lineal rectificada (ReLU), una operación no lineal.

Brandon Reagen, profesor de ciencias e ingeniería informática e ingeniería eléctrica e informática y un equipo de colaboradores que incluye a Nandan Kumar Jha, un Ph.D. estudiante y Zahra Ghodsi, una ex estudiante de doctorado bajo la dirección de Siddharth Garg, desarrollaron un marco llamado DeepReDuce. Ofrece una solución mediante la reordenación y reducción de ReLU en redes neuronales.

Reagen explicó que este cambio requiere una reevaluación fundamental de dónde y cuántos componentes se distribuyen en los sistemas de redes neuronales.

“Lo que estamos tratando de hacer es repensar cómo se diseñan las redes neuronales en primer lugar”, explicó. “Puede omitir muchas de estas operaciones de ReLU, costosas desde el punto de vista computacional y de tiempo, y aún así obtener redes de alto rendimiento con un tiempo de ejecución de 2 a 4 veces más rápido”.

El equipo descubrió que, en comparación con el estado del arte para la inferencia privada, DeepReDuce mejoró la precisión y redujo el recuento de ReLU hasta en un 3.5% y 3.5 脳, respectivamente.

La investigación no es meramente académica. A medida que el uso de la IA crece junto con las preocupaciones sobre la seguridad de los datos personales, corporativos y gubernamentales, las redes neuronales realizan cada vez más cálculos sobre datos cifrados. En tales escenarios que involucran redes neuronales que generan inferencias privadas (PI) sobre datos ocultos sin revelar entradas, son las funciones no lineales las que ejercen el mayor “costo” en tiempo y energía. Debido a que estos costos aumentan la dificultad y el tiempo que necesitan las máquinas de aprendizaje para hacer PI, los investigadores han luchado por aligerar la carga que las ReLU ejercen en tales cálculos.

El trabajo del equipo se basa en una tecnología innovadora llamada CryptoNAS. Descrito en un artículo anterior cuyos autores incluyen a Ghodsi y un tercer Ph.D. El estudiante, Akshaj Veldanda, CryptoNAS optimiza el uso de ReLU como se podría reorganizar la disposición de las rocas en una corriente para optimizar el flujo de agua: reequilibra la distribución de ReLUS en la red y elimina los ReLU redundantes.

DeepReDuce amplía CryptoNAS optimizando aún más el proceso. Comprende un conjunto de optimizaciones para la eliminación juiciosa de ReLU después de las funciones de reorganización de CryptoNAS. Los investigadores probaron DeepReDuce usándolo para eliminar ReLU de las redes clásicas, y descubrieron que podían reducir significativamente la latencia de inferencia al tiempo que mantenían una alta precisión.

Reagan, con Mihalis Maniatakos, profesor asistente de investigación de ingeniería eléctrica e informática, también es parte de una colaboración con la empresa de seguridad de datos Duality para diseñar un nuevo microchip diseñado para manejar la computación en datos totalmente encriptados.


Similar Posts

Leave a Reply