DeepONet: un modelo basado en redes neuronales profundas para aproximar operadores lineales y no lineales

Se sabe que las redes neuronales artificiales son aproximadores altamente eficientes de funciones continuas, que son funciones sin cambios repentinos en los valores (es decir, discontinuidades, huecos o saltos en representaciones gráficas). Si bien muchos estudios han explorado el uso de redes neuronales para aproximar funciones continuas, hasta ahora rara vez se ha investigado su capacidad para aproximar operadores no lineales.

Investigadores de la Universidad de Brown desarrollaron recientemente DeepONet, un nuevo modelo basado en redes neuronales que puede aprender operadores lineales y no lineales. Este modelo computacional, presentado en un artículo publicado en Inteligencia de la máquina de la naturaleza, se inspiró en una serie de estudios anteriores llevados a cabo por un grupo de investigación de la Universidad de Fudan.

George Em Karniadakis, uno de los investigadores que llevó a cabo el estudio, dijo a TechXplore: “Hace unos cinco años, cuando estaba en clase enseñando cálculo variacional, me pregunté si una red neuronal puede aproximarse a un funcional (sabemos que se aproxima a una función ). Busqué y no encontré nada, hasta que un día me topé con un artículo de Chen & Chen publicado en 1993, donde los investigadores lograron una aproximación funcional utilizando una sola capa de neuronas. Finalmente, también leí otro artículo del mismo equipo sobre operador de regresión, que utilizamos como punto de partida para nuestro estudio. Desde entonces, el profesor T Chen se ha puesto en contacto conmigo por correo electrónico y me ha agradecido por descubrir sus artículos olvidados “.

Inspirado por los artículos de Chen y Chen en la Universidad de Fudan, Karniadakis decidió explorar la posibilidad de desarrollar una red neuronal que pudiera aproximarse tanto a operadores lineales como no lineales. Discutió esta idea con uno de sus Ph.D. estudiantes, Lu Lu, que comenzó a desarrollar DeepONet.

En contraste con las redes neuronales convencionales, que se aproximan a las funciones, DeepONet se aproxima tanto a operadores lineales como no lineales. El modelo comprende dos redes neuronales profundas: una red que codifica el espacio de función de entrada discreta (es decir, red de rama) y otra que codifica el dominio de las funciones de salida (es decir, red troncal). Esencialmente, DeepONet toma funciones como entradas, que son objetos de dimensión infinita, y las asigna a otras funciones en el espacio de salida.

“Con las redes neuronales estándar, aproximamos funciones, que toman puntos de datos como puntos de datos de entrada y salida”, dijo Karniadakis. “Así que DeepOnet es una forma totalmente nueva de ver las redes neuronales, ya que sus redes pueden representar todos los operadores matemáticos conocidos, pero también ecuaciones diferenciales en un espacio de salida continuo”.

Una vez que aprende un operador determinado, DeepONet puede completar las operaciones y hacer predicciones más rápido que otras redes neuronales. En una serie de evaluaciones iniciales, Karniadakis y sus colegas encontraron que podía hacer predicciones en fracciones de segundo, incluso aquellas relacionadas con sistemas muy complejos.

“DeepONet puede ser extremadamente útil para vehículos autónomos, ya que puede hacer predicciones en tiempo real”, dijo Karniadakis. “También podría usarse como un bloque de construcción para simular gemelos digitales, sistemas de sistemas e incluso sistemas dinámicos sociales complejos. En otras palabras, las redes que desarrollamos pueden representar sistemas complejos de caja negra después de un entrenamiento intenso fuera de línea”.

Como parte de su estudio, los investigadores investigaron diferentes formulaciones del espacio de funciones de entrada de DeepONet y evaluaron el impacto de estas formulaciones en el error de generalización para 16 aplicaciones distintas. Sus hallazgos son muy prometedores, ya que su modelo podría adquirir implícitamente una variedad de operadores lineales y no lineales.

En el futuro, DeepONet podría tener una amplia gama de posibles aplicaciones. Por ejemplo, podría permitir el desarrollo de robots que puedan resolver problemas de cálculo o resolver ecuaciones diferenciales, así como vehículos autónomos más sensibles y sofisticados.

“Ahora estoy colaborando con laboratorios del Departamento de Energía y también con muchas industrias para aplicar DeepONet a aplicaciones complejas, por ejemplo, en hipersónica, en modelos climáticos como aplicaciones para modelar la fusión del hielo en la Antártida y en muchas aplicaciones de diseño”.