Los algoritmos de ‘aprendizaje automático minimalista’ analizan imágenes a partir de muy pocos datos
Los matemáticos del Laboratorio Nacional Lawrence Berkeley del Departamento de Energía (Berkeley Lab) han desarrollado un nuevo enfoque para el aprendizaje automático dirigido a datos de imágenes experimentales. En lugar de depender de las decenas o cientos de miles de imágenes utilizadas por los métodos típicos de aprendizaje automático, este nuevo enfoque “aprende” mucho más rápido y requiere muchas menos imágenes.
Dani毛l Pelt y James Sethian del Centro de Matemáticas Avanzadas para Aplicaciones de Investigación Energética (CAMERA) de Berkeley Lab cambiaron la perspectiva habitual del aprendizaje automático al desarrollar lo que ellos llaman una “Red Neural de Convolución Densa de Escala Mixta (MS-D)”. que requiere muchos menos parámetros que los métodos tradicionales, converge rápidamente y tiene la capacidad de “aprender” de un conjunto de entrenamiento notablemente pequeño. Su enfoque ya se está utilizando para extraer estructuras biológicas de imágenes de células y está preparado para proporcionar una nueva herramienta computacional importante para analizar datos en una amplia gama de áreas de investigación.
A medida que las instalaciones experimentales generan imágenes de mayor resolución a velocidades más altas, los científicos pueden tener dificultades para administrar y analizar los datos resultantes, lo que a menudo se realiza minuciosamente a mano. En 2014, Sethian estableció CAMERA en Berkeley Lab como un centro integrado e interdisciplinario para desarrollar y ofrecer nuevas matemáticas fundamentales necesarias para capitalizar las investigaciones experimentales en las instalaciones de usuarios de la Oficina de Ciencias del DOE. CAMERA es parte de la División de Investigación Computacional del laboratorio.
“En muchas aplicaciones científicas, se requiere un tremendo trabajo manual para anotar y etiquetar imágenes; puede tomar semanas producir un puñado de imágenes cuidadosamente delineadas”, dijo Sethian, quien también es profesor de matemáticas en la Universidad de California, Berkeley. “Nuestro objetivo era desarrollar una técnica que aprenda de un conjunto de datos muy pequeño”.
Los detalles del algoritmo se publicaron el 26 de diciembre de 2017 en un artículo en el procedimientos de la Academia Nacional de Ciencias.
“El avance fue el resultado de darnos cuenta de que la reducción y el aumento de escala habituales que capturan características en varias escalas de imagen podrían reemplazarse por circunvoluciones matemáticas que manejan múltiples escalas dentro de una sola capa”, dijo Pelt, quien también es miembro del Grupo de imágenes computacionales en Centrum. Wiskunde & Informatica, el instituto nacional de investigación de matemáticas e informática de los Países Bajos.
Para hacer que el algoritmo sea accesible para un amplio conjunto de investigadores, un equipo de Berkeley dirigido por Olivia Jain y Simon Mo construyó un portal web “Segmenting Labeled Image Data Engine (SlideCAM)” como parte del conjunto de herramientas CAMERA para las instalaciones experimentales del DOE.
Una aplicación prometedora es comprender la estructura interna de las células biológicas y un proyecto en el que el método MS-D de Pelt y Sethian solo necesitaba datos de siete células para determinar la estructura celular.
“En nuestro laboratorio, estamos trabajando para comprender cómo la estructura celular y la morfología influyen o controlan el comportamiento celular. Pasamos incontables horas segmentando células a mano para extraer la estructura e identificar, por ejemplo, las diferencias entre las células sanas y las enfermas”. dijo Carolyn Larabell, directora del Centro Nacional de Tomografía de Rayos X y profesora de la Facultad de Medicina de la Universidad de California en San Francisco. “Este nuevo enfoque tiene el potencial de transformar radicalmente nuestra capacidad para comprender las enfermedades y es una herramienta clave en nuestro nuevo proyecto patrocinado por Chan-Zuckerberg para establecer un Human Cell Atlas, una colaboración global para mapear y caracterizar todas las células en un ser humano sano. cuerpo.”
Obtener más ciencia con menos datos
Las imágenes están en todas partes. Los teléfonos inteligentes y los sensores han producido un tesoro de imágenes, muchas etiquetadas con información pertinente que identifica el contenido. El uso de esta vasta base de datos de imágenes con referencias cruzadas, las redes neuronales convolucionales y otros métodos de aprendizaje automático han revolucionado nuestra capacidad para identificar rápidamente imágenes naturales que se parecen a las vistas y catalogadas previamente.
Estos métodos “aprenden” ajustando un conjunto asombrosamente grande de parámetros internos ocultos, guiados por millones de imágenes etiquetadas y que requieren grandes cantidades de tiempo de supercomputadora. Pero, ¿y si no tienes tantas imágenes etiquetadas? En muchos campos, una base de datos de este tipo es un lujo inalcanzable. Los biólogos registran las imágenes de las células y delinean minuciosamente los bordes y la estructura a mano: no es raro que una persona dedique semanas a obtener una sola imagen completamente tridimensional. Los científicos de materiales utilizan la reconstrucción tomográfica para mirar dentro de rocas y materiales, y luego se arremangan para etiquetar diferentes regiones, identificando grietas, fracturas y vacíos a mano. Los contrastes entre estructuras diferentes pero importantes suelen ser muy pequeños y el “ruido” en los datos puede enmascarar características y confundir a los mejores algoritmos (y humanos).
Estas preciosas imágenes seleccionadas a mano no son lo suficientemente cercanas para los métodos tradicionales de aprendizaje automático. Para enfrentar este desafío, los matemáticos de CAMERA atacaron el problema del aprendizaje automático a partir de cantidades muy limitadas de datos. Tratando de hacer “más con menos”, su objetivo era descubrir cómo construir un conjunto eficiente de “operadores” matemáticos que pudieran reducir en gran medida la cantidad de parámetros. Estos operadores matemáticos podrían incorporar naturalmente restricciones clave para ayudar en la identificación, como incluir requisitos sobre formas y patrones científicamente plausibles.
Redes neuronales de convolución densa de escala mixta
Muchas aplicaciones de aprendizaje automático a problemas de imágenes utilizan redes neuronales convolucionales profundas (DCNN), en las que la imagen de entrada y las imágenes intermedias se convolucionan en una gran cantidad de capas sucesivas, lo que permite que la red aprenda características altamente no lineales. Para lograr resultados precisos para problemas difíciles de procesamiento de imágenes, las DCNN generalmente se basan en combinaciones de operaciones y conexiones adicionales que incluyen, por ejemplo, operaciones de reducción y mejora de escala para capturar características en varias escalas de imagen. Para entrenar redes más profundas y potentes, a menudo se requieren tipos de capas y conexiones adicionales. Por último, las DCNN suelen utilizar una gran cantidad de imágenes intermedias y parámetros entrenables, a menudo más de 100 millones, para lograr resultados en problemas difíciles.
En cambio, la nueva arquitectura de red “Mixed-Scale Dense” evita muchas de estas complicaciones y calcula las circunvoluciones dilatadas como un sustituto de las operaciones de escala para capturar características en varios rangos espaciales, empleando múltiples escalas dentro de una sola capa y conectando densamente todas las imágenes intermedias. El nuevo algoritmo logra resultados precisos con pocas imágenes y parámetros intermedios, lo que elimina la necesidad de ajustar hiperparámetros y capas o conexiones adicionales para permitir el entrenamiento.
Obtener ciencia de alta resolución a partir de datos de baja resolución
Un desafío diferente es producir imágenes de alta resolución a partir de entradas de baja resolución. Como cualquiera que haya intentado ampliar una foto pequeña y se haya dado cuenta de que solo empeora a medida que crece, esto suena casi imposible. Pero un pequeño conjunto de imágenes de entrenamiento procesadas con una red densa de escala mixta puede proporcionar un avance real. Como ejemplo, imagine tratar de eliminar el ruido de las reconstrucciones tomográficas de un material minicompuesto reforzado con fibra. En un experimento descrito en el documento, las imágenes se reconstruyeron utilizando 1024 proyecciones de rayos X adquiridas para obtener imágenes con cantidades relativamente bajas de ruido. Luego se obtuvieron imágenes ruidosas del mismo objeto reconstruyéndolas usando 128 proyecciones. Las entradas de entrenamiento fueron imágenes ruidosas, con las imágenes sin ruido correspondientes utilizadas como salida de destino durante el entrenamiento. Luego, la red entrenada pudo tomar de manera efectiva datos de entrada con ruido y reconstruir imágenes de mayor resolución.
Nuevas aplicaciones
Pelt y Sethian están llevando su enfoque a una serie de nuevas áreas, como el análisis rápido en tiempo real de las imágenes que provienen de las fuentes de luz de sincrotrón y los problemas de reconstrucción en la reconstrucción biológica, como las células y el mapeo cerebral.
“Estos nuevos enfoques son realmente emocionantes, ya que permitirán la aplicación del aprendizaje automático a una variedad mucho mayor de problemas de imágenes de lo que es posible actualmente”, dijo Pelt. “Al reducir la cantidad de imágenes de entrenamiento requeridas y aumentar el tamaño de las imágenes que se pueden procesar, la nueva arquitectura se puede usar para responder preguntas importantes en muchos campos de investigación”.
