Trabajar con codificadores automáticos variacionales parte 4 (aprendizaje automático)

Autor: Jacob H. Seidman, Georgios Kissas, George J. Pappas, Paris Perdikaris

Resumen: El aprendizaje no supervisado con datos funcionales es un paradigma emergente de la investigación del aprendizaje automático con aplicaciones a la visión por computadora, el modelado climático y los sistemas físicos. Una forma natural de modelar datos funcionales es aprendiendo operadores entre espacios dimensionales infinitos, lo que conduce a representaciones invariantes de discretización que escalan independientemente de la resolución de la cuadrícula de muestra. Aquí presentamos operadores neuronales de codificación automática variacional (VANO), una estrategia general para hacer que una gran clase de arquitecturas de aprendizaje de operadores actúen como codificadores automáticos variacionales. Para ello, aportamos una novedosa formulación matemática rigurosa del objetivo variacional en espacios funcionales para el entrenamiento. VANO primero asigna una función de entrada a una distribución sobre un espacio latente utilizando un codificador paramétrico y luego decodifica una muestra de la distribución latente para reconstruir la entrada, como en los codificadores automáticos variacionales clásicos. Probamos VANO con diferentes configuraciones de modelos y opciones de arquitectura para una variedad de puntos de referencia. Partimos de un campo aleatorio gaussiano simple donde podemos rastrear analíticamente lo que aprende el modelo y hacer una transición progresiva a puntos de referencia más desafiantes, incluido el modelado de separación de fases en sistemas Cahn-Hilliard y datos satelitales del mundo real para medir la deformación de la superficie de la Tierra.

2. Análisis del colapso posterior en codificadores automáticos variacionales jerárquicos (arXiv)

Autor: Anna Kuzina, Jakub M. Tomczak

WebGPT: mejora de la precisión fáctica de los modelos lingüísticos a través de la navegación web

Resumen: Los autocodificadores variacionales jerárquicos (VAEs) se encuentran entre los modelos generativos basados ​​en verosimilitud más populares. Más bien existe un consenso de que los VAE jerárquicos de arriba hacia abajo permiten aprender de manera efectiva estructuras latentes profundas y evitar problemas como el colapso posterior. Aquí, mostramos que no es necesariamente el caso y el problema del colapso de los posteriores persiste. Para desalentar el colapso posterior, proponemos un nuevo VAE jerárquico profundo con un codificador parcialmente fijo, específicamente, usamos la Transformada discreta del coseno para obtener las principales variables latentes. En una serie de experimentos, observamos que la modificación propuesta nos permite lograr una mejor utilización del espacio latente. Además, demostramos que el enfoque propuesto puede ser útil para la compresión y la robustez frente a los ataques de los adversarios.