Trabajar con codificadores automáticos variacionales, parte 2 (aprendizaje automático)

Autor: Yijia Zheng, Tong He, Yixuan Qiu, David Wipf

Resumen: Aunque el codificador automático variacional (VAE) y su extensión condicional (CVAE) son capaces de obtener resultados de última generación en múltiples dominios, su comportamiento preciso aún no se comprende completamente, particularmente en el contexto de datos (como imágenes) que se encuentran en o cerca de una variedad de baja dimensión. Por ejemplo, aunque trabajos anteriores sugirieron que la solución VAE globalmente óptima puede aprender la dimensión múltiple correcta, una condición necesaria (pero no suficiente) para producir muestras a partir de la distribución real de datos, esto nunca se ha probado rigurosamente. Además, no está claro cómo cambiarían tales consideraciones cuando se introduzcan varios tipos de variables condicionantes, o cuando el soporte de datos se extienda a una unión de variedades (p. ej., como probablemente sea el caso de los dígitos MNIST y relacionados). En este trabajo, abordamos estos puntos demostrando primero que los mínimos globales VAE son capaces de recuperar la dimensión múltiple correcta. Luego, extendemos este resultado a CVAE más generales, demostrando escenarios prácticos en los que las variables condicionantes permiten que el modelo aprenda de forma adaptativa múltiples de diferentes dimensiones entre muestras. Nuestros análisis, que tienen implicaciones prácticas para varias opciones de diseño CVAE, también están respaldados por resultados numéricos en conjuntos de datos sintéticos y del mundo real.

2. Autocodificador variacional generativo causalmente desenredado (arXiv)

Autor: SeungHwan An, Kyungwoo Song, Jong-June Jeon

Resumen: Proponemos un nuevo método de aprendizaje supervisado para el Autocodificador variacional (VAE) que tiene una representación causalmente desenredada y logra la generación causalmente desenredada (CDG) simultáneamente. En este artículo, CDG se define como un modelo generativo capaz de decodificar una salida precisamente de acuerdo con la representación causalmente desenredada. Encontramos que la regularización supervisada del codificador no es suficiente para obtener un modelo generativo con CDG. En consecuencia, exploramos las condiciones suficientes y necesarias para que el decodificador y el efecto causal logren CDG. Además, proponemos una métrica generalizada que mide cómo un modelo se desenreda causalmente generativo. Los resultados numéricos con la imagen y los conjuntos de datos tabulares corroboran nuestros argumentos