Cómo funciona el paso de mensajes en el aprendizaje automático parte 3

Autor: Arthur Kosmala, Johannes Gasteiger, Nicholas Gao, Stephan Günnemann

Resumen: Las arquitecturas neuronales que aprenden superficies de energía potencial a partir de datos moleculares han experimentado una rápida mejora en los últimos años. Un impulsor clave de este éxito es el paradigma de la red neuronal de paso de mensajes (MPNN). Su escalado favorable con el tamaño del sistema se basa en parte en un límite de distancia espacial en los mensajes. Si bien este enfoque en la localidad es un sesgo inductivo útil, también impide el aprendizaje de interacciones de largo alcance, como la electrostática y las fuerzas de van der Waals. Para abordar este inconveniente, proponemos el paso de mensajes de Ewald: un esquema de espacio de Fourier no local que limita las interacciones a través de un corte en la frecuencia en lugar de la distancia, y está teóricamente bien fundamentado en el método de suma de Ewald. Puede servir como un aumento sobre las arquitecturas MPNN existentes, ya que es computacionalmente económico y agnóstico a otros detalles arquitectónicos. Probamos el enfoque con cuatro modelos de referencia y dos conjuntos de datos que contienen diversas estructuras periódicas (OC20) y aperiódicas (OE62). Observamos mejoras sólidas en los errores absolutos de media de energía en todos los modelos y conjuntos de datos, con un promedio del 10 % en OC20 y del 16 % en OE62. Nuestro análisis muestra un impacto descomunal de estas mejoras en estructuras con contribuciones de largo alcance a la energía de la verdad del terreno.

2. Una perspectiva de transmisión de mensajes sobre la dinámica de aprendizaje del aprendizaje contrastivo (arXiv)

Autor: Yifei Wang, Qi Zhang, Tianqi Du, Jiansheng Yang, Zhouchen Lin, Yisen Wang

Abstracto :