Articles of backpropagation

El algoritmo de propagación hacia atrás de la neural network no funciona en Python

Estoy escribiendo una neural network en Python, siguiendo el ejemplo aquí . Parece que el algoritmo de propagación hacia atrás no está funcionando, dado que la neural network no puede producir el valor correcto (dentro de un margen de error) después de haber sido entrenado 10 mil veces. Específicamente, lo estoy entrenando para calcular la […]

XOR neural network no aprende

Estoy tratando de resolver el problema no lineal muy simple. Es la puerta XOR . Mi conocimiento de la escuela. XOR se puede resolver utilizando 2 nodos de entrada, 2 nodos de capa oculta. Y 1 salida. Es un problema de clasificación binaria. Genero los 1000 números enteros aleatorios, es 0 o 1 y luego […]

numpy: calcula la derivada de la función softmax

Estoy tratando de entender la MNIST en una neural network simple de 3 capas con MNIST . Hay la capa de entrada con weights y un bias . Las tags son MNIST por lo que es un vector de 10 clases. La segunda capa es una linear tranform . La tercera capa es la softmax […]

Diferencia en el rendimiento entre numpy y matlab.

Estoy calculando el algoritmo de propagación hacia atrás para un autoencoder disperso. Lo he implementado en python usando numpy y en matlab . El código es casi el mismo, pero el rendimiento es muy diferente. El tiempo que toma matlab para completar la tarea es de 0.252454 segundos, mientras que el número 0.973672151566 es casi […]

Pytorch: ¿Cómo crear una regla de actualización que no provenga de derivados?

Quiero implementar el siguiente algoritmo, tomado de este libro, sección 13.6 : No entiendo cómo implementar la regla de actualización en pytorch (la regla para w es bastante similar a la de theta). Por lo que sé, la antorcha requiere una pérdida por pérdida. loss.backwward() . Esta forma no parece aplicar para el algoritmo entre […]