usando relu fugas en Tensorflow

¿Cómo puedo cambiar G_h1 = tf.nn.relu(tf.matmul(z, G_W1) + G_b1) a G_h1 = tf.nn.relu(tf.matmul(z, G_W1) + G_b1) fugas? He intentado hacer un bucle sobre el tensor usando max(value, 0,01*value) pero obtengo TypeError: Using a tf.Tensor as a Python bool is not allowed.

También intenté encontrar el código fuente en relu en Github de Tensorflow para poder modificarlo a relu con fugas pero no pude encontrarlo.

Podrías escribir uno basado en tf.relu , algo como:

 def lrelu(x, alpha): return tf.nn.relu(x) - alpha * tf.nn.relu(-x) 

EDITAR

Tensorflow 1.4 ahora tiene un tf.nn.leaky_relu nativo.

Si alfa <1 (debería ser), puedes usar tf.maximum(x, alpha * x)

Se ha incluido una función relu con fugas en la versión 1.4.0-rc1 como tf.nn.leaky_relu .

Página de documentación: https://www.tensorflow.org/versions/master/api_docs/python/tf/nn/leaky_relu .