Desarrollo de Python
  1. Desarrollo de Python
  3. ¿Es posible dividir una red en varias GPU en tensorflow?
Intereting Posts
Python: ¿Cómo cargar un módulo dos veces? ¿Cómo utilizar la herencia de plantillas con Chameleon? Video y operatividad del chat de voz en Python No se puede iniciar un progtwig interactivo mientras se canaliza a un script en Python ¿Cómo puedo convertir todos los archivos JPG de una carpeta a PDF y combinarlos? Tornado – Variable global de Python ¿Cómo puedo saber si un generador se acaba de iniciar? ¿Cómo entender el símbolo de signo igual ‘=’ en el texto del correo electrónico IMAP? SMTPAuthenticationError al enviar correo usando gmail y python Cómo usar Python Mock para generar una excepción, pero con Errno establecido en un valor determinado Python C #: el carácter Unicode no es el mismo en Python y C # Corrector ortográfico Python usando un trie Insights on SystemError: com_backpatch: desplazamiento demasiado grande Pandas – Strip espacio en blanco Cómo trazar datos con Python desde un archivo de texto

¿Es posible dividir una red en varias GPU en tensorflow?

Planeo ejecutar una red recurrente muy grande (por ejemplo, 2048×5), ¿es posible definir una capa en una GPU en tensorflow? ¿Cómo debo implementar el modelo para lograr la mejor eficiencia? Entiendo que hay una sobrecarga para la comunicación entre GPU o GPU-CPU-GPU.

La división de un modelo grande en múltiples GPU es ciertamente posible en TensorFlow, pero hacerlo de manera óptima es un problema de investigación difícil. En general, deberá hacer lo siguiente:

  1. Envuelva grandes regiones contiguas de su código en un with tf.device(...): nombrando las diferentes GPU: 

     with tf.device("/gpu:0"): # Define first layer. with tf.device("/gpu:1"): # Define second layer. # Define other layers, etc.

  2. Al crear su optimizador, pase el argumento opcional colocate_gradients_with_ops=True al método optimizer.minimize() : 

     loss = ... optimizer = tf.train.AdaGradOptimizer(0.01) train_op = optimizer.minimize(loss, colocate_gradients_with_ops=True)

  3. (Opcionalmente.) Es posible que deba habilitar la “colocación suave” en tf.ConfigProto cuando cree su tf.Session , si alguna de las operaciones en su modelo no puede ejecutarse en la GPU: 

     config = tf.ConfigProto(allow_soft_placement=True) sess = tf.Session(config=config)