Desarrollo de Python
  1. Desarrollo de Python
  3. ¿Es posible dividir una red en varias GPU en tensorflow?
Intereting Posts
¿Son posibles las variables de clase estática? Encuentra el final del mes Pandas DataFrame Series Deencoding de cadenas de caracteres en chino tradicional codificadas desconocidas utilizando Python Python Tkinter clase de marco de desplazamiento? ¿Cómo puedo listar el contenido de un directorio en Python? Leyendo / escribiendo archivos de MS Word en Python La forma más pythonica de construir un diccionario a partir de una sola lista Pyinstaller y Pycrypto ¿Cómo volver a migrar desde la migración inicial en Django 1.7? Interfaz de administración de Django: usando horizontal_filter con el campo en línea ManyToMany Compruebe si una cadena contiene la fecha o la marca de tiempo en python Spyder – python – instala paquetes externos Sondeo del teclado (detectar una pulsación de tecla) en python ¿Cómo cambiar el formato de fecha y hora en el dataframe con el uso de pandas? convertir imagen a byte literal en python

¿Es posible dividir una red en varias GPU en tensorflow?

Planeo ejecutar una red recurrente muy grande (por ejemplo, 2048×5), ¿es posible definir una capa en una GPU en tensorflow? ¿Cómo debo implementar el modelo para lograr la mejor eficiencia? Entiendo que hay una sobrecarga para la comunicación entre GPU o GPU-CPU-GPU.

La división de un modelo grande en múltiples GPU es ciertamente posible en TensorFlow, pero hacerlo de manera óptima es un problema de investigación difícil. En general, deberá hacer lo siguiente:

  1. Envuelva grandes regiones contiguas de su código en un with tf.device(...): nombrando las diferentes GPU: 

     with tf.device("/gpu:0"): # Define first layer. with tf.device("/gpu:1"): # Define second layer. # Define other layers, etc.

  2. Al crear su optimizador, pase el argumento opcional colocate_gradients_with_ops=True al método optimizer.minimize() : 

     loss = ... optimizer = tf.train.AdaGradOptimizer(0.01) train_op = optimizer.minimize(loss, colocate_gradients_with_ops=True)

  3. (Opcionalmente.) Es posible que deba habilitar la “colocación suave” en tf.ConfigProto cuando cree su tf.Session , si alguna de las operaciones en su modelo no puede ejecutarse en la GPU: 

     config = tf.ConfigProto(allow_soft_placement=True) sess = tf.Session(config=config)