Estoy buscando utilizar el módulo de multiprocesamiento para acelerar el tiempo de ejecución de algunos modelos de planificación de transporte. He optimizado tanto como puedo a través de métodos “normales”, pero en el fondo de todo esto hay un problema absurdamente paralelo. Ej. Realice el mismo conjunto de operaciones matriciales cuatro, 4 conjuntos diferentes de […]
He modificado este script de otro script escrito por otro usuario en este sitio. Intento entenderlo lo mejor que puedo, pero tengo dificultades. Cuando bash romper un hash usando el juego de caracteres como tal vez solo letras minúsculas, funciona bien. Pero cuando trato de descifrar hash que tiene números y letras, no funcionará a […]
Tengo grandes matrices para multiplicar en gran número de iteraciones también. Estoy entrenando un modelo con una matriz de alrededor de 1500 y realizaré 3 multiplicaciones por aproximadamente 1000000 veces, lo que lleva mucho tiempo casi una semana. Encontré a Dask. Traté de compararlo con la forma normal de los números, pero encontré las palabras […]
Necesito ayuda porque lo intenté desde hace dos días, y no sé cómo puedo hacer esto. Tengo la función compute_desc que toma múltiples argumentos (5 para ser exactos) y me gustaría ejecutar esto en paralelo. Tengo esto por ahora: def compute_desc(coord, radius, coords, feat, verbose): # Compute here my descriptors return my_desc # numpy array […]
Estoy usando una manipulación de matrices tensoras dispersas que construí usando diccionarios y contadores en Python. Me gustaría hacer posible utilizar esta manipulación de matriz en paralelo. La conclusión es que he terminado teniendo contadores en cada nodo que me gustaría agregar juntos usando MPI.Allreduce (u otra solución agradable). Por ejemplo con Contadores se puede […]
Escribí un simple progtwig de cálculo monte-carlo π en Python, usando un módulo de multiprocesamiento. Funciona bien, pero cuando paso 1E + 10 iteraciones para cada trabajador, ocurre un problema y el resultado es incorrecto. ¡No puedo entender cuál es el problema, porque todo está bien en las iteraciones 1E + 9! import sys from […]
Tengo una matriz diagonal muy grande que necesito dividir para el cálculo paralelo. Debido a los problemas de la localidad de los datos, no tiene sentido recorrer la matriz y dividir cada n -ésimo cálculo entre n subprocesos. Actualmente, estoy dividiendo k x k matriz diagonal de la siguiente manera pero produce particiones desiguales en […]
Versiones: Python 3.5.1 Django 1.10 mysqlclient 1.3.10 mysql 5.7.18-0ubuntu0.16.04.1 (Ubuntu) Linux Mint 18.1 Tengo un gran proyecto de Django donde hay una secuencia de comandos de configuración que agrega un montón de contenido a la base de datos desde algunos archivos csv. De vez en cuando, necesito restablecer todo y volver a agregar todo de […]
Quiero sincronizar todos mis directorios vcs en paralelo. Voy al directorio y ejecuto scripts de línea de comandos especiales para sincronizar git o repositorys mercuriales. Es un proceso lento, así que quiero intentar que sea paralelo. Pero hay problemas en mis hilos paralelos que luchan por el “directorio actual”, por lo que necesito algún truco […]
Digamos que tengo un solucionador z3 con un cierto número de restricciones afirmadas que son satisfactorias. Dejemos que S sea un conjunto de restricciones, me gustaría verificar para cada restricción en S si la fórmula sigue siendo satisfactoria al agregar la restricción al solucionador. Esto puede hacerse fácilmente de manera secuencial de tal manera: results […]