Articles of optimization

En código gestionado, ¿cómo logro una buena localidad de referencia?

Ya que la RAM parece ser el nuevo disco , y como esa statement también significa que el acceso a la memoria ahora se considera lento, de manera similar a como siempre ha sido el acceso al disco, quiero maximizar la localidad de referencia en la memoria para aplicaciones de alto rendimiento. Por ejemplo, en […]

python 2 vs python 3 rendimiento de random, particularmente `random.sample` y` random.shuffle`

El problema del rendimiento del módulo de python random, y en particular, random.sample y random.shuffle surgió en esta pregunta . En mi computadora, obtengo los siguientes resultados: > python -m timeit -s ‘import random’ ‘random.randint(0,1000)’ 1000000 loops, best of 3: 1.07 usec per loop > python3 -m timeit -s ‘import random’ ‘random.randint(0,1000)’ 1000000 loops, best […]

Optimización paralela de muchas dimensiones.

Estoy creando un script que genera datos de entrada [parámetros] para que otro progtwig los calcule. Me gustaría optimizar los datos resultantes. Anteriormente he estado usando la optimización numpy powell. El código psuedo se ve algo así. def value(param): run_program(param) #Parse output return value scipy.optimize.fmin_powell(value,param) Esto funciona muy bien; sin embargo, es increíblemente lento ya […]

TensorFlow: ¿Cómo calcular el gradiente mientras se ignoran los pesos cero?

Quiero implementar la poda estableciendo algunos pesos en 0.0 (pesos específicos en cada capa, seleccionados de una manera que no es importante discutir aquí) para (1) ignorarlos durante la inferencia y (2) ignorarlos durante el entrenamiento. Sé que puedo ignorarlos durante la inferencia aplicando una máscara a cada capa, con unas en los índices de […]

Captura de pantalla en color de los rectangularjs.

Escribí una secuencia de comandos de python para devolver el color promedio de los rectangularjs que rodean el perímetro de mi pantalla. (El objective final aquí es tener tiras de LED RGB alrededor de mi monitor, para un efecto shiny durante las películas, como este (youtube) , pero más divertido porque lo estoy haciendo yo […]

Cómo manejar palabras que no están en el vocabulario de word2vec de manera óptima

Tengo una lista de ~ 10 millones de oraciones, donde cada una de ellas contiene hasta 70 palabras. Estoy ejecutando gensim word2vec en cada palabra y luego tomando el promedio simple de cada oración. El problema es que uso min_count = 1000, por lo que muchas palabras no están en el vocabulario. Para resolver eso, […]

¿Por qué obtengo resultados incorrectos de scipy.optimize.fmin?

import pandas as pd from scipy.optimize import fmin data = pd.DataFrame({‘DIV’: [1,2,3]*3, ‘MONTH’: [‘May’,’May’,’May’,’June’,’June’,’Jun’,’Jul’,’Jul’,’Jul’], ‘C’:[8]*9, ‘U’:[3,2,1]*3, ‘S’:[9]*9}) data.to_csv(r’C:\Users\mbabski\Documents\Unit Plan Summer 2016\data_test.csv’) def return_array(x): return x.values def mape(c,u,s,r): #returns an array of line level Mean Absolute Percentage Errors p = c + u * r m = abs(1.0-(p/s)) return m def e(c,u,s,r): #calculates average of the […]

Python scipy.optimize.fmin_l_bfgs_b produce un error

Mi código es implementar un algoritmo de aprendizaje activo, utilizando la optimización L-BFGS. Quiero optimizar cuatro parámetros: alpha , beta , w y gamma . Sin embargo, cuando ejecuto el siguiente código, recibí un error: optimLogitLBFGS = sp.optimize.fmin_l_bfgs_b(func, x0 = x0, args = (X,Y,Z), fprime = func_grad) File “C:\Python27\lib\site-packages\scipy\optimize\lbfgsb.py”, line 188, in fmin_l_bfgs_b **opts) File […]

scipy.optimize.minimize realizar un seguimiento de la función objective

Estoy trabajando con scipy.optimize.minimize , y estoy optimizando 3 parámetros con una función como esta def foo(A, x, y, z): test = my_function(A[0], A[1], A[2], x, y, z) return test En esta respuesta, encontré algunas ideas: ¿Cómo mostrar el progreso de la función scipy.optimize? Entonces se me ocurrió esta función: def callbackF(Xi, x, y, z) […]

Comparando Python, Numpy, Numba y C ++ para la multiplicación de matrices

En un progtwig en el que estoy trabajando, necesito multiplicar dos matrices repetidamente. Debido al tamaño de una de las matrices, esta operación toma algún tiempo y quería ver qué método sería el más eficiente. Las matrices tienen dimensiones (mxn)*(nxp) donde m = n = 3 y 10^5 < p < 10^6 . Con la […]