Articles of optimización de

Saltar combinaciones de parámetros prohibidos al usar GridSearchCV

Quiero buscar con avidez todo el espacio de parámetros de mi clasificador de vectores de soporte utilizando GridSearchCV . Sin embargo, algunas combinaciones de parámetros están prohibidas por LinearSVC y lanzan una excepción . En particular, hay combinaciones mutuamente excluyentes de los parámetros dual , penalty y loss : Por ejemplo, este código: from sklearn […]

Python datetime.strptime () Consumir mucho tiempo de CPU

Tengo un código de análisis de registro que necesita convertir una marca de tiempo en un objeto de fecha y hora. Estoy usando datetime.strptime pero esta función usa mucho tiempo de ejecución según la columna de tiempo de ejecución de cProfile. Las marcas de tiempo están en el formato 01/Nov/2010:07:49:33 . La función actual es: […]

Scipy.optimize termina exitosamente para NLP no factible

Intenté resolver una PNL usando el scipy.optimize SLSQP. El problema es claramente inviable, pero la función de minimizar en scipy.optimize parece estar en desacuerdo. minimize X^2 + Y^2 subject to X + Y = 11 X, Y >= 6 El código: from scipy.optimize import minimize def obj(varx): return varx[1]**2 + varx[0]**2 def constr1(varx): constr1 = […]

Buscando una forma rápida de encontrar el polígono al que pertenece un punto usando Shapely

Tengo un conjunto de ~ 36,000 polígonos que representan una partición (~ condados) del país. Mi script en python recibe muchos puntos: pointId, longitud, latitud. Para cada punto, quiero enviar de vuelta pointId, polygonId. Para cada punto, hacer un bucle en todos los polígonos y usar myPoint.inin (myPolygon) es bastante ineficiente. Supongo que la biblioteca […]

Método rápido en Python para dividir un archivo de texto grande usando el número de líneas como variable de entrada

Estoy dividiendo un archivo de texto usando el número de líneas como variable. Escribí esta función para guardar en un directorio temporal los archivos escupidos. Cada archivo tiene 4 millones de líneas esperando el último archivo. import tempfile from itertools import groupby, count temp_dir = tempfile.mkdtemp() def tempfile_split(filename, temp_dir, chunk=4000000): with open(filename, ‘r’) as datafile: […]

¿Necesitas ayuda para vectorizar código u optimizar

Estoy intentando hacer una doble integral interpolando primero los datos para hacer una superficie. Estoy usando numba para intentar acelerar este proceso, pero está demorando demasiado. Aquí está mi código, con las imágenes necesarias para ejecutar el código ubicado aquí y aquí .

¿Cómo forzar pasos más grandes en las funciones de scipy.optimize?

Tengo una función compare_images(k, a, b) que compara dos matrices 2d a y b Dentro de la función, aplico un gaussian_filter con sigma=k a a Mi idea es estimar cuánto debo hacer para suavizar la imagen a para que sea similar a la imagen b El problema es que mi función compare_images solo devolverá valores […]

Cortar una matriz numpy

Me gustaría ‘esquilar’ una matriz numpy. No estoy seguro de que esté usando el término ‘cizalla’ correctamente; Por cizalla, me refiero a algo como: Desplazar la primera columna por 0 lugares. Desplazar la segunda columna por 1 lugar. Cambia la tercera columna por 2 lugares. etc … Así que esta matriz: array([[11, 12, 13], [17, […]

Python quicksort – Listar comprensión vs Recursión (rutina de partición)

Vi la conversación Three Beautiful Quicksorts y estaba jugando con Quicksort. Mi implementación en python fue muy similar a c (seleccionar pivote, partición alrededor de él y repetición sobre particiones más grandes y más pequeñas). Lo cual pensé que no era pythonico . Así que esta es la implementación usando la comprensión de listas en […]

Python: nested para bucles o statement “siguiente”

Soy un aficionado novato y nido para bucles cuando escribo python, así: dict = { key1: {subkey/value1: value2} … keyn: {subkeyn/valuen: valuen+1} } for key in dict: for subkey/value in key: do it to it Soy consciente de una palabra clave “siguiente” que lograría el mismo objective en una línea (hice una pregunta sobre cómo […]