Articles of datos

columna perdida después de pandas groupby

Tengo una pandilla de datos df marco. Lo agrupo por 3 columnas, y cuento los resultados. Cuando hago esto, pierdo información, específicamente, la columna de name . Esta columna se asigna 1: 1 con la columna desk_id . ¿Hay alguna forma de incluir ambos en mi último dataframe? Aquí está el dataframe: shift_id shift_start_time shift_end_time […]

¿Cómo agregar correctamente las horas a un pandas.tseries.index.DatetimeIndex?

Tengo un df.index normal que me gustaría agregarle algunas horas. In [1]: test[1].index Out[2]: [2010-03-11, …, 2014-08-14] Length: 52, Freq: None, Timezone: None Así es como se ve el primer elemento: In [1]: test[1].index[0] Out[2]: Timestamp(‘2010-03-11 00:00:00′) Así que bash esto para agregar las horas: In [1]: test[1].index[0] + pd.tseries.timedeltas.to_timedelta(16, unit=’h’) Sin embargo me sale […]

Personalizando la función rolling_apply en los pandas de Python

Preparar Tengo un DataFrame con tres columnas: “Categoría” contiene Verdadero y Falso, y he hecho que df.groupby(‘Category’) según estos valores. “Tiempo” contiene marcas de tiempo (medidas en segundos) en las que se han registrado valores “Valor” contiene los valores en sí mismos. En cada instancia de tiempo, se registran dos valores: uno tiene la categoría […]

Python-PostgreSQL psycopg2 interface -> executemany

Actualmente estoy analizando un archivo de volcado de wikipedia; Estoy extrayendo un montón de datos de él usando python y persistiendo en un db PostgreSQL. Siempre estoy tratando de hacer que las cosas vayan más rápido porque este archivo es enorme (18 GB). Para interactuar con PostgreSQL, estoy usando psycopg2, pero este módulo parece imitar […]

Django y eBay estilo multi listado

Estoy tratando de imitar la función de listado múltiple de eBay. Básicamente, eBay permite a los usuarios especificar dos variaciones de su elección, por ejemplo, size and color . Cada variación tendrá datos diferentes, por ejemplo: Color: red, green Size: 12, 9 Entonces se pone un poco confuso, por ejemplo: quantity for color red, size […]

Ajuste de datos con función integral.

Cuando se usa curve_fit de scipy.optimize para ajustar algunos datos en python, uno primero define la función de ajuste (por ejemplo, un polinomio de segundo orden) de la siguiente manera: def f(x, a, b): return a*x**2+b*x Y luego continúa con el ajuste popt, pcov = curve_fit(f,x,y) Pero la pregunta ahora es, ¿cómo se hace para […]

¿Cómo encontrar la distribución de probabilidad y los parámetros para datos reales? (Python 3)

Tengo un conjunto de datos de sklearn y sklearn la distribución de los datos de load_diabetes.target (es decir, los valores de la regresión que se utilizan para load_diabetes.data ). Utilicé esto porque tiene el menor número de variables / atributos de la regresión sklearn.datasets . Utilizando Python 3, ¿cómo puedo obtener el tipo de distribución […]

¿Cómo asignar una clase contra varias tablas con SQLAlchemy?

Digamos que tengo una estructura de base de datos con tres tablas que se parecen a esto: items – item_id – item_handle attributes – attribute_id – attribute_name item_attributes – item_attribute_id – item_id – attribute_id – attribute_value Me gustaría poder hacer esto en SQLAlchemy: item = Item(‘item1’) item.foo = ‘bar’ session.add(item) session.commit() item1 = session.query(Item).filter_by(handle=’item1′).one() print […]

base de datos en memoria en Python

Estoy haciendo algunas consultas en Python en una gran base de datos para obtener algunas estadísticas de la base de datos. Quiero que estas estadísticas estén en la memoria para que otros progtwigs puedan usarlas sin tener que ir a una base de datos. Estaba pensando en cómo estructurarlos, y después de intentar configurar algunos […]

Parcela de matriz de correlación utilizando pandas.

Tengo un conjunto de datos con un gran número de características, por lo que el análisis de la matriz de correlación se ha vuelto muy difícil. Quiero trazar una matriz de correlación que obtengamos usando la función dataframe.corr() de la biblioteca pandas. ¿Hay alguna función incorporada proporcionada por la biblioteca de pandas para trazar esta […]