pandas convertir algunas columnas en filas

Así que mi conjunto de datos tiene alguna información por ubicación para n fechas. El problema es que cada fecha es en realidad un encabezado de columna diferente. Por ejemplo, el CSV parece

location name Jan-2010 Feb-2010 March-2010 A "test" 12 20 30 B "foo" 18 20 25 

Lo que me gustaría es que se vea

 location name Date Value A "test" Jan-2010 12 A "test" Feb-2010 20 A "test" March-2010 30 B "foo" Jan-2010 18 B "foo" Feb-2010 20 B "foo" March-2010 25 

el problema es que no sé cuántas fechas hay en la columna (aunque sé que siempre empezarán después del nombre)

Puede usar pd.melt para llegar hasta allí y ordenar:

 >>> df location name Jan-2010 Feb-2010 March-2010 0 A test 12 20 30 1 B foo 18 20 25 >>> df2 = pd.melt(df, id_vars=["location", "name"], var_name="Date", value_name="Value") >>> df2 location name Date Value 0 A test Jan-2010 12 1 B foo Jan-2010 18 2 A test Feb-2010 20 3 B foo Feb-2010 20 4 A test March-2010 30 5 B foo March-2010 25 >>> df2 = df2.sort(["location", "name"]) >>> df2 location name Date Value 0 A test Jan-2010 12 2 A test Feb-2010 20 4 A test March-2010 30 1 B foo Jan-2010 18 3 B foo Feb-2010 20 5 B foo March-2010 25 

(Es posible que desee .reset_index(drop=True) un .reset_index(drop=True) , solo para mantener la salida limpia).

Nota : pd.DataFrame.sort ha quedado en desuso en favor de pd.DataFrame.sort_values .

Supongo que encontré una solución más sencilla.

 temp1 = pd.melt(df1, id_vars=["location"], var_name='Date', value_name='Value') temp2 = pd.melt(df1, id_vars=["name"], var_name='Date', value_name='Value') 

Concat entero temp1 con el name columna temp2

 temp1['new_column'] = temp2['name'] 

Ahora tienes lo que pediste.

pd.wide_to_long

Puede agregar un prefijo a sus columnas de año y luego alimentar directamente a pd.wide_to_long . No pretenderé que esto sea eficiente , pero en ciertas situaciones puede ser más conveniente que pd.melt , por ejemplo, cuando sus columnas ya tienen un prefijo apropiado.

 df.columns = np.hstack((df.columns[:2], df.columns[2:].map(lambda x: f'Value{x}'))) res = pd.wide_to_long(df, stubnames=['Value'], i='name', j='Date').reset_index()\ .sort_values(['location', 'name']) print(res) name Date location Value 0 test Jan-2010 A 12 2 test Feb-2010 A 20 4 test March-2010 A 30 1 foo Jan-2010 B 18 3 foo Feb-2010 B 20 5 foo March-2010 B 25 

Use set_index con stack para MultiIndex Series , luego para DataFrame agregue reset_index con rename :

 df1 = (df.set_index(["location", "name"]) .stack() .reset_index(name='Value') .rename(columns={'level_2':'Date'})) print (df1) location name Date Value 0 A test Jan-2010 12 1 A test Feb-2010 20 2 A test March-2010 30 3 B foo Jan-2010 18 4 B foo Feb-2010 20 5 B foo March-2010 25