Potencia Python (con dataframe pandas)

Llegué al siguiente problema mientras progtwigba Python: uso un dataframe de Pandas que contiene palabras que tienen que ser derivadas (usando SnowballStemmer). Quiero que se usen las palabras para investigar los resultados de los textos con derivadas y no con derivaciones y para esto usaré un clasificador. Yo uso el siguiente código para el stemmer:

from nltk.stem.snowball import SnowballStemmer stemmer = SnowballStemmer("dutch") 

Quiero eliminar todas las palabras separadas en la lista mientras sigo el orden y mantengo cada clave con cada valor. Esta es la columna del dataframe de Pandas de la que quiero que se derive cada palabra por separado:

El contenido del marco de pandas.

Pensé en algo como esto:

 for w in data[["stemmed"]]: stemmer.stem(w) 

Sin embargo, después de ejecutarlo no se detuvo cada palabra por separado. cuando miras la fila 7 puedes ver la palabra “amsterdamse” allí, que en realidad se supone que se debe a “amsterdam”:

    Los datos después de ejecutar el código anterior

    Los datos se delimitan de la siguiente manera:

     data['stemmed']=data['stemmed'].str.replace(","," ") data['stemmed']=data['stemmed'].str.replace("_"," ") 

    Debe aplicar la raíz en cada palabra y almacenarla en la columna “derivada”.

    EDITAR

    por ejemplo :

     In [23]: data Out[23]: stemmed 0 [amsterdamse, and , yes] 1 [marathon, hello, verbazing] 

    Entonces lo siguiente debería funcionar

     data['stemmed'] = data["stemmed"].apply(lambda x: [stemmer.stem(y) for y in x]) Out[25]: 0 [amsterdam, and, yes] 1 [marathon, hello, verbaz] Name: stemmed, dtype: object