¿Cómo crear Dask DataFrame a partir de una lista de urls?

Tengo una lista de las URL, y me encantaría leerlas en el dataframe dask a la vez, pero parece que read_csv no puede usar un asterisco para http . ¿Hay alguna manera de lograr eso?

Aquí hay un ejemplo:

 link = 'http://web.mta.info/developers/' data = [ 'data/nyct/turnstile/turnstile_170128.txt', 'data/nyct/turnstile/turnstile_170121.txt', 'data/nyct/turnstile/turnstile_170114.txt', 'data/nyct/turnstile/turnstile_170107.txt' ] 

y lo que quiero es

df = dd.read_csv('XXXX*X')

Intente usar dask.delayed para convertir cada una de sus direcciones URL en un dataframe pandas perezoso y luego use dask.dataframe.from_delayed para convertir esos valores perezosos en un dataframe dask completo

 import pandas as pd import dask import dask.dataframe as dd dfs = [dask.delayed(pd.read_csv)(url) for url in urls] df = dd.from_delayed(dfs) 

Esto leerá uno de sus enlaces inmediatamente para descubrir los metadatos (columna, dtypes). Si conoce estos dtypes y enlaces antes de tiempo, puede evitarlo pasando un marco de dd.from_delayed(..., meta=sample_df) vacío de muestra a dd.from_delayed(..., meta=sample_df)

Véase también: http://dask.pydata.org/en/latest/delayed-collections.html