Convertir un RDD a iterable: PySpark?

Tengo un RDD que estoy creando al cargar un archivo de texto y preprocesarlo. No quiero recostackrlo y guardarlo en el disco o en la memoria (datos completos), sino más bien pasarlo a alguna otra función en Python que consume datos uno tras otro es una forma de iterable.

¿Cómo es esto posible?

data = sc.textFile('file.txt').map(lambda x: some_func(x)) an_iterable = data. ## what should I do here to make it give me one element at a time? def model1(an_iterable): for i in an_iterable: do_that(i) model(an_iterable) 

Creo que lo que quieres es toLocalIterator() :

 data = sc.textFile('file.txt').map(lambda x: some_func(x)) # you need to call RDD method() then loop for i in data.collect(): print i