Articles of streaming

Problemas en paquetes python en nodos de sistemas distribuidos hadoop

Yo uso python para hacer streaming hadoop. Utilizamos un sistema distribuido de transmisión hadoop de AWS que tiene un nodo maestro y cuatro nodos esclavos. Si necesito instalar un paquete en Python, necesito instalar el paquete en cada nodo del sistema para que funcione. Pero en mis casos, incluso después de instalar el paquete python […]

La tarea de transmisión de Hadoop falló (no se realizó correctamente) en Python

Estoy tratando de ejecutar un trabajo Map-Reduce en Hadoop Streaming con scripts de Python y obtengo los mismos errores que el error de Hadoop Streaming Job en python, pero esas soluciones no me funcionaron. Mis scripts funcionan bien cuando ejecuto “cat sample.txt | ./p1mapper.py | sort | ./p1reducer.py” Pero cuando corro lo siguiente: ./bin/hadoop jar […]

Hadoop Texttable no separable

¿Hay alguna forma de enviar un archivo completo a un asignador sin dividirlo? He leído esto pero me pregunto si hay otra forma de hacer lo mismo sin tener que generar un archivo intermedio. Idealmente, me gustaría una opción existente en la línea de comandos para Hadoop. Estoy utilizando la función de streaming por secuencias […]

¿Cómo enviar secuencias de video OpenCV a través de sockets ZeroMQ?

Tengo una cámara web simple que leo con OpenCV y ahora estoy tratando de enviar este video a un progtwig diferente (Python) usando ZeroMQ . Así que tengo el siguiente script simple para leer la cámara web y enviarla utilizando un socket ZeroMQ: import cv2 import os import zmq import base64 context = zmq.Context() footage_socket […]

Entendiendo el streaming de Python HTTP

Estoy teniendo problemas para acceder a una API de transmisión mediante Python y Requests. Lo que dice la API: “Hemos habilitado un punto final de transmisión para solicitar datos de cotización e intercambio utilizando una conexión de socket HTTP persistente. La transmisión de datos desde la API consiste en realizar una solicitud HTTP autenticada y […]

Quiero transmitir un feed de webcam con la progtwigción de socket en Python

Este es mi código: server.py: #The server receives the data import socket from PIL import Image import pygame,sys import pygame.camera from pygame.locals import * import time host = “localhost” port = 1890 s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.bind((host,port)) s.listen(1) conn, addr = s.accept() print “connected by”,addr screen = pygame.display.set_mode((640,480)) while 1: data = conn.recv(921637) image = […]

Escribiendo un Streamer de música Python

Me gustaría implementar un servidor en Python que transmita música en formato MP3 a través de HTTP. Me gustaría que transmitiera la música de tal manera que un cliente pueda conectarse a la transmisión y comenzar a escuchar lo que se esté reproduciendo, como una estación de radio. Anteriormente, he implementado mi propio servidor HTTP […]

¿Cómo pasar parámetros a la secuencia de comandos de Python en Hive?

El usuario de Hive puede transmitir tablas a través de un script para transformar esos datos: ADD FILE replace-nan-with-zeros.py; SELECT TRANSFORM (…) USING ‘python replace-nan-with-zeros.py’ AS (…) FROM some_table; Tengo un script de Python simple: #!/usr/bin/env python import sys kFirstColumns= 7 def main(argv): for line in sys.stdin: line = line.strip(); inputs = line.split(‘\t’) # replace […]

TypeError: __init __ () toma al menos 4 argumentos que no son palabras clave (3 dados)

Consejo por favor 🙂 Cuando uso este script: class CustomStreamListener(tweepy.StreamListener): def on_status(self, status): # We’ll simply print some values in a tab-delimited format # suitable for capturing to a flat file but you could opt # store them elsewhere, retweet select statuses, etc. try: print “%s\t%s\t%s\t%s” % (status.text, status.author.screen_name, status.created_at, status.source,) except Exception, e: print […]

Cómo procesar un flujo YAML en Python

Tengo una aplicación de línea de comandos que genera continuamente datos YAML en la forma: – col0: datum0 col1: datum1 col2: datum2 – col0: datum0 col1: datum1 col2: datum2 … Lo hace por toda la eternidad. Me gustaría escribir un script de Python que lea continuamente cada uno de estos registros. La biblioteca PyYAML parece […]