Articles of streaming

Hadoop Texttable no separable

¿Hay alguna forma de enviar un archivo completo a un asignador sin dividirlo? He leído esto pero me pregunto si hay otra forma de hacer lo mismo sin tener que generar un archivo intermedio. Idealmente, me gustaría una opción existente en la línea de comandos para Hadoop. Estoy utilizando la función de streaming por secuencias […]

¿Cómo enviar secuencias de video OpenCV a través de sockets ZeroMQ?

Tengo una cámara web simple que leo con OpenCV y ahora estoy tratando de enviar este video a un progtwig diferente (Python) usando ZeroMQ . Así que tengo el siguiente script simple para leer la cámara web y enviarla utilizando un socket ZeroMQ: import cv2 import os import zmq import base64 context = zmq.Context() footage_socket […]

Entendiendo el streaming de Python HTTP

Estoy teniendo problemas para acceder a una API de transmisión mediante Python y Requests. Lo que dice la API: “Hemos habilitado un punto final de transmisión para solicitar datos de cotización e intercambio utilizando una conexión de socket HTTP persistente. La transmisión de datos desde la API consiste en realizar una solicitud HTTP autenticada y […]

Quiero transmitir un feed de webcam con la progtwigción de socket en Python

Este es mi código: server.py: #The server receives the data import socket from PIL import Image import pygame,sys import pygame.camera from pygame.locals import * import time host = “localhost” port = 1890 s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.bind((host,port)) s.listen(1) conn, addr = s.accept() print “connected by”,addr screen = pygame.display.set_mode((640,480)) while 1: data = conn.recv(921637) image = […]

Escribiendo un Streamer de música Python

Me gustaría implementar un servidor en Python que transmita música en formato MP3 a través de HTTP. Me gustaría que transmitiera la música de tal manera que un cliente pueda conectarse a la transmisión y comenzar a escuchar lo que se esté reproduciendo, como una estación de radio. Anteriormente, he implementado mi propio servidor HTTP […]

¿Cómo pasar parámetros a la secuencia de comandos de Python en Hive?

El usuario de Hive puede transmitir tablas a través de un script para transformar esos datos: ADD FILE replace-nan-with-zeros.py; SELECT TRANSFORM (…) USING ‘python replace-nan-with-zeros.py’ AS (…) FROM some_table; Tengo un script de Python simple: #!/usr/bin/env python import sys kFirstColumns= 7 def main(argv): for line in sys.stdin: line = line.strip(); inputs = line.split(‘\t’) # replace […]

TypeError: __init __ () toma al menos 4 argumentos que no son palabras clave (3 dados)

Consejo por favor 🙂 Cuando uso este script: class CustomStreamListener(tweepy.StreamListener): def on_status(self, status): # We’ll simply print some values in a tab-delimited format # suitable for capturing to a flat file but you could opt # store them elsewhere, retweet select statuses, etc. try: print “%s\t%s\t%s\t%s” % (status.text, status.author.screen_name, status.created_at, status.source,) except Exception, e: print […]

Cómo procesar un flujo YAML en Python

Tengo una aplicación de línea de comandos que genera continuamente datos YAML en la forma: – col0: datum0 col1: datum1 col2: datum2 – col0: datum0 col1: datum1 col2: datum2 … Lo hace por toda la eternidad. Me gustaría escribir un script de Python que lea continuamente cada uno de estos registros. La biblioteca PyYAML parece […]

Streaming o tarro personalizado en Hadoop

Estoy ejecutando un trabajo de transmisión en Hadoop (en la EMR de Amazon) con el asignador y el reductor escritos en Python. Quiero saber sobre las ganancias de velocidad que experimentaría si implementara el mismo mapeador y reductor en Java (o uso Pig). En particular, estoy buscando las experiencias de las personas en la migración […]

Generando archivos de salida separados en Hadoop Streaming

Al usar solo un asignador (un script de Python) y ningún reductor, ¿cómo puedo generar un archivo separado con la clave como nombre de archivo, para cada línea de salida, en lugar de tener archivos de salida largos?