Estoy usando PySpark. Tengo una columna (‘dt’) en un dataframe (‘canon_evt’) que esta es una marca de tiempo. Estoy tratando de eliminar segundos de un valor DateTime. Originalmente se lee desde parquet como una cadena. Entonces trato de convertirlo a Timestamp a través de canon_evt = canon_evt.withColumn(‘dt’,to_date(canon_evt.dt)) canon_evt= canon_evt.withColumn(‘dt’,canon_evt.dt.astype(‘Timestamp’)) Entonces me gustaría quitar los segundos. […]
Necesito restar todos los elementos en una columna del dataframe de pandas por su primer valor. En este código, los pandas se quejan de self.ferred_type, que supongo que es la referencia circular. df.Time = df.Time – df.Time[0] Y en este código, los pandas se quejan de establecer valor en las copias. df.Time = df.Time – […]
Por lo tanto, tengo un script que tiene argumentos de fecha para diferentes funciones y quiero que 01-01-2012 entre el 01-01-2012 y el 06-09-2012 sin incluir los fines de semana. Estoy tratando de encontrar una forma en la que pueda usar el tiempo delta porque mi script genera archivos con la fecha utilizada en el […]
Escribí una aplicación de escritorio y estaba usando datetime.datetime.utcnow() para la marca de tiempo, sin embargo, recientemente he notado que algunas personas que usan la aplicación obtienen resultados muy diferentes a los que yo uso cuando ejecutamos el progtwig al mismo tiempo. ¿Hay alguna forma de obtener la hora UTC localmente sin usar urllib para […]
Tengo un problema al crear fechas en python, ya que las fechas que creo no respetan el horario de verano en algunos escenarios. Por ejemplo, si voy a mi shell y corro >>> adjust_datetime_to_timezone(value=datetime.datetime.now(), from_tz=timezone(‘UTC’), to_tz=timezone(‘US/Pacific’)) datetime.datetime(2011, 7, 7, 12, 41, 16, 337918, tzinfo=) Tengo la hora correcta. Quiero crear una fecha que sea el […]
Estoy tratando de cargar un archivo csv que tiene el siguiente formato: 40010 40015 40020 40025 40030 40035 40040 40045 2008-11-03 00:00 786 212 779 227 220 131 680 1006 2008-11-03 00:03 760 200 765 234 225 133 694 1063 2008-11-03 00:06 757 205 769 237 230 136 726 1051 2008-11-03 00:09 781 207 765 […]
Esta pregunta es similar a la selección de registros de Pandas DataFrame durante muchos años según el rango de mes y día , pero la pregunta y la respuesta no parecen cubrir mi caso import pandas as pd import numpy as np rng = pd.date_range(‘2010-1-1′, periods=1000, freq=’D’) df = pd.DataFrame(np.random.randn(len(rng)), index=rng, columns=[‘A’]) df.head() A 2010-01-01 […]
Esto no funciona: t = os.path.getmtime(filename) dTime = datetime.datetime.fromtimestamp(t) justTime = dTime.timetuple() if justTime.tm_isdst == 0 : tDelta = datetime.timedelta(hours=0) else: tDelta = datetime.timedelta(hours=1) Lo que sucede en cambio es que el condicional siempre es igual a 1, a pesar de que algunas de las marcas de tiempo se encuentran dentro del horario de ahorro […]
Estoy tratando de obtener la cadena de fecha utc como “YYYYMMDD” Por ahora hago lo siguiente, nowTime = time.gmtime(); nowDate = date(nowTime.tm_year, nowTime.tm_mon, nowTime.tm_mday) print nowDate.strftime(‘%Y%m%d’) Lo solía hacer: datetime.date.today().strftime() Pero esto me da la cadena de fecha en TZ local ¿Cómo puedo obtener una cadena de fecha UTC?
Construí una función para obtener el primer y último día del trimestre actual, pero está un poco largo. Me preguntaba, ¿hay una manera más sucinta de lograr esto? Entiendo que los pandas tienen una función QuarterBegin() , pero no pude implementarla de una manera más concisa. import datetime as dt from dateutil.relativedelta import relativedelta def […]