python补齐Dataframe时间序列

wudi129

import pandas as pd
import glob
from datetime import datetime

file_names = glob.glob("your folder/14*A.csv")
data = []

for file_name in file_names:
    va = pd.read_csv(file_name)
    va["date"] = va["date"].apply(str)
    va["hour"] = va["hour"].apply(lambda x:str(x).zfill(2))
    va["hour"] = va["hour"].apply(str)
    va["time"] = va["date"] + va["hour"]
    va["date"] = list(map(lambda x:datetime.strptime(x,"%Y%m%d%H"),va["time"]))
    del va["hour"]
    del va["time"]
    t =pd.date_range("2017-01-01 00:00:00","2017-12-31 23:00:00",freq = 'H')
    t_df = pd.DataFrame(t,columns = ['date'])
    va = va.merge(t_df,how = "right",sort = True)
    data.append(va)

werewolf

datetime处理太麻烦了，直接在read_csv时加上parse_dates
另外，合并可以用pd.concat()。给个多线程池子并行读完把每个Dataframe放到list，然后df = pd.concat(list)

这样速度会提升不少

wudi129

werewolf 发表于 2022-3-2 10:54
datetime处理太麻烦了，直接在read_csv时加上parse_dates
另外，合并可以用pd.concat()。给个多线程池子并 ...

感谢大佬，学习了