Time-series PILE数据集详解MOMENT预训练背后的多领域时间序列大语料库【免费下载链接】momentMOMENT: A Family of Open Time-series Foundation Models, ICML24项目地址: https://gitcode.com/gh_mirrors/mome/momentMOMENT 是开源的时间序列基础模型Time-series Foundation Model而赋予它强大能力的正是背后那个名为Time-series PILE的多领域时间序列大语料库。这篇文章用通俗的方式带你搞懂这个时间序列预训练数据集由什么构成、它解决了哪些关键难题以及它如何让 MOMENT 一个模型同时搞定预测、分类、异常检测和插补等多种任务 什么是 Time-series PILE时间序列领域的大语料库大语言模型的强大源于 Common Crawl 这样的海量文本语料。时间序列领域长期缺少这样一个公共图书馆这正是 MOMENT 论文ICML 2024要解决的核心问题之一。据项目介绍README.md在 MOMENT 之前时间序列预训练面临三大挑战缺少大型、统一的公开时间序列仓库——数据散落在各个领域的论文和实验室里没有像文本语料那样的聚合地时间序列特性高度多样化——不同数据集在采样频率、量纲、长度、通道数上差异巨大多数据集混合训练非常困难评测基准尚不成熟——尤其是小样本、少监督场景下缺乏统一的标准。Time-series PILE 就是针对第一个挑战的答案将大量来自不同领域、不同场景的公开时间序列数据汇编成一个大规模的预训练语料库并配套一套系统性的训练策略来消化数据的多样性。可以说它就是时间序列界的Text-to-Text 语料库。 大语料库从哪里来跨领域、多任务的公开数据合集Time-series PILE 的价值在于它的多这种多样性正是模型泛化能力的来源多领域涵盖金融、能源、医疗如心电图 ECG、气候、服务器负载等真实场景的数据多频率包含小时级、天级、分钟级等不同采样频率的序列多变量既有单变量序列也有像data/ETTh1.csv这样包含多通道特征HUFL、HULL、MUFL……OT 共 7 列的多变量数据多任务标注数据携带分类标签、异常标记、缺失值等让同一份语料能支撑分类、异常检测、插补、预测等不同预训练/评测目标。仓库中的data/ECG5000_TRAIN.ts和data/ECG5000_TEST.ts提供了来自 UCR 分类档案库的心电数据是这套数据生态的一个缩影而完整的大语料库则以 Hugging Face 上的Timeseries-PILE数据集形式公开方便研究者直接下载复用。⚙️ 如何消化差异巨大的数据Patch 分词 实例归一化把领域迥异的数据塞进同一个模型光有语料还不够还需要时间序列的分词器和统一的度量衡。MOMENT 的预训练策略是掩码重建Masked ReconstructionPatch 分词把一条时间序列切成等长的子序列片段patch就像 LLM 把文本切成 token每个 patch 映射成一个向量嵌入核心实现在 momentfm/models/moment.py 与momentfm/models/layers/embed.py随机掩码训练时随机遮住一部分 patch让模型学会根据上下文重建原始序列掩码逻辑见momentfm/utils/masking.pyRevIN 实例归一化对每条序列做逐实例的标准化消除不同数据集之间的量纲与尺度差异让电压信号和股票价格能在同一空间里学习代码位于momentfm/models/layers/revin.py。这套流程与语料库相辅相成Time-series PILE 提供见过世界的广度Patch RevIN 掩码重建提供消化世界的方法。 大语料库预训练的成效五大任务全面能打预训练的效果最终要落到任务上。下图是 MOMENT 与其他时间序列基础模型GPT4TS、TimesNet在五大任务上的对比雷达图MOMENT 的覆盖面积明显更大插补Imputation零样本下即优于统计插补基线异常检测Anomaly Detection线性探测后取得最佳 F1分类Classification零样本下准确率超过 16 个对比方法中的 11 个短期预测Short-horizon Forecasting在部分数据集上优于 ARIMA长期预测Long-horizon Forecasting轻量微调后表现具有竞争力。这正说明了大语料库预训练的意义数据见得多能力就广。一个在 Time-series PILE 上训练的模型无需针对某个数据集专门训练就能跨领域应对多种任务。 如何快速上手把预训练能力用到你的任务上Time-series PILE 预训练的成果已经以模型权重形式开放上手非常轻量安装pip install momentfm推荐 Python 3.11加载一行MOMENTPipeline.from_pretrained(...)加载预训练权重通过task_name参数即可切换 forecasting、classification、reconstruction异常检测/插补、embedding表征学习四种模式微调或零样本使用项目提供了全套可复现的 Notebook 教程全部可在单张 A600048GB显卡上复现预测tutorials/forecasting.ipynb分类tutorials/classification.ipynb异常检测tutorials/anomaly_detection.ipynb插补tutorials/imputation.ipynb表征学习tutorials/representation_learning.ipynb真实心电分类实战含多 GPU 与 PEFT 参数高效微调tutorials/ptbxl_classification.ipynb数据加载侧momentfm/data/informer_dataset.py、momentfm/data/classification_dataset.py、momentfm/data/anomaly_detection_dataset.py分别对应不同任务的数据封装momentfm/data/synthetic_data.py还能生成合成的正弦波数据方便你理解模型对频率、趋势、幅值等时间序列语言的感知。 总结Time-series PILE 证明了大语言模型路线在时间序列上的可行性先建大语料库再做预训练最后一个模型服务多任务。如果你想入门时间序列基础模型建议路径是先跑通tutorials/中的教程感受零样本能力 → 再研究掩码重建预训练机制 → 最后尝试用自己的领域数据扩充语料、复现预训练。大语料库的价值最终都会体现在你解决具体业务问题的效率上 【免费下载链接】momentMOMENT: A Family of Open Time-series Foundation Models, ICML24项目地址: https://gitcode.com/gh_mirrors/mome/moment创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考