本文将为您介绍经典、热门的数据集，希望对您在选择适合的数据集时有所帮助。
1
privacy
-
更新时间：2024-11-26
-
访问地址: GitHub
-
描述：
此存储库包含 TensorFlow Privacy（一种 Python）的源代码 库，其中包含用于训练的 TensorFlow 优化器的实现 具有差分隐私的机器学习模型。该库附带 用于计算提供的隐私保证的教程和分析工具。
-
用途：
用于训练机器学习模型的库，具有训练数据的隐私
-
数据集网址：
https://github.com/tensorflow/privacy
2
sagemaker-python-sdk
-
更新时间：2024-11-26
-
访问地址: GitHub
-
描述：
SageMaker Python 开发工具包是一个开源库，用于在 Amazon SageMaker 上训练和部署机器学习模型。
借助该开发工具包，您可以使用流行的深度学习框架 Apache MXNet 和 TensorFlow 训练和部署模型。 您还可以使用 Amazon 算法训练和部署模型。 它们是针对 SageMaker 和 GPU 训练优化的核心机器学习算法的可扩展实施。 如果您在与 SageMaker 兼容的 Docker 容器中内置了自己的算法，您也可以使用这些算法来训练和托管模型。
-
用途：
用用于在 Amazon SageMaker 上训练和部署机器学习模型的库
-
数据集网址：
https://github.com/aws/sagemaker-python-sdk
3
sagemaker-training-toolkit
-
更新时间：2024-9-10
-
访问地址: GitHub
-
描述：
Amazon SageMaker 是一项完全托管的服务，适用于数据科学和机器学习 （ML） 工作流。 您可以使用 Amazon SageMaker 来简化构建、训练和部署 ML 模型的过程。
要训练模型，您可以将训练脚本和依赖项包含在运行训练代码的 Docker 容器中。 容器提供有效隔离的环境，确保一致的运行时和可靠的训练过程。
SageMaker 训练工具包可以轻松添加到任何 Docker 容器中，使其与 SageMaker 的训练模型兼容。 如果您使用预构建的 SageMaker Docker 映像进行训练，则此库可能已包含在内。
-
用途：
使用 🧠 Amazon SageMaker 在 🐳 Docker 容器中训练机器学习模型。
-
数据集网址：
https://github.com/aws/sagemaker-training-toolkit
4
Machine-Learning-Guide
-
更新时间：2024-01-05
-
访问地址: GitHub
-
描述：
该指南涵盖机器学习，包括应用程序、库和工具，这些应用程序、库和工具将使您更好、更高效地进行机器学习开发。
-
用途：
机器学习指南。了解有关机器学习工具、库、框架、大型语言模型 （LLM） 和训练模型的所有信息。
-
数据集网址：
https://github.com/mikeroyal/Machine-Learning-Guide
5
unstructured
-
更新时间：2024-11-26
-
访问地址: GitHub
-
描述：
该库提供了用于摄取和预处理图像和文本文档（如 PDF、HTML、Word 文档等）的开源组件。其使用案例围绕简化和优化 LLM 的数据处理工作流程展开。 模块化函数和连接器形成一个有凝聚力的系统，可简化数据摄取和预处理，使其能够适应不同的平台，并有效地将非结构化数据转换为结构化输出。
-
用途：
开源库和 API，用于构建用于标记、训练或生产机器学习管道的自定义预处理管道。
-
数据集网址：
https://github.com/Unstructured-IO/unstructured
6
arcann_training
-
更新时间：2024-10-31
-
访问地址: GitHub
-
描述：
ArcaNN 提出了一种自动化的增强采样生成训练集，用于化学反应机器学习原子间电位。 在当前版本中，它旨在简化和自动化用户选择系统的 DeePMD-kit 神经网络潜力的迭代训练过程，但训练过程的核心概念可以扩展到其他网络架构。 此代码的主要优点是其模块化、能够微调训练过程以适应您的系统和工作流程以及出色的可追溯性，因为代码记录了过程中设置的每个参数。 在迭代训练过程中，您将迭代训练神经网络电位，将其用作分子动力学模拟的反作用力场（以探索相空间），根据 query by committee 方法选择和标记一些配置，然后使用改进的训练集再次训练神经网络电位，依此类推。 这个工作流程，有时被称为主动或并发学习，在很大程度上受到了 DP-GEN 的启发，我们使用他们的命名方案来迭代过程的步骤。
-
用途：化学反应机器学习原子间电位训练集的自动增强采样生成
-
数据集网址：
https://github.com/arcann-chem/arcann_training
7
Minerva
-
更新时间：2024-8-20
-
访问地址: GitHub
-
描述：
Minerva 具有强大的命令行界面 （CLI），简化了训练和评估模型的过程。此外，它还为实验提供了版本控制和配置系统，确保可重复性并促进社区内结果的比较。
-
用途：
旨在为从事机器学习项目的研究人员提供一个强大而灵活的框架。它包括用于数据转换、模型创建和分析指标的各种实用程序和模块。
-
数据集网址：
https://github.com/discovery-unicamp/Minerva
8
lab-workshops
-
更新时间：2024-09-05
-
访问地址: GitHub
-
描述：
文本挖掘、机器学习和数据可视化研讨会的材料
-
数据集网址：
https://github.com/YaleDHLab/lab-workshops
9
Determined
-
更新时间：2024-11-22
-
访问地址: GitHub
-
描述：
Determined 是一个一体化深度学习平台，与 PyTorch 和 TensorFlow 兼容。
它负责：
-
分布式训练可更快获得结果。
-
用于获得最佳模型的超参数优化。
-
用于降低云 GPU 成本的资源管理。
-
用于分析和重现性的实验跟踪。
-
用途：Determined 是一个开源机器学习平台，可简化分布式训练、超参数优化、实验跟踪和资源管理。适用于 PyTorch 和 TensorFlow。
-
数据集网址：
https://github.com/determined-ai/determined
10
modulus-makani
-
更新时间：2024-10-15
-
访问地址: GitHub
-
描述：
Makani 由 NVIDIA 和 NERSC 的工程师和研究人员创立，用于训练 FourCastNet，这是一种基于深度学习的天气预报模型。
Makani 是一种研究代码，用于在 100+ GPU 上大规模并行训练天气和气候预测模型，并支持开发下一代天气和气候模型。其中，Makani 用于在 ERA5 数据集上训练球形傅里叶神经算子 （SFNO） [1] 和自适应傅里叶神经算子 （AFNO） [2]。Makani 是用 PyTorch 编写的，支持各种形式的模型和数据并行、异步加载数据、不可预测的通道、自回归训练等等。
-
用途：旨在支持在 PyTorch 中研究和开发基于机器学习的天气和气候模型。
-
数据集网址：https://github.com/NVIDIA/modulus-makani
END
温馨 小贴士
如有您想了解的计算机方向数据集
请联系我们
免费为您提供数据集搜索服务
