最近在搞视觉-语言大模型的优化和应用，在下载相关数据集时存在问题！！！
首先推荐一个网站HyperAI超神经
可以在这个网站上找多很多相关数据集下载，可以使用aria2c加速下载，基本上是5MB的速度，也可以直接下载或者使用磁力下载
可惜我想要下载的是ILSVRC2012没有找到单独下载的链接，在看到相关大佬的文章，发现可以直接在服务器上使用wget进行下载，也可以使用wget的并行化版本mwge下载（但是具体没有详细了解），以下是我搜索得到的
使用 `mwget` 工具可以实现多线程下载，从而提高下载速度。`mwget` 是 `wget` 的一个多线程版本，可以通过以下步骤安装和使用：
安装步骤：
wget http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_0.1.0.orig.tar.bz2yum install bzip2 gcc-c++ openssl-devel intltool -ybzip2 -d mwget_0.1.0.orig.tar.bz2tar -xvf mwget_0.1.0.orig.tarcd mwget_0.1.0.orig./configuremakemake install使用方法：
mwget URL可以设置线程数，例如设置10个线程：
mwget -n 10 URL
下面特别讲一下使用wget下载
一、数据集下载
训练集（ILSVRC2012_img_train.tar）：
wget https://image-net.org/data/ILSVRC/2012/ILSVRC2012_img_train.tar --no-check-certificate验证集（ILSVRC2012_img_val.tar）：
wget https://image-net.org/data/ILSVRC/2012/ILSVRC2012_img_val.tar --no-check-certificate标签映射文件（ILSVRC2012_devkit_t12.tar.gz）：
wget https://image-net.org/data/ILSVRC/2012/ILSVRC2012_devkit_t12.tar.gz --no-check-certificate二、解压
训练集
cd /home/data/imagenet执行命令，将训练集解压到文件夹 train 目录下：
mkdir train && tar -xvf ILSVRC2012_img_train.tar -C train && for x in `ls train/*tar`; do fn=train/`basename $x .tar`; mkdir $fn; tar -xvf $x -C $fn; rm -f $fn.tar; done执行命令，进入 train 目录下：
cd train执行命令，查看 train 目录下所有文件（图片）的数量，若解压成功，则返回1281167：
ls -lR|grep "^-"|wc -l验证集
执行命令，进入3个文件所在的根目录：
cd /home/data/imagenet执行命令，创建解压验证集的文件夹：
mkdir val执行命令，将验证集图像解压到 val 目录下：
tar -xvf ILSVRC2012_img_val.tar -C ./val此时 val 目录下是50000张图像，并没有被分类到1000个文件夹下。因此需要将验证集中的图像进行分类存放。
执行命令，解压ILSVRC2012_devkit_t12.tar.gz这个文件：
tar -xzf ILSVRC2012_devkit_t12.tar.gz该文件中记录着验证集中的图像名及其类别标签之间的映射关系。
在 ‘/home/data/imagenet’ 目录下创建 Python 脚本，假设命名为“unzip.py”，其内容如下：
from scipy import io
import os
import shutildef move_valimg(val_dir='./val', devkit_dir='./ILSVRC2012_devkit_t12'):"""move valimg to correspongding folders.val_id(start from 1) -> ILSVRC_ID(start from 1) -> WINDorganize like:/val/n01440764images/n01443537images....."""# load synset, val ground truth and val images listsynset = io.loadmat(os.path.join(devkit_dir, 'data', 'meta.mat'))ground_truth = open(os.path.join(devkit_dir, 'data', 'ILSVRC2012_validation_ground_truth.txt'))lines = ground_truth.readlines()labels = [int(line[:-1]) for line in lines]root, _, filenames = next(os.walk(val_dir))for filename in filenames:# val image name -> ILSVRC ID -> WINDval_id = int(filename.split('.')[0].split('_')[-1])ILSVRC_ID = labels[val_id-1]WIND = synset['synsets'][ILSVRC_ID-1][0][1][0]print("val_id:%d, ILSVRC_ID:%d, WIND:%s" % (val_id, ILSVRC_ID, WIND))# move val imagesoutput_dir = os.path.join(root, WIND)if os.path.isdir(output_dir):passelse:os.mkdir(output_dir)shutil.move(os.path.join(root, filename), os.path.join(output_dir, filename))if __name__ == '__main__':move_valimg()运行脚本：
python unzip.py特别地，这么大地文件138G，发生中断了怎么办？可以在对应文件夹下加上-c，可以在上次中断的位置继续进行
