MySQL批量插入数据的几种方式

        最近在项目中遇到了批量插入数据的一些问题，一般图省事都是利用mybatis或mybatis-plus的saveBatch方法，但这次因为数据过多，出现了一系列的问题，只能手动处理，接下来分享下对于数据量比较大的批量插入，可能遇到的几个问题和处理方式：

1、saveBatch方法默认的是插入1000条数据，如果你的数据量超过1000条，还是想用这个方法的话，就需要指定数量，例如：

List<Student> list = new ArrayList<>();
//向集合中放入5000条数据, 根据实际情况来
// ...super.saveBatch(list, list.size())

2、因为saveBatch方法其实执行的还是循环insert插入，并且在insert语句中会包含表字段，如果你的表相对复杂，数据量过大的情况下可能导致超过MySQL允许的传输上限，具体的值我忘了，有兴趣可以查询了解下，导致发生异常回滚，这时候，你还是懒得写sql，那么就只能分批处理了，按你自己的情况制定合理的批数据量，然后进行如下操作：

List<Student> list = new ArrayList<>();
//向集合中放入5000条数据, 根据实际情况来
// ...int batchSize = 1000;
int size = list.size();
for (int i = 0; i < size; i += batchSize) {int end = Math.min(i + batchSize, size);List<Student> subList = list.subList(i, end);super.saveBatch(subList);
}

3、上边都是一些懒人做法，最佳的方式还是自己写xml的insert语句，但是也要注意数据量，特别巨大的时候，还是要分批进行，这种情况一般少一些，大部分项目场景遇不到