Golang解决bufio.Scanner: token too long的问题
在Go语言中使用bufio.Scanner时，遇到“token too long”（标记过长）的错误，通常是因为尝试读取的行太大，超过了bufio.Scanner默认的最大容量。bufio.Scanner默认的缓冲区大小为64KB，如果尝试读取的行大于这个大小，就会报错“token too long”。
解决方法
解决这个问题有两种常见的方法：
1、增加缓冲区大小
可以通过bufio.Scanner的Buffer方法来设置一个更大的缓冲区大小。例如，将缓冲区大小设置为1MB：
scanner := bufio.NewScanner(file)buf := make([]byte, 0, 64*1024) // 创建一个初始大小为64KB的缓冲区scanner.Buffer(buf, 1024*1024) // 将最大缓冲区大小增加到1MB
2、使用其他方法读取大文件
如果文件中有非常长的行或者不确定行的大小，使用bufio.Reader或者直接使用os.File的Read方法可能更合适，这样可以自己控制每次读取数据的大小，不会受到bufio.Scanner缓冲区大小的限制。
总结
选择哪种方法取决于具体需求和文件的具体情况。如果调整bufio.Scanner的缓冲区大小可以满足需求，那这是一种相对简单的解决方式。如果文件行的长度非常不确定或者有些行极端的长，可能需要考虑第二种方法。
