AI教育与信息系统一个开发者的个人思考一、为什么想到做AI教育1. 自动阅卷的想法来源这段时间AI非常火热作为一个AI学习者我一直希望能将自己所学的东西全部投入到一个实际项目中去。因为本身就在用AI学习AI我常常在想除了问答之外AI还能以什么方式帮助学生AI到底能做到什么很自然地就想到了做题和批改。于是我做了上传图片、使用视觉模型进行解析的功能让AI判断答案是否正确并指出错在哪里。做到这一步我觉得还算不错——但如果我想一次批改多道题目呢那不就是考试了吗于是我的第一版自动阅卷系统就这样诞生了。2. 我是如何做的流程图1.OCR2.题目解析3.逐题批改4.复核5.落库LLM总结遇到的困难a. OCR节点第一个问题使用传统OCR还是视觉模型在查阅资料和咨询AI之后我考虑到传统OCR很难区分手写体和印刷体学生的答案可能没那么容易被准确识别所以最终选择了视觉模型。因为是demo我希望尽快做出一个能跑通效果的版本所以没有去测试传统OCR方案但在视觉模型方面我花了大量时间调试。感兴趣的话可以尝试用传统OCR测试一下使用YOLO算法或者用小模型先标注范围再识别可能效果也不错。第二个问题视觉模型是否应该直接解析出题目和答案经过自己的测试和思考我选择了先解析、再处理的策略。首先试卷有一个现实问题题目可能跨页。直接让模型一次性解析出题目和答案几乎是不可能的命题。其次让模型一次性解析所有图片它能否正确识别图片的顺序是个问题而且一次性解析的耗时远高于单独解析后续改为多张图片并行解析会更灵活。b. 题目解析节点第三个问题解析出题目后输出格式成了大麻烦。我使用的是qwen-vl系列模型在没有严格约束提示词的情况下它返回的是HTML文件一开始我觉得这没什么问题因为HTML可以准确地告诉下一个模型学生究竟在哪里填写了答案。但后面出问题了将一套试卷解析出的HTML合并后进行题目解析token直接爆炸我5张图片就15000 token。使用deepseek-v4-flash去解析题目和答案时整整花了5分钟都是线上模型deepseek便宜而且还会漏题——这完全无法接受。阅读HTML的过程也很痛苦根本无法判断到底是OCR有问题还是题目解析有问题。也许可以通过分割来解决但后来我有了其他办法就没有继续纠结了。最终我将HTML格式的输出换成了Markdown格式。这样虽然无法精确定位学生答案的具体位置但至少可以直观地查看OCR识别是否准确。c. 逐题批改第四个问题一开始我并没有使用多个子agent来进行批改只用一个agent处理这一步其实没什么问题。但我当时脑子一抽重新思考了一下这个项目的主题——既然是逐题批改试卷那能不能将每道题为什么错、错在哪里同步存入数据库呢于是我让LLM自己去分析该题考察的知识点可能是多个知识点一个主知识点带多个副知识点但我暂时只按一个知识点处理了deepseek承担了所有然后输出对该知识点为什么错了、评判标准是什么。d. 复核后面的几个节点我其实没有充分测试过。我不是老师也不是这方面的专家不太懂评分标准。我只是简单地写了提示词让复核Agent对批改的题目进行打分如果打得不对就重新批改但这部分其实有点像摆设我也没有深入研究。不过我觉得这是必要的步骤就没有省略设置了最多3次重试。e. 落库 LLM总结前面一套流程走下来到总结这一步其实效果还不错。但少了一步我都不知道结果到底对不对就落库了。思考之后我得出一个结论这里直接落库是正确的因为AI的工作已经完成了接下来还需要人的介入——老师可以通过人工复核来确认AI打分的正确性修改评语要保证数据的高质量。第五个问题用什么方式让老师进行复核我的第一想法是将试卷原图展示在页面左边AI的批改过程和结果展示在页面右边老师可以逐题复核未来在系统稳定之后只复核AI标记为有问题的题目。老师可以选择上一题和下一题当切换到下一题需要翻页时试卷同步翻页。页面效果我就不展示了我不是前端专家只能说deepseek承担了所有。在老师复核完毕后将结果再次存入数据库。这样一张试卷就批改完毕了。下面放一张豆老师生成的示例图提交后恢复1.OCR2.题目解析3.逐题批改4.复核5.落库6.人在回路7.LLM总结这就是我最终的流程。走到这一步之后我发现我的重心已经不再是批改试卷本身了——我发现批改试卷得出的数据其实更有价值。二、从考试成绩到成绩建模目前已有的数据张三 —— 初三上学期语文期中考试 —— 90分题目1文言文 —— 完全掌握题目2古诗词 —— 错误题目3……题目10xxx —— 掌握一般但答出了关键点给一半分这样的数据其实价值一般不过可以整理成错题库让学生在App上反复练习。如果进一步建模我们就可以对张三的这次考试做更深入的分析张三 —— 初三上学期语文期中考试 —— 90分张三 —— 文言文 —— 掌握80% —— 通假字掌握得很好但古今异义还需要提高张三 —— 古诗词 —— 掌握40% —— 默写能写出来但无法理解含义……这样的数据就有一定价值了——知道哪里不足才能有针对性地加强。更重要的是将全班学生的数据进行整合就能得到班级维度的数据老师可以了解班级整体对各个知识点的掌握情况。班级数据再向上整合就能得到年级数据教学主任可以据此判断是否需要调整教学内容和策略。……未完待续后续如果还有什么想法我会继续写的但目前暂时先到这里。之前提到的一些节点问题有些我已经解决了有些还只是有想法感兴趣的话欢迎评论区留言或者私聊我。不过我觉得数据建模其实更重要自动阅卷虽然也挺重要的只是它不再是我研究的重点了。三、我的思考在阅卷阶段我从纯粹的AI阅卷然后输出结果转变成了AI帮助老师阅卷。AI其实不是万能的虽然它能自我迭代例如将每次改卷的过程丢给一个复盘Agent判断哪些方面做得不好然后增加流程或修改prompt、Skill说不定就会出现一种叫Loop Engineering的东西但我觉得始终需要老师来对AI进行矫正否则它说不定就跑偏了。LLM的整理能力虽然强大但仍需要人来抽查看看总结是否符合老师的要求并根据老师的反馈来调整prompt和Skill。关于数据建模LLM需要高质量的数据进行训练好的数据建模也是同理。未来我们的课题可能就是——如何从杂乱的数据中提炼出高质量的数据LLM很擅长做这件事但可能会产生幻觉。高质量数据又能用于模型微调微调后的模型又能更好地服务系统——这何尝不是一种正向循环呢