vlm clip-llava
准备录制cs336-assign 1下午和朋友讨论了一下上班梳理了CLIP,image encoder采用的是ViT或者是resnettext encoder采用的是transformer的decodermask attention换成了自注意力机制llava 就是极简风视觉层接一个线性层投影层我习惯叫它对齐层就接入llm。进行指令微调。llava1.5就是将图片更好的处理使用高分辨率的图像并全局和局部融合llava1.6则是采用了更好的融合策略而且对分辨率没有要求这里感觉有点像qwen2.5-vl 动态分辨率的雏形
![Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K高级配置：genai_config.json参数调优指南 [特殊字符]](http://pic.xiahunao.cn/yaotu/Qwen2.5-Coder-1.5B-Instruct_rai_1.7.1_npu_16K高级配置：genai_config.json参数调优指南 [特殊字符])
 多 Token 预测技术深度解析：从训练信号增强到推理加速的全链路剖析)
