zzzz7788990213-ops/EvoVLM
Evolving Multimodal Inference Programs: LLM-guided evolutionary search for accurate and efficient vision-language inference.
深度介绍
它是什么
EvoVLM 是一个用 LLM 引导进化搜索来优化视觉语言模型推理流程的 Python 框架。它不训练新模型,而是自动搜索更优的多模态推理程序。
核心亮点
- 把推理流程当作可进化对象,由 LLM 生成候选程序变体
- 兼顾准确率与推理效率,而非单纯堆算力
- 面向 vision-language 任务,可插拔式接入现有 VLM
为什么火
多模态推理的瓶颈往往在流程设计而非模型本身。EvoVLM 用进化搜索自动探索这一空间,思路新颖且工程可落地,短期内收获近 500 stars。
适合谁用
- 研究多模态推理优化的算法工程师
- 想在现有 VLM 上榨取精度/延迟收益的开发者
- 对 LLM-guided 程序搜索感兴趣的研究者
快速上手
git clone https://github.com/zzzz7788990213-ops/EvoVLM
cd EvoVLM && pip install -r requirements.txt
按 README 配置 LLM API key 与目标 VLM,即可启动进化搜索。
