Qwen3-VL-2B 微调

本仓库主要内容包含使用 LLaMA‑Factory 对 Qwen3‑VL‑2B 进行 LoRA 微调。

目录结构（以当前仓库为准）

Qwen/  
├── LLaMA-Factory/           # 微调与推理框架（官方开源项目副本）
│   ├── examples/            # 训练与推理示例配置
│   ├── output/              # 微调输出目录（生成的 LoRA/全量权重）
│   ├── saves/               # 训练保存的检查点
│   └── requirements.txt     # 依赖清单
├── Qwen3-VL-2B-Instruct/    # Qwen3-VL-2B 指令版本相关资源
├── coco2014/                # 样例数据集与脚本
└── README.md                # 当前文档

快速开始

环境准备

conda create --name qwen3vl python=3.12 
conda activate qwen3vl 
cd LLaMA-Factory 
pip install -e “.[torch,metrics]” --no-build-isolation -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple/

数据准备（可选）

将需要的图文数据放置在 coco2014/dataset/ 下，或根据实际任务在 LLaMA-Factory/data/ 目录组织数据。

微调 Qwen3‑VL‑2B（LoRA ）

cd LLaMA-Factory
# LoRA微调的配置文件：
examples/train_lora/qwen3_vl_lora_sft.yaml
# LoRA微调的命令行：
CUDA_VISIBLE_DEVICES=0,1,2,3 llamafactory-cli train examples/train_lora/qwen3_vl_lora_sft.yaml
# LoRA微调模型的默认输出路径位于：
saves/qwen3vl-2b/lora/sft

LoRA合并

cd LLaMA-Factory
# LoRA合并的配置文件：
examples/merge_lora/qwen3_vl_lora_sft.yaml
# LoRA合并的命令行：
llamafactory-cli export examples/merge_lora/qwen3_vl_lora_sft.yaml
# LoRA合并的默认输出路径位于：
output/qwen3_vl_lora_sft

许可证

请根据各子项目（例如 LLaMA‑Factory）的许可证文件进行使用与分发。