直接回答
仅凭模型名称，无法回答“Qwen 3.5 2B GGUF 在手机上跑多快”。官方 Qwen 3.5-2B 仓库里的上游模型，与社区转换出的 GGUF 文件并不是同一个制品：转换参数、量化方法、分词器文件、对话模板、多模态支持、运行时构建和设备后端都可能改变实际测试内容。桌面演示、不同模型版本或另一套转换工具的结果，都不能证明手机表现。应先固定上游模型版本，再记录具体 GGUF 文件、来源、摘要和量化信息；之后在一台明确型号的设备上运行固定任务，并保存所有运行记录，包括加载失败、CPU 回退、内存不足、取消和持续运行下降。本文不发布任何 Qwen 手机速度或设备支持数据，而是提供工程师可复现、可审计的测试方法。
场景：为 Android 原型选择本地 Qwen 模型文件
工程师找到官方 Qwen 3.5-2B 模型卡和多个社区 GGUF 文件，又看到一个桌面演示速度很快。原型需要确认某个具体转换文件和运行时能否在手机上完成有限任务，而且不能隐藏热状态或内存假设。
决策
把每一种转换与运行时组合视为独立候选项。选择一份准确的模型文件、一台设备、一个 Android 构建版本和一组任务样例；测量前先定义验收条件；任何变量变化，都应拆开记录结果。
预期结果
团队得到一个范围明确的记录：实际打开了哪个文件、实际后端是什么、哪项任务完成、资源曲线如何，以及还有哪些错误。结论只适用于该记录对应的组合。
需要收集的证据
只有将以下证据与同一模型文件和测试运行关联起来，结论才可复核：
- 官方模型版本和转换文件来源
- 运行时、后端、设备和工作负载身份
- 冷启动、热运行、持续运行、失败与恢复的有序记录
发布结论只对所记录的配置和验收集有效；扩大适用范围需要更多记录。
实施流程
- 区分官方检查点和 GGUF 转换文件. 先记录 Qwen 上游模型仓库及不可变提交，再记录具体转换项目、转换器版本、转换设置、量化类型、输出文件列表、长度和摘要。除非官方来源确实发布了 GGUF，否则不要把社区转换文件称作官方 Qwen GGUF 版。分词器、词表和对话模板也应与转换文件配套保存。
- 验证运行时打开的是预期文件. 记录运行时名称与版本、原生库构建、Android ABI、加载结果，以及可观察到的后端初始化信息。区分“请求使用加速器”和“有证据证明工作负载实际运行在该后端”。保留首次错误及回退路径，不要静默切换后端，只报告成功重试。
- 测量前先定义手机任务. 使用有版本记录且不含隐私内容的提示词样例，尽量贴近预期产品任务。写明输入长度、输出规则、停止条件、解码设置，以及是否包含图像或视频。如果转换或运行时只支持文本，就不要把结果推广到多模态任务。重复运行时，样例与设置必须保持一致。
- 区分生命周期中的不同测量阶段. 将模型文件校验、冷启动加载、首次推理、热运行推理和重复工作负载分开测量；定义每项测量的起止事件。记录加载前后内存、任务峰值、设备可观测的热信号、取消、回退和清理情况。一次很快的完成记录，不能证明持续表现或电池影响。
- 保留每次运行，并只比较可比结果. 每次尝试都单独存档，绑定同一模型文件、运行时、手机、系统版本、样例和设置。保留失败、输出截断、加载未完成和取消的情况。比较两种量化时只改变模型文件，其他配置保持不变。不要平均掉失败，也不要只凭文件大小给候选模型排名。
- 发布范围受限的结论，而非通用手机兼容说法. 结果需写明上游模型来源、转换过程、量化方式、设备、软件、运行时、实际后端证据、任务、指标定义和所有运行分布，并指出哪些任务没有评估。可以说“该配置完成了这组测试”，不要泛称“Android 手机都能运行”或“手机端速度很快”。扩大支持范围需要更多设备和代表性结果。
让每个阶段的状态都可观察。失败信息应指出阶段、模型、运行时和恢复动作，同时避免记录用户私密内容。
验收标准
- 官方上游检查点与转换得到的 GGUF 文件有不同的来源和固定身份。
- 后端结论基于运行时可观察证据，而不是芯片型号或请求设置。
- 冷启动、代表性任务、重复运行、资源、回退和失败分别记录。
- 每个结论限定于实际测试的模型文件、运行时、设备、软件、样例与设置。
决策对照表
| 维度 | 选择或证据 | 解读方式 |
|---|---|---|
| 模型身份 | 官方 Qwen 检查点及固定版本的 GGUF 转换记录 | 模型家族名称不能识别被测文件内容和转换方式。 |
| 运行路径 | 运行时版本和实际后端证据 | 请求 GPU 或 NPU 并不能证明任务真的使用了它。 |
| 工作负载 | 固定提示词、上下文策略、输出限制和输入模态 | 不同任务和输入长度的结果不能直接比较。 |
| 手机证据 | 在目标手机记录冷启动、热运行、重复运行、失败、内存和热状态 | 桌面演示或第一次成功运行不能证明手机长期可用。 |
需要避免的失败模式
- 把上游 Safetensors 检查点称为官方 GGUF 发布版
- 把桌面耗时套用到手机
- 缺少转换和任务信息就发布结果
还要避免静默回退、版本未固定、缺少取消处理，以及把不同配置的结果混在一起下结论。失败运行也应与成功记录一并保存。
最小复现记录
| 层级 | 记录内容 |
|---|---|
| 设备 | 厂商、型号、芯片、内存档位、操作系统版本 |
| 软件 | 应用版本和 Git 提交号 |
| 模型 | 系列、变体、版本、格式、文件长度、摘要、量化方式 |
| 运行时 | 名称、版本、请求后端及实际后端证据 |
| 工作负载 | 样例版本、输入摘要、提示词摘要、输出策略 |
| 结果 | 完成、失败、取消、回退及保护隐私的诊断信息 |
发布检查表
- ☐ 主要搜索问题已回答，且没有未经支持的数字。
- ☐ 所有模型文件和运行时版本均已固定。
- ☐ 代表性任务和失败处理策略均有说明。
- ☐ 生命周期、取消、清理和回退均已测试。
- ☐ 用户内容与网络边界均有说明。
- ☐ 结论只适用于被记录的配置。
- ☐ 新增测试结果时链接到原始方法或证据。
来源与相关证据
- llama.cpp repository
- Cove 基准测试方法
- Qwen/Qwen3.5-2B 官方模型仓库与文件
- llama.cpp 官方项目与 GGUF 运行时文档
- Hugging Face Transformers 中的 Qwen3.5 模型文档
中文部署与排错专题见。奇连 AI 端侧专题。
常见问题
官方 Qwen 3.5-2B 模型卡能证明手机 GGUF 的运行速度吗？
不能。上游模型卡描述的是上游模型制品，不涵盖每一种社区转换、手机运行时或具体设备。手机表现必须记录准确 GGUF 文件、转换方式、运行时、设备、后端、任务和测量边界。
可以用桌面跑分估算手机性能吗？
桌面结果可以帮助设计测试，但它不是手机测试结果。手机有不同的内存限制、热行为、系统调度和可用运行时后端。应在实际目标设备上测量，并保留所有尝试和失败。
“2B”能说明手机兼容性吗？
参数量标签不能说明具体文件大小、运行时内存、上下文能力、模态支持或任务质量。检查确切的转换文件并测量实际产品工作负载；兼容声明只能限于已经测试的配置和证据范围。
只比较 GGUF 量化版本的速度够吗？
不够。需要在相同任务和设置下，同时检查输出是否满足验收条件、内存、加载、回退、持续运行和失败。一份更快但无法完成任务要求的量化文件，并不是等价替代品。