Android 本地 AI 会话资源预算

直接回答

有用的资源预算是某一项任务和配置经过测试的运行范围，不是适用于所有手机的规格。模型文件的磁盘长度只是一个输入。进程内存还可能包括运行时分配、权重或映射页、上下文/KV 缓存、输入和输出张量、解码后的图像与音频缓冲区、分词器状态、界面状态、历史记录与临时副本。Android 内存文档区分 Java/Kotlin 堆、原生堆、图形等进程内存；分析器是测量工具，不能证明其他设备具有相同余量。要记录工具实际显示的指标，不应把不同分类相加并写成没有定义的“所需 RAM”。应围绕用户任务确定边界：准确制品和运行时、预期最大输入/上下文、输出上限、媒体尺寸或时长、并发、生命周期以及可接受的失败行为。短文本提示无法证明长上下文、图像解码、同时录音或多个会话的容量。图片功能要纳入解码和预处理；语音功能要纳入采集缓冲区以及实际使用的转写或语音生成资源。每个阶段还须说明缓冲区被保留、复制还是释放。先测加载模型前的基线，然后在制品校验、引擎初始化、代表任务、取消和清理后记录检查点。重复固定任务，以发现单次运行看不到的增长。使用有名称的 Android 工具测量进程内存，并结合生命周期日志和任务结果。记录系统版本、后台活动、电量状态与可获取的热信号，因为它们会影响观测。不能把一张分析器截图换算成最低设备要求，也不能保证系统永不回收进程。必须主动设计并发：模型会话没有经验证可并行时就应串行。根据真实配置限制排队任务、媒体尺寸、上下文、历史和输出。临时位图及缓冲区在所有权结束时释放；取消应停止原生工作，或明确记录仍在运行，不能只隐藏进度。遇到内存压力或进程死亡时，把用户撰写数据与可丢弃派生状态分开，并提供可恢复的继续或清楚的重新开始路径。不能为了恢复模型而悄悄删除历史。验收不只是“一次未崩溃”：任务应在记录的边界内完成；重复运行不应出现无法解释的保留增长；取消清理后下一次运行处于已知状态；低内存中断有安全且可见的用户结果。如果应用会禁用功能、缩小输入或提示用户关闭其他任务，应说明并测试，同时确认来源数据安全。Cove 目前没有原始设备记录支持某个 RAM 阈值或持续工作负载，因此正确的公开结果是方法与测试范围，而不是数字。计划时先描述任务、最大输入和输出、并发和会话时长，把承诺转换成样例及通过/失败规则。按应用堆、原生运行时、模型制品、上下文缓存、媒体解码和预处理、界面、持久化、临时缓冲区建立资源图，标明所有权和释放点，不混淆文件字节与驻留内存。随后在确切设备构建上分析基线、加载、任务、重复任务、取消、清理和恢复，保存原始记录、工具身份、时间、制品/运行时身份与失败。一次只改变一个边界变量：上下文、图片、音频、历史或并发；保留被拒绝和失败的案例，不为了寻找夸张最大值而不断加码。最后定义优雅降级，并验证它保护用户数据、解释重试或缩小输入的选择且不扩张设备兼容声明。这个预算只是工程决策工具，只适用于测试过的制品、运行时、设备、系统状态、工作负载和方法；重要输入变化后需要重测。

图文助手需要在内存压力后安全恢复

团队用短文本测试本地助手，暂未遇到立即失败。计划功能还要处理较大照片、保留对话历史，并允许取消重试。没有完整设备基准记录，团队需要安全边界，而非营销用 RAM 数字。

决策

绘制完整工作集与生命周期，分析代表阶段，串行处理未验证的原生工作，并定义保留用户数据的缩小输入或重启路径。

预期结果

发布判断基于可复现任务样例和恢复行为；没有依据的 RAM、热、电池和机型结论不对外发布。

需要收集的证据

只有将以下证据与同一模型文件和测试运行关联起来，结论才可复核：

• 按阶段绘制进程资源图
• 记录加载、推理、取消与恢复
• 保留原始分析器记录及失败

设备兼容结论须绑定具体设备、系统、模型、运行时、后端和工作负载，不能靠参数量推测。

实施流程

1. 写明任务边界. 说明制品和运行时、最大提示/上下文、输出限制、媒体尺寸或时长、会话期限、并发、历史策略，以及取消或内存压力时界面的预期行为。
2. 按所有者绘制资源图. 列出进程堆、原生运行时、模型页、缓存、张量、解码媒体、预处理、界面、持久化和临时副本，并标明每项所有者及释放点。
3. 记录生命周期检查点. 用同一工具和设备构建测量干净基线、初始化、单次任务、重复任务、取消、清理与恢复。保留所有观测和失败，不要只看一张峰值截图。
4. 测试输入及并发边界. 每次只改一个变量：上下文、图片尺寸、音频时长、历史保留或并行任务。保留不支持和失败案例；一次成功并不证明通用上限。
5. 验证优雅降级. 复现压力并确认应用解释下一步，提供有依据的缩小输入或重试方式，释放临时资源，同时保护来源内容与保存历史。

让每个阶段的状态都可观察。失败信息应指出阶段、模型、运行时和恢复动作，同时避免记录用户私密内容。

验收标准

• 记录写明任务、制品、运行时、设备/系统、分析器、工作负载、生命周期检查点及相关环境状态。
• 重复运行、取消、清理和恢复都有结果；无法解释的保留增长仍是未解决问题。
• 内存压力会触发用户可见响应，不会悄悄删除用户编写的内容。
• 最低 RAM、持续性能、热、电池或广泛兼容结论不超出原始设备证据。

决策对照表

需要避免的失败模式

• 把文件大小当成运行 RAM
• 只测一次短文本请求
• 内存紧张时删除用户历史

还要避免静默回退、版本未固定、缺少取消处理，以及把不同配置的结果混在一起下结论。失败运行也应与成功记录一并保存。

最小复现记录

发布检查表

• ☐ 主要搜索问题已回答，且没有未经支持的数字。
• ☐ 所有模型文件和运行时版本均已固定。
• ☐ 代表性任务和失败处理策略均有说明。
• ☐ 生命周期、取消、清理和回退均已测试。
• ☐ 用户内容与网络边界均有说明。
• ☐ 结论只适用于被记录的配置。
• ☐ 新增测试结果时链接到原始方法或证据。

来源与相关证据

• Android Developers — 内存概述
• Android Developers — Memory Profiler
• Android Developers — 分析原生内存
• Cove 基准测试原始数据要求

中文部署与排错专题见。奇连 AI 端侧专题。

常见问题