豆包手机助手发声:无法截屏银行键盘等受保护内容
快科技12月13日消息,有网友称“豆包手机助手通过READ_FRAME_BUFFER权限,从GPU渲染的图形缓冲区拿走图像数据,不需要走上层的截图API。还用了CAPTURE_SECURE_VIDEO_OUTPUT权限,可以获取银行安全键盘等受保护的界面内容”。
豆包手机助手官方表示,这是对豆包手机助手技术实现方式的错误解读,豆包手机助手采用的是原生截屏接口,严格遵循应用声明的Secure标记,无法截屏银行安全键盘等声明受保护的界面内容。
任何持有豆包手机助手技术预览版的用户,都可以自己写一个带有受保护页面的APK进行测试,让AI讲解页面内容,可以验证AI是无法看到的。
网友提到的READ_FRAME_BUFFER权限,是为了让AI可以在后台完成操作,豆包手机助手让三方应用运行在虚拟屏空间中。

为了获取虚拟屏中运行的应用截图内容(对应方法WindowManagerService.captureDisplay)提供给豆包大模型推理,所以需要READ_FRAME_BUFFER权限,但该方法以及权限无法读取到包括银行APP在内的任何三方应用设置为Secure的内容。
CAPTURE_SECURE_VIDEO_OUTPUT权限的使用,是因为受保护的页面在虚拟屏的投影(即点击灵动岛打开的粉色边缘的应用界面)中会显示为黑屏,用户无法查看和操作。
所以需要此权限将受保护的内容正常展示给用户并能够被用户操作,但在投影后,受保护的页面仍会标记为Secure,仅能被用户查看,无法被截屏。
豆包手机助手操作手机功能的实现原理是:用户下达指令-截屏发送给云端豆包大模型-模型理解后返回具体操作-手机端执行操作指令,不断重复直到完成任务。因此每一步操作后都需要再截图上传给云端大模型分析,每步操作间隔约为3秒钟。
由于分析界面所需的大模型参数较大,受限于芯片性能暂时无法运行在手机端侧,需要截图上传云端处理,目前国内多家手机厂商具有AI操作能力的助手产品,也是同样的实现原理,也会使用READ_FRAME_BUFFER等系统权限。
需要强调的是,豆包手机助手仅在有用户指令时才会开始截屏,且无法截屏三方应用Secure标记页面,上传至云端大模型的截屏仅用于视觉理解和推理,完成任务后不会存储在云端。

《豆包手机助手发声:无法截屏银行键盘等受保护内容》转载自互联网,如有侵权,联系我们删除,QQ:369-8522。
相关图文
-
小米18 Pro首发!高通骁龙8 Elite Gen6 Pro成本突破300美元
快科技1月19日消息,高通将和苹果、联发科一道,成为业内首批发布2nm制程芯片的企业。这次高通将会推出两款2nm芯片,分别是骁龙8 Elite Gen6和骁龙8 Elite Gen6 Pro。市场消息称台积电2nm制程... -
又一家手机品牌离开 华硕手机退场:未来不再推出新机
快科技1月19日消息,近日华硕举行了年末联欢晚会,华硕集团董事长施崇棠对华硕暂停手机业务做了公开回应。施崇棠表示,华硕Zenfone、ROG Phone双品牌从2026年起停止推出新机,我们一定会照顾好... -
REDMI Turbo 5 Max首发迄今最大小米金沙江电池:容量为9000mAh
快科技1月19日消息,REDMI宣布Turbo 5 Max升级9000mAh超大容量电池,这也是迄今最大小米金沙江电池,重度使用也能妥妥用一天。据悉,这块电池拥有894Wh/L小米史上最大能量密度,含硅量达到16%... -
红魔11 Air宣布搭载行业独家游戏肩键!操作零门槛 秒变大神
快科技1月19日消息,今日,红魔游戏手机宣布,红魔11 Air搭载行业独家红魔游戏肩键,拥有520Hz行业最快触发、超大感应面积、防手汗设计。红魔游戏肩键号称操作零门槛,轻松进阶大神,支持... -
REDMI Turbo 5 Max外观首次亮相:优雅大R角+金属中框 最具旗舰质感性能机
快科技1月19日消息,与以往REDMI新机直接官宣发布时间不同,REDMI Turbo 5 Max选择先行预热,暂未公布发布会时间。今日,REDMI手机正式公布REDMI Turbo 5 Max海风蓝配色外观,官方称其为REDMI...











