貌似adb只支持usb调试吧。有人试过截图后，通过无障碍实现吗？

[JamesSmith888]

貌似adb只支持usb调试吧。有人试过截图后，通过无障碍实现吗？

[JamesSmith888]

我自己也做了一个手机上的Agent（langchain）。本来计划通过无障碍操作的开源库实现。但是貌似不太成熟。
这是我之前写的相关帖子：https://linux.do/t/topic/1320856

[JamesSmith888]

因为系统api的局限性，导致目前所有的Agent操作只能在APP的上下文中执行。很难在系统层面操作。

比如用户输入：帮我记一笔账
Agent：我需要尝试从微信、支付宝等app软件中获取账单信息
Agent：function call 调用截图api并识别 -> 调用无障碍/安卓AI API替代用户完成操作（实际目前没有。但是google最新有Android AICore 的api，但是我观察GooglePlay上的用户对该模块很反感）

[jokerElsa]

没做过无障碍ai了下，也看了眼Python的代码，其实最终执行的动作只落到了几个操作上，home，单双击，滑动，长按，后退，启动。感觉可以把python的能力打个包扔到Android里，把对应的adb命令用无障碍模拟应该就能脱离adb完全手机自主控制，再配合现在放出来的api，也不用本地部署模型了。

[JamesSmith888]

本地部署模型搞Agent我感觉还是不现实，太小的模型function call和MCP估计搞不定。太大的模型手机就算run起来，输出也很慢。
不过我一直都是再考虑使用无障碍实现。