爱意满满的作品展示区。
davidlau

让 AI 控制你的手机 -- ioscli

  •  
  •   davidlau ·
    liuslevis · 16h 13m ago · 1239 views
    让 AI 控制你的 iPhone: https://github.com/liuslevis/ioscli
    Supplement 1  ·  3h 23m ago
    特别为中文 APP 优化,能够输入中文。

    测试下来,能处理复杂任务:比如申请电商退货,机票/商品比价,收发消息。
    11 replies  •  2026-10-05 22:29:57 +08:00
    yidinghe
        1
    yidinghe  
    PRO
       15h 57m ago
    根目录下除了项目文件外,只有一个 test 目录,没看到源码,是不是忘了上传了
    darkway
        2
    darkway  
       14h 10m ago
    这个和让 codex 直接操作 ios 镜像有什么不同,codex 也可以直接通过截图,坐标点点击形式去操作 iphone 镜像 app 。
    davidlau
        3
    davidlau  
    OP
       11h 34m ago
    @yidinghe 忘了,已经重新上传
    davidlau
        4
    davidlau  
    OP
       11h 32m ago
    @darkway 针对本地应用优化,比如 iphone-harness 无法输入中文。
    leena
        5
    leena  
       9h 1m ago via iPhone
    让它控制手机,那我们干嘛去😂😂😂
    darkway
        6
    darkway  
       8h 56m ago
    @davidlau 有一种场景,找不到解决方案,不知道您有办法吗

    一些应用在截图的时候,会触发一个分享页面,

    很奇怪,明明 codex 用镜像没有按下截图组合键,还是会触发 app 的这个事件。

    于是操作会和分享页面形成死循环。
    iiduce
        7
    iiduce  
       4h 54m ago
    可以操作打卡软件打卡不
    lemonduoduo
        8
    lemonduoduo  
       4h 1m ago   ❤️ 1
    @darkway 以下总结自 gpt ,可以做一个临时绕行的方案,希望有参考价值和帮助:
    我们也遇到过,处理方式是用 ScreenCaptureKit 建立一个持续的 SCStream 画面流,内存里只保留最新一帧,需要识图时再取出,不反复调用系统截图。点击、滑动仍由 CUA 完成。
    另一个关键点是避免调用 getAXState():之前实测中,分享页面已经关闭,但随后读取状态又让它重新弹出;改为从画面流观察后,那次连续操作没有再出现这个循环。
    davidlau
        9
    davidlau  
    OP
       3h 29m ago
    @iiduce 可以
    davidlau
        10
    davidlau  
    OP
       3h 29m ago
    @leena 享受生活 hhh
    davidlau
        11
    davidlau  
    OP
       3h 22m ago   ❤️ 1
    @darkway 估计是调用了 iOS 截图,APP 会监听这个截图事件,弹出分享。可以调用 macos 的截图来避免。

    可以试下我的工具,暂时没遇到这个问题。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   971 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 723ms · UTC 17:51 · PVG 01:51 · LAX 10:51 · JFK 13:51
    ♥ Do have faith in what you're doing.