爱意满满的作品展示区。
codeface
14.49D

我也做了一个可以操控手机的硬件 Agent

  •  
  •   codeface · Jul 29 · 2123 views

    看到 https://www.v2ex.com/t/1230118 中 @fzuccq 分享了他的手机 Agent 硬件方案,我也来介绍一下最近做的同类型项目。

    我的方案是利用手机的 C 口转 HDMI 投屏获取屏幕、USB HID 模拟鼠标键盘进行操作。

    目前项目代码也是完全开源的状态: https://github.com/AidenAI-IO/aiden-firmware

    自组硬件的成本大约在 400 元左右,核心组件如下:

    • Type C HUB 转 HDMI 、USB
    • Pico Zero RV1106G3 (核心处理单元)
    • HDMI 转 CSI 模块
    • 8 欧 2W 扬声器
    • 2.4g WiFi FPC 天线
    • HDMI 公对公转换头(用于连接 HUB 和 HDMI 转 CSI 模块)
    • CSI 连接软排线
    • ASPPRO 2.0 模块(可选,用作关键词唤醒)
    • 按键开关(可选,唤醒的另一种方式)

    Supplement 1  ·  15h 36m ago
    这套方案的优点是配置简单,基本上插入手机 C 口就能使用;
    同时可以做到低功耗和小型化,未来可以做成一个手机磁吸外设随身携带。
    19 replies    2026-07-31 10:48:12 +08:00
    codeface
        1
    codeface  
    OP
       Jul 29
    KeinHong
        2
    KeinHong  
       Jul 29
    这个支持 iPhone 手机么
    codeface
        3
    codeface  
    OP
       Jul 29
    @KeinHong 支持,需要开启 Assistant Touch 。
    关于 HDMI 获取屏幕的部分,这套硬件在 iPhone 上的兼容性反而还强于安卓,苹果可以稳定获取 1080p 分辨率的画面,一些安卓只能到 720p 。
    KeinHong
        4
    KeinHong  
       Jul 29
    @codeface #3 👍不错啊
    zhouyg
        5
    zhouyg  
       Jul 29
    这个硬件是完全独立运行的吗,其内部的操控逻辑怎么设置到硬件里的?
    codeface
        6
    codeface  
    OP
       Jul 30
    @zhouyg 是的,可以完全独立运行:设备本身运行完整的 Linux 固件,内置封装好的 C++ 硬件服务( frame_service 、audio_service 、hid_server )和 Go Agent daemon ,Agent 通过大模型进行推理并直接驱动 USB HID 操控外部设备,不需要额外的主控电脑常驻运行。
    v1
        7
    v1  
       Jul 30
    @zhouyg 群控小型化……想体验差不多效果但是懒得整硬件的话。闲鱼 1 毛钱买个群控软件+小主机😀
    shuang
        8
    shuang  
       Jul 30
    模拟鼠标键盘,安全性咋样,会不会容易被检测出来
    withrock
        9
    withrock  
       Jul 30
    @codeface 大模型的推理是通过 RV1106 内置的算力推理的吗,还是需要联网对接外部 api?
    imqiyue
        10
    imqiyue  
       Jul 30   ❤️ 1
    楼主能力好强,支持一下
    codeface
        11
    codeface  
    OP
       Jul 30
    @withrock RV1106 的 NPU 还是很弱,暂时无本地可能性,需要联网对接外部 API 。
    kevan
        12
    kevan  
       16h 53m ago via Android
    midscene.js 了解一下
    easylee
        13
    easylee  
       16h 16m ago
    楼主海外居住吗?视频发音听着不错。
    coolcoffee
        14
    coolcoffee  
       16h 11m ago
    看了楼主的方案,我打算把我家吃灰的 RK3588 小主板改造一下,毕竟它还原生支持 hdmi 输入和板载 OTG
    codeface
        15
    codeface  
    OP
       15h 50m ago
    @kevan 谢谢,midscene.js 也很不错,之前也考虑过支持 WebDriverAgent 作为 iOS 上的备选方案。
    不过现在这套方案配置起来会更简单,不需要依赖 xCode 。
    codeface
        16
    codeface  
    OP
       15h 49m ago
    @easylee 谢谢,朋友帮忙录的,确实在海外待过。
    codeface
        17
    codeface  
    OP
       15h 47m ago
    @coolcoffee RK3588 确实是不错的方案,除了功耗会比 RV1106 稍高一些。后续打算做成小型化磁吸设备,使用手机 C 口或者内置电池供电。
    codeface
        18
    codeface  
    OP
       15h 41m ago
    @shuang #8 通过软件模拟的鼠标键盘和接入一个真实的鼠标键盘没有差异,但 App 确实可以有办法区分键盘和触控事件是否来自外部设备。
    不过经过我们的测试,现阶段还没有哪款 App 对外设操作进行了限制。
    gainsurier
        19
    gainsurier  
       15h 11m ago via iPhone   ❤️ 1
    最近众筹的的 comet q 和 nanokvm go+ op 可以看下
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1170 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 41ms · UTC 18:00 · PVG 02:00 · LAX 11:00 · JFK 14:00
    ♥ Do have faith in what you're doing.