自己的玩具项目，增加了查看网页、搜索功能。
但是现在遇到一个问题，如果我想更进一步，对网页的元素进行控制，比如自动操作 dom ，实现自动化操作，这个怎么做到呢，感觉仅仅通过 LLM 做不到
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 458 days ago, the information mentioned may be changed or developed.
 |
mkroenAug 4, 2025
1
|
 |
2
@mkroen 原理好像有点复杂 嗨，想自己搓一个轮子练习一下，有没有比较简单的方式呢
|
|
3
@mkroen 因为我这边实现的目标也是不同的，我是通过修改 chromium c++实现的，目标是会调用浏览器可以进行人工干预等功能。
|
 |
skallzAug 4, 2025
4
我记得之前就有 ai rpa 了，做的事情就和你说的一样，但是个人感觉不是特别靠谱，ai 有幻觉，网站语义化做的也不一定很好，两个不稳定因素相加就更不稳定了
|
|
5
@skallz 通过 llm 语义，我也感觉有点牵强。好奇，browser-use 它靠什么保证正确呢。。
|
 |
moefishtangAug 4, 2025
6
ChatGPT 最近出的 agent 功能好像就是干这个的
|
 |
maocatAug 4, 2025 via Android
7
playwright/mcp
|
 |
blubzzAug 4, 2025
8
还是依赖大模型本身的能力
可以看这个 https://github.com/hangwin/mcp-chrome/blob/master/README_zh.md |
 |
9
|
|
10
感谢各位大佬推荐，回头好好研究下。
突然有个想法，是不是一定得通过视觉才能保证通用性呢。文字和语义毕竟和最终的 ui 有很大的不同。 |
 |
zheermaoAug 4, 2025
11
自己做推荐微软的 OmniParser, 思路是直接检测视觉元素, 转成文本描述给 LLM, 感觉是更通用的方案, 但是也很吃 LLM 本身的能力
|
 |
feiniuAug 4, 2025
12
browser-use 不能保证操作的准确性；特别是当页面比较复杂的时候，准确率很低
|
 |
hidemyselfAug 4, 2025
13
Midscene
|
|
14
@feiniu 懂了，没有银弹
|
|
15
@maocat Playwright MCP 介绍里面有句话：
“Fast and lightweight. Uses Playwright's accessibility tree, not pixel-based input.” 这个应该是个好的思路。利用 accessibility 的功能来降低难度。 |
 |
potaAug 4, 2025
16
https://github.com/hangwin/mcp-chrome 这个插件的功能可以，但是具体的还是得看 llm 本身了
|
 |
hafuhafuAug 4, 2025
17
MCP Puppeteer 或者 Playwright 。
我用 Cheery Studio 玩过，大概就是可以自动填表单或者开网页之类的自动化操作，不过那会儿 Cheery Studio 刚上相关功能，有点 bug 就没继续玩了。 |
 |
konakonaAug 4, 2025
18
可以尝试用 LLM 写 cypress.io （或其他 simulator driver ，具体一点就是 playwright ）感觉可行一些。
|
 |
kamilicAug 4, 2025
19
最近在调研一个叫 nanobrowser 的玩意儿，应该是你要的吧
|
 |
20
|
1 |
21
@Heimo 感谢提供信息，我今晚就试试你说的这个 aria 树，看能不能搞个低配版的出来看看效果
|
Select Language