推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
meisky6666
V2EX  ›  Python

用 Python 作浏览器自动化操作应该选那个模块?

  •  
  •   meisky6666 · Nov 2, 2017 · 6365 views
    This topic created in 3307 days ago, the information mentioned may be changed or developed.
    • 现在需要打开 chrome,填扩展的地址打开扩展的页面,再分析扩展的页面信息
    • 用 selenium 但是打开的是没有扩展的
    • pywinauto 好像不能操作页面?
    • 还有哪些可以用的?
    12 replies  •  2017-11-02 18:24:38 +08:00
    yanzixuan
    yanzixuan
    Nov 2, 2017
    1
    谁说 selenium 没扩展?可以安装好所有东西后,在启动 selenium 的时候制定载入配置的路径啊。
    lovestudykid
    lovestudykid
    Nov 2, 2017
    2
    options = webdriver.ChromeOptions()
    options.add_extension(EXT_PATH)
    wq2016
    wq2016
    Nov 2, 2017
    3
    selenium
    meisky6666
    meisky6666
    OP
    Nov 2, 2017
    4
    @yanzixuan 我需要扩展有数据,不是全新安装的扩展,chrome 是账号登录的,启动的时候加了配置目录也没用啊
    rffan
    rffan
    Nov 2, 2017
    5
    selenium 耐操好用,打开谷歌的时候截图只会截取显示的部分不会截取整张网页,略坑,建议用 phantomjs,会截取整张网页。其他的都好。用过其他的,都没这玩意好用。
    meisky6666
    meisky6666
    OP
    Nov 2, 2017
    6
    @lovestudykid 那个扩展是我用文件夹直接拖进去的,要怎么加?
    meisky6666
    meisky6666
    OP
    Nov 2, 2017
    7
    @rffan 暂时想到的是脚本精灵+bs4,ui 自动化 py 还是不好用
    meisky6666
    meisky6666
    OP
    Nov 2, 2017
    8
    @meisky6666 按键精灵,打错了
    iyaozhen
    iyaozhen
    Nov 2, 2017 via Android
    9
    楼主这需求有点奇特呀。从正常测试的角度来说打开就应该是个新的浏览器,不然问题更多。
    meisky6666
    meisky6666
    OP
    Nov 2, 2017
    11
    @iyaozhen 因为有个爬虫扩展,之前就制定了很多网站的规则,效果很好,所以想直接收集上面的数据,自己实现这个爬虫有点难度
    xmcp
    xmcp
    Nov 2, 2017
    12
    selenium 可以呀,我就用 selenium 在 Travis-CI 上做 chrome 扩展的集成测试,一点问题都没有。

    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    opt=Options()
    opt.add_argument('load-extension=%s'%'path/to/your/extension')
    opt.add_argument('--user-agent=my_user_agent')
    b=webdriver.Chrome(chrome_options=opt)

    把扩展根目录放到 path/to/your/extension,然后就能正常加载了。

    你的扩展可以用 navigator.userAgent 判断当前环境,初始化数据什么的就可以顺便做到了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   874 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 38ms · UTC 22:25 · PVG 06:25 · LAX 14:25 · JFK 17:25
    ♥ Do have faith in what you're doing.