pycharm 问题

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3044 days ago, the information mentioned may be changed or developed.

用 pycharm 爬取网页显示不全，用 fiddler 抓包看来是全的，再用 python 自来的 ide 也是全是这是用问题，都是 requests 抓

11 replies • 2018-07-17 09:46:57 +08:00

ranleng

Jul 16, 2018

"也是全是这是用问题"... <-- 真的懂不了
pycharm 和爬出来的全不全应该没有关系... 就一个 IDE...

herozhang

Jul 16, 2018

可能网页有一部分是 js 动态加载或者生成的。
你走浏览器抓，自然浏览器就执行了这些 js。
而 requests 抓，这部分就没执行，自然就木有了。

可以了解一下 selenium 这个库

herozhang

Jul 16, 2018

Selenium + PhantomJS

Leigg

Jul 16, 2018 via iPhone

怪 ide，过分了兄 dei

pabupa

Jul 16, 2018 via Android

厉害了～

jimmy2010

Jul 16, 2018 via Android

根据你的描述我得出一个结论，既然都是 requests 出问题，那应该怪 requests，而不是 pycharm

PureWhite

Jul 16, 2018

可能是 python 出的问题，更可能是写 Python 用的 C 出的问题。

anyele

Jul 16, 2018 via Android

厉害了

jrtzxh020

Jul 17, 2018

pycharm 躺着也能中枪..

lieh222

Jul 17, 2018

我猜是宇宙射线干扰了内存，导致丢失了这部分数据

zhuangzhuang1988

Jul 17, 2018

咋能怪 ide 呢，怪操作系统。