Phantomjs爬取百度百科使用代理proxy后爬取页面信息缺失，未能加载js。
1、问题描述
想要利用Phantomjs爬取百度百科，在不使用代理的情况下，能够爬取JS加载后的一些信息，比如收藏量等，但是，在使用了代理后，这些信息都没有加载，显示为0，以下是具体的代码，由于是刚刚入手爬虫，不知道错在哪里了，求大神指点？
- 如何在 js 里 RSA 加密然后再python 里解密？
- 有没有轻量级的推荐系统？
- flask在请求各route之前统一的入口在哪？
- 如何在 python raw_input 中使用 tab 键补全？
- 各位认为开发效率高又好用的语言是什么（如果做Web开发）？是NodeJs还是Java？还是像Python这样的？
2、代码
使用代理
if name == “__main__”:
url = 'http://baike.baidu.com/link?url=LsKzFDa_VnsXY3jc5qnIEtAp8wFMuNr9pmAulJcUIIcO7PCT7U5OTj6DhZbvJE_hxag0Oy2_s4JXMrZlR0m6JyZTXVLb44_bQd1s5O1fWcy'
service_args = ['--proxy=http://proxy.com:xxxx','--proxy-auth=user:pass','--proxy-type=http']
browser = webdriver.PhantomJS(service_args=service_args)
browser.get(url)
page = browser.page_source
print page
若不使用代理
if name == “__main__”:
url = 'http://baike.baidu.com/link?url=LsKzFDa_VnsXY3jc5qnIEtAp8wFMuNr9pmAulJcUIIcO7PCT7U5OTj6DhZbvJE_hxag0Oy2_s4JXMrZlR0m6JyZTXVLb44_bQd1s5O1fWcy'
browser = webdriver.PhantomJS()
browser.get(url)
page = browser.page_source
print page
- python多线程爬取文件，怎么设置超时重连。
- Flask修改APPLICATION_ROOT无效
- Python 中如何结束子线程？
- python 正则表达式
- 如何优雅的升级线上Django代码？
- Python3 with open 怎样处理文件不存在的异常？
- 如何把如下python代码专为ruby代码
- Python：’gbk’ codec can’t encode character
或许是你的代理服务器问题，你尝试使用requests库测试下