[Python] 纯文本查看 复制代码 #-*-coding:utf-8-*-
#!/usr/bin/env python
import urllib2
import cookielib
url=raw_input("请输入http://开头的网址进行抓取:") #用raw_input将输入的网址传入url参数
a=urllib2.Request(url)
a.add_header('user-agent','Mozilla/5.0') #伪装成浏览器
a.add_header('referer','http://www.baidu.com') #伪装referer地址
cj=cookielib.CookieJar() #设置cookie容器，有些需要cookie才能访问
opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))
urllib2.install_opener(opener)
b=urllib2.urlopen(a) #打开网址
print b.getcode() #打印出状态码，200则说明返回正常
print cj #打印出cookie
print b.read() #读取网站内容，并打印出来
xiumu=raw_input() #防止运行完自动关闭
===================================================
工具过于简单，没有特色的思想和优化处理。
|