提取并检查页面url代码,Python代码库,德仔网

代码语言

代码分类

【Python】提取并检查页面url

作者:cotine / 发布于2012/12/4/ 838

打包了一个函数给定参数 url 然后爬去这个url页面下所有超链接并且坚持状态加入网络异常判断然后使用了字典数组来防止重复

from bs4 import BeautifulSoup
import time,re,urllib2

t=time.time()

websiteurls={}

def scanpage(url):
    
    websiteurl=url
    t=time.time()
    n=0
    html=urllib2.urlopen(websiteurl).read()
    soup=BeautifulSoup(html)
    pageurls=[]
    Upageurls={}
    pageurls=soup.find_all("a",href=True)

    for links in pageurls:
        if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
            Upageurls[links.get("href")]=0
    for links in Upageurls.keys():
        try:
            urllib2.urlopen(links).getcode()
        except:
            print "connect failed"
        else:
            t2=time.time()
            Upageurls[links]=urllib2.urlopen(links).getcode()
            print n,
            print links,
            print Upageurls[links]
            t1=time.time()
            print t1-t2
        n+=1
    print ("total is "+repr(n)+" links")
    print time.time()-t


scanpage("http://news.163.com/")

试试其它关键字

　提取并检查页面url　

同语言下

可能有用的

cotine贡献的其它代码(1)

.提取并检查页面url