代码语言
.
CSharp
.
JS
Java
Asp.Net
C
MSSQL
PHP
Css
PLSQL
Python
Shell
EBS
ASP
Perl
ObjC
VB.Net
VBS
MYSQL
GO
Delphi
AS
DB2
Domino
Rails
ActionScript
Scala
代码分类
文件
系统
字符串
数据库
网络相关
图形/GUI
多媒体
算法
游戏
Jquery
Extjs
Android
HTML5
菜单
网页交互
WinForm
控件
企业应用
安全与加密
脚本/批处理
开放平台
其它
【
Python
】
多线程下载文件
作者:
speedmancs
/ 发布于
2011/10/9
/
1028
import httplib import urllib2 import time from threading import Thread from Queue import Queue from time import sleep</div> <div>proxy = 'your proxy'; opener = urllib2.build_opener( urllib2.ProxyHandler({'http':proxy}) ) urllib2.install_opener( opener )</div> <div>ids = {}; for i in range(1,110): try: listUrl = "<a href="http://www.someweb.net/sort/list_8_%d.shtml">http://www.someweb.net/sort/list_8_%d.shtml</a>" % (i); print listUrl; page = urllib2.urlopen(listUrl).read(); speUrl = "<a href="http://www.someweb.net/soft/">http://www.someweb.net/soft/</a>"; speUrlLen = len(speUrl); idx = page.find(speUrl,0); while idx!=-1: dotIdx = page.find(".",idx + speUrlLen); if dotIdx != -1: id = page[idx + speUrlLen:dotIdx]; ids[id] = 1; idx = page.find("<a href="http://www.someweb.net/soft/",idx">http://www.someweb.net/soft/",idx</a> + speUrlLen); except: pass;</div> <div> q = Queue() NUM = 5 failedId = [];</div> <div>def do_somthing_using(id): try: url = "<a href="http://www.someweb.net/download.php?softid=%s&type=dx">http://www.someweb.net/download.php?softid=%s&type=dx</a>" % (id); h2 = httplib.HTTPConnection("your proxy", "you port"); h2.request("HEAD", url); resp = h2.getresponse(); header = resp.getheaders(); location = header[3][1]; sContent = urllib2.urlopen(location).read(); savePath = "C:\\someweb\\%s.rar" % (id); file=open(savePath,'wb'); file.write(sContent); file.close(); print savePath + " saved"; except: pass;</div> <div>def working(): while True: arguments = q.get() do_somthing_using(arguments) sleep(1) q.task_done()</div> <div>for i in range(NUM): t = Thread(target=working) t.setDaemon(True) t.start() for id in ids: q.put(id)</div> <div>q.join() </div>
试试其它关键字
多线程下载文件
同语言下
.
比较两个图片的相似度
.
过urllib2获取带有中文参数的url内容
.
不下载获取远程图片的宽度和高度及文件大小
.
通过qrcode库生成二维码
.
通过httplib发送GET和POST请求
.
Django下解决小文件下载
.
遍历windows的所有窗口并输出窗口标题
.
根据窗口标题调用窗口
.
python 抓取搜狗指定公众号
.
pandas读取指定列
可能有用的
.
C#实现的html内容截取
.
List 切割成几份 工具类
.
SQL查询 多列合并成一行用逗号隔开
.
一行一行读取txt的内容
.
C#动态修改文件夹名称(FSO实现,不移动文件)
.
c# 移动文件或文件夹
.
c#图片添加水印
.
Java PDF转换成图片并输出给前台展示
.
网站后台修改图片尺寸代码
.
处理大图片在缩略图时的展示
speedmancs
贡献的其它代码
(
2
)
.
站内搜索
.
多线程下载文件
Copyright © 2004 - 2024 dezai.cn. All Rights Reserved
站长博客
粤ICP备13059550号-3