在客户端实现批量并发http下载代码,C代码库,德仔网

代码语言

代码分类

【C】在客户端实现批量并发http下载

作者:ruki / 发布于2014/9/10/ 636

投递到transfer_pool传输池的所有任务都是异步并发处理的。如果对并发量要求不高的话，例如客户端应用，那么使用全局的tb_transfer_pool()就足够了。全局的transfer_pool使用了全局的tb_aicp()，并且考虑到大部分客户端应用，并发量不是很高，因此对资源需求做了些限制，一般比较适合并发量小于100的场合。如果需要高并发的情况，则可以通过tb_transfer_pool_init、tb_aicp_init手动创建：transfer_pool和aicp，指定aicp需要的并发量，来提高并发需求。


	// 传输信息回调函数
	static tb_bool_t tb_demo_transfer_done_func(tb_size_t state, tb_hize_t offset, tb_hong_t size, tb_hize_t save, tb_size_t rate, tb_cpointer_t priv)
	{
	 // 计算进度
	 tb_size_t percent = 0;
	 if (size > 0) percent = (tb_size_t)((offset * 100) / size);
	 else if (state == TB_STATE_OK) percent = 100;
	
	 // 打印信息
	 tb_trace_i("save[%s]: %llu, rate: %lu bytes/s, percent: %lu%%, state: %s", priv, save, rate, percent, tb_state_cstr(state));
	
	 // 继续下载
	 return tb_true;
	}
	
	// 投递几个http下载任务
	tb_transfer_pool_done(tb_transfer_pool(), "http://www.xxxx.com/file1", "/tmp/a", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
	tb_transfer_pool_done(tb_transfer_pool(), "http://www.xxxx.com/file2", "/tmp/b", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
	
	// 投递几个https下载任务
	tb_transfer_pool_done(tb_transfer_pool(), "https://www.xxxx.com/file3", "/tmp/c", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
	tb_transfer_pool_done(tb_transfer_pool(), "https://www.xxxx.com/file4", "/tmp/d", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
	
	// 投递几个文件copy任务
	tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file1", "/tmp/e", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
	tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file2", "/tmp/f", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
	
	// 投递几个文件copy任务
	tb_transfer_pool_done(tb_transfer_pool(), "/tmp/file1", "/tmp/g", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
	
	// 在windows下投递文件copy任务
	tb_transfer_pool_done(tb_transfer_pool(), "c://xxxx/file2", "c://tmp/h", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
	
	// 投递tcp socket传输任务
	tb_transfer_pool_done(tb_transfer_pool(), "sock://127.0.0.1", "/tmp/i", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
	
	// 投递udp socket传输数据到其他对方tcp socket服务器上
	tb_transfer_pool_done(tb_transfer_pool(), "sock://127.0.0.1/?udp=", "sock://xxx.xxx.xxx.xxx", 0, 0, tb_demo_transfer_done_func, tb_null, tb_null));
	
	/*! 投递异步io传输任务到传输池：iurl => ourl
	*
	* @param pool 传输池，默认可以使用全局的tb_transfer_pool()，也可以自己创建私有的pool
	* @param iurl 输入url
	* @param ourl 输出url
	* @param offset 源端开始传输的数据offset，一般只要传0就行了
	* @param rate 指定限速值，传0为默认无限速
	* @param done 传输信息回调函数，间隔1s调用一次
	* @param ctrl 控制参数设置回调函数，在开始传输前，对io的传输做一些参数控制
	* @param priv 用户传入的私有数据
	*
	* @return 投递成功：tb_true，投递失败：tb_false
	*/
	tb_bool_t tb_transfer_pool_done(tb_transfer_pool_ref_t pool, tb_char_t const* iurl, tb_char_t const* ourl, tb_hize_t offset, tb_size_t rate, tb_async_transfer_done_func_t done, tb_async_transfer_ctrl_func_t ctrl, tb_cpointer_t priv);

试试其它关键字

　批量并发　

同语言下

可能有用的

ruki贡献的其它代码(3)