简单小爬虫代码,C代码库,德仔网

代码语言

代码分类

【C】简单小爬虫

作者:超级猪小峰 / 发布于2013/11/28/ 637

一个简单的小爬虫，练手用下，主要是加入一个种子url然后抓它页面，之后解析下标签, 提取出链接，再循环抓.

//   ClientNode client;
//   Parser parser;
//   std::list<std::string> todolist;
//   std::list<std::string> visitedlist;
//   std::string url = "http://www.sina.com.cn/";
//   todolist.push_back(url);
//   
//   while(!todolist.empty()) {
//       url = todolist.front();
//
//       if(client.InitConnect(url))
//           client.Fetch();
//       
//       parser.ParseHtmlFile(client.GetFileName(), todolist); 
//
//       visitedlist.push_back(url);
//       todolist.pop_front();
//       sleep(3);
//   }

//   std::list<std::string>::iterator it = todolist.begin();
//   for(;it!=todolist.end();++it) {
//       printf("%s\n", (*it).c_str());
//   }

试试其它关键字

　小爬虫　

同语言下

可能有用的

超级猪小峰贡献的其它代码(1)

.简单小爬虫