淘宝商品简单爬虫代码,Python代码库,德仔网

代码语言

代码分类

【Python】淘宝商品简单爬虫

作者:咏泰 / 发布于2018/3/26/ 1070

淘宝商品简单爬虫，主要的运用re、request、parse(用于urlopen读取带中文的连接)模块，读取和操作html标签，还有文件操作。

#!/usr/bin/python
# -*- coding: UTF-8 -*-
# @Time    : 2018/3/26 0:37
# @Author  : LeiYang
# @Site    : 
# @File    : aa.py
# @Software: PyCharm

import re;
import urllib
from urllib import request,parse;


searchName = "口红"
pages = 10
url = 'https://s.taobao.com/search?'; #网址
payload = {'q':searchName,'s': '1','ie':'utf8'}  #字典传递url参数
file = open('口红价格表.txt','w',encoding='utf-8') #打开文件

for k in range(1,pages):
    urlg = url;
    payload['s'] = k ;
    for key, values in payload.items():
        urlg += key + "=" + str(values) + "&";
    print(urlg)
    urlg = urllib.parse.quote(urlg, safe='/:?=') #safe是个关键参数必带
    # resp = request.urlopen(urlg.encode('utf-8')).read().decode('utf-8')
    resp = request.urlopen(urlg).read().decode('utf-8')
    print(resp)
    #获取了页面标签，开始匹配正则
    #获取标题
    reName = re.compile(r'"raw_title":"([^"]+)') #正则
    listName = reName.findall(resp);  #获取到标题列表

    #获取价格
    reValue = re.compile(r'"view_price":"([^"]+)')
    listValue = reValue.findall(resp)  #正则
    print(listValue) #获取到价格列表

    #列表长度
    listLen = len(listValue);

    #将数据写入文本中
    for num in range(listLen):
        curNum = (k - 1) * listLen + num  ;
        file.write('序号：' + str(curNum) + "\n" + "名字：" + listName[num] + "\n" + "价格：" + str(listValue[num]) + "\n\n")

#关闭文件
file.close()

试试其它关键字

同语言下

可能有用的

咏泰贡献的其它代码(9)