手把手教你采集京东销售数据并做简单的数据分析和可视化
前言 大家好!我是古月星辰,大三本科生,数学专业,Python爬虫爱好者一枚。今天给大家带来JD数据的简单采集和可视化分析,希望大家可以喜欢。 一、目标数据 随着移动支付的普及,电商网站不断涌现,由于电商网站产品太多,由用户产生的评论数据就更多了,这次我们以京东为例,针对某一单品的评论数据进行数据采集,并且做简单数据分析。 二、页面分析 这个是某一手机页面的详情页,对应着手机的各种参数以及用户评论信息,页面URL是: https://item.jd.com/10022971060622.html#none 然后通过分析找到评论数据对应的数据接口,如下图所示: 它的请求url: https://club.jd.com/comment/productPageComments手把.action?callback=fetchJSON_com ment98& productId=10022971060622 &score=0&sortType=5& page=0 &pageSize=10&isShadowSk u=0&fold=1 注意看到这两个关键参数 1. productId: 每个商品有一个id 2. page: 对应的评论分页 三、解析数据 对评论数据的url发起请求: url:https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comm&nb手教sp;ent98& productId=10022971060622 &score=0&sortType=5& page=0 &pageSize=10&isShado wSku=0&fold=1 json.cn 打开json数据(我们的评论数据是以json形式与页面进行交互传输的),如下图所示: 分析可知,评论url中对应十条评论数据,对于每一条评论数据,我们需要获取3条数 据,contents,color,size(注意到上图的maxsize,100,也就是100*10=1000条评论)。 四、程序 1.导入相关库 import request你采s import json import time import openpyxl #第三方模块,用于操作Excel文件的 #模拟浏览器发送请求并获取响应结果 import random 2.获取评论数据 def get_comments(productId,page): url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98&am集京p;productId={0}&score=0&sortType=5&page={1}&pageSize=10&isShadowSku=0&fold=1'.format(productId,page) # 商品id resp=requests.get(url,headers=headers) #print(resp.text) #响应结果进行显示输出 s1=resp.text.replace('东销fetchJSON_comment98(','') #fetchJSON_comment98( s=s1.replace(');','') #将str类型的数据转成json格式的数据 # print(s,type(s)) # print('*'*100) res=json.loads(s) pr售数int(type(res)) return res 3.获取最大页数(也可以不写) def get_max_page(productId): dic_data=get_comments(productId,0) #调用刚才写的函数,向服务器发送请求,获取字典数据 return dic_data['maxPage'] 4.提取数据 def get_info(productId): 据并 #调用函数获取商品的最大评论页数 #max_page=get_max_page(productId) # max_page=10 lst=[] #用于存储提取到的商品数据 for page in range(0,get_max_page(productId)): #循环执行次数 &nbs做简p; #获取每页的商品评论 comments=get_comments(productId,page) comm_lst=comments['comments'] #根据key获取value,根据comments获取到评论的列表(每页有10条评论) #遍历评论列表,分别获取每单的条评论的中的内容,颜色,鞋码 for item in comm_lst: #每条评论又分别是一个字典,再继续根据key获取值 content=item['content'] #获取评论中的内容 &n数据bsp; color=item['productColor'] #获取评论中的颜色 size=item['productSize'] #鞋码 lst.append([content,color,size]) #将每条评论的信息添加到列表中 分析 time.sleep(3) #延迟时间,防止程序执行速度太快,被封IP save(lst) #调用自己编写的函数,将列表中的数据进行存储 5.用于将爬取到的数据存储到Excel中 def save(lst): wk=openpyxl.Workbook () #创建工作薄对象 sheet=wk.active #获取活动表 和可#遍历列表,将列表中的数据添加到工作表中,列表中的一条数据,在Excel中是 一行 for item in lst: sheet.append(item) #保存到磁盘上 wk.save('销售数据.xlsx') 6.运行程序 if __name__ == '__main__': &视化nbsp; productId='10029693009906' # 单品id get_info(productId) 五、简单数据 1.简单配置 # 导入相关库 import pandas as pd import matplotlib.pyplot as plt # 这两行代码解决 plt 中文显示的问题 plt.rcParams['font.sans-serif'] = ['SimHei']&nb手把sp;plt.rcParams['axes.unicode_minus'] = False # 由于采集的时候没有设置表头,此处设置表头 data = pd.read_excel('./销售数据.xlsx', header=None, names = ['comments','color','intro'] ) # data.head() 2.手机颜色数量对比 x = ['白色','黑色','绿色','
- 最近发表
- 随机阅读
-
- OpenAI将与甲骨文联手打造数据中心 部署6.4万块英伟达GB200
- AI视频落地垂直领域!Runway开放模型微调权限,聚焦机器人与建筑业
- 标签: MiniMax M2.7 Agent框架 开源模型
- AI人工智能在弱电行业的应用趋势
- xAI加速AI前沿:马斯克宣布Grok5 将在数周内开始训练
- 标签: TikTok CapCut DramaBox ReelShort
- 谷歌翻译大升级!实时同传+AI陪练,学外语就像聊天一样简单!
- 阿里云贾扬清:大数据+AI工程化 把数据真正“用”起来
- 标签: 夸克AI眼镜 支付宝 准心辅助 骨传导拾音
- 马斯克宣布 X 平台将推出全新 AI 推荐算法,提升信息流质量
- 标签: 滴滴充电 小桔充电 林枝棠 充电服务
- 标签: 千分一 智能笔 IPO 专精特新
- 云安全日报210730:Ubuntu PDF转换工具发现任意代码执行漏洞,需要尽快升级
- 亚马逊子公司宣布推出无人驾驶电动车,将于2021年投入使用
- 标签: 大众汽车 斯柯达 西雅特 电动化转型
- 标签: 元宝 微信安全中心 春节营销 红包
- 阿里重磅开源AgentScope 1.0:智能体开发全链路革新
- 马斯克旗下 X 平台推出 AI 定制信息流功能,用户可自由选择话题
- 标签: OpenAI Anthropic 生成式AI 企业AI
- 2020下半年,中国整体云专业服务市场规模达91.2亿元人民币
- 搜索
-
- 友情链接