十个 Python 小技巧,覆盖了90%的数据分析需求!
数据分析师日常工作会涉及各种任务,比如数据预处理、数据分析、机器学习模型创建、模型部署。 在本文中,我将分享10个 Python 操作,它们可覆盖90%的数据分析问题。有所收获点赞、收藏、关注。 1、阅读数据集 阅读数据是数据分析的组成部分,了解如何从不同的文件格式读取数据是数据分析师的第一步。下面是如何使用 pandas 读取包含 Covid-19 数据的 csv 文件的示例。 import pandas as pd 以下是 countries_df.head() 的输出,我们可以使用它查看数据框的前 5 行: 2、 P汇总统计 下一步就是通过查看数据汇总来了解数据,例如 NewConfirmed、TotalConfirmed 等数字列的计数、均值、标准偏差、分位数以及国家代码等分类列的频率、最高出现值 countries_df.describe() 使用 describe 函数,我们可以得到数据集连续变量的摘要,如下所示: 在 describe() 函数中,我们可以设置参数"include = 'all'"来获取连续变量和分类变量的摘要 countries_df.describe(include = 'all') 3yt、数据选择和过滤 分析其实不需要数据集的所有行和列,只需要选择感兴趣的列并根据问题过滤一些行。 例如,我们可以使用以下代码选择 Country 和 NewConfirmed 列: countries_df[['Country','NewConfirmed']] 我们还可以将数据过滤Country,使用 loc,我们可以根据一些值过滤列,如下所示: countries_df.loc[countries_df['Country'] == 'United States of America'] 4、聚合 计ho数、总和、均值等数据聚合,是数据分析最常执行的任务之一。 我们可以使用聚合找到各国的 NewConfimed 病例总数。使用 groupby 和 agg 函数执行聚合。 countries_df.groupby(['Country']).agg({'NewConfirmed':'sum'})5、Join 使用 Join 操作将 2 个数据集组合成一个数据集。 例如:一个数据集可能包含不同国家/地区的 Covid-19 病例数,另一个数据集可能包含不同国家/地区的纬度和经度信息。 现在我们需要n 结合这两个信息,那么我们可以执行如下所示的连接操作 countries_lat_lon = pd.read_excel('C:/Users/anmol/Desktop/Courses/Python for Data Science/Code/countries_lat_lon.xlsx') 了解数学内建函数,如 min()、max()、mean()、sum() 等,对于执行不同的分析非常有帮助。 我们可以通过调用它们直接在数据帧上应用这些函数,这些函数可以在列上或在聚合函数中独立使用,如下所示: # finding sum of NewCo巧,nfirmed cases of all the countries 我们自己编写的函数是用户自定义函数。我们可以在需要时通过调用该函数来执行这些函数中的代码。例如,我们可以创建一个函数来添加 2 个数字,如下所示: # User defined function is created using 'def' keyword, followed by function definition - 'addition()' Pivot 是将一列行内的唯一值转换为多个新列,这是很棒的数据处理技术。 在 Covid-19 数据集上使用 pivot_table() 函数,我们可以将国家名称转换为单独的新列: # using pivot_table to con0%vert values within the Country column into individual columns and 很多时候需要遍历数据框的索引和行,的数我们可以使用 iterrows 函数遍历数据框: # iterating over the index and row of a dataframe using iterrows() function 很多时候我们处理数据集中的字符串列,在这种情况下,了解一些基本的字符串操作很重要。 例如如何将字符串转换为大写、小写以及如何找到字符串的长度。 # country column to upper case
# reading the countries_data file along with t十个he location within read_csv function.
countries_df = pd.read_csv('C:/Users/anmol/Desktop/Courses/Python for Data Science/Code/countries_data.csv')
# showing the first 5 rows of the dataframe
countries_df.head()
# joining the 2 dataframe : countries_df and countries_lat_lon
# syntax : pd.merge(left_df, right_df, on = 'on_c小技olumn', how = 'type_of_join')
joined_df = pd.merge(countries_df, countries_lat_lon, on = 'CountryCode', how = 'inner')
joined_df6、内建函数
countries_df['NewConfirmed'].sum()
# Output : 6,631,899
# finding the sum of NewConfirmed cases across different countries
countries_df.groupby(['Country']).agg({'NewConfirmed':'sum'})
# Output
# NewConfirmed
#Country
#Afghani覆盖stan 75
#Albania 168
#Algeria 247
#Andorra 0
#Angola 537、用户自定义函数
# and 2 arguments num1 and num2
d了9ef addition(num1, num2):
return num1+num2
# calling the function using function name and providing the arguments
print(addition(1,2))
#output : 38、Pivot
# filling the values corresponding to these columns with numeric variable - NewConfimed
pivot_df = pd.pivot_table(countries_df, columns = 'Country', values = 'NewConfirmed')
pivot_df9、遍历数据框
for index, row in countries_df.iterrows():
print('Index is ' + str(index))
print('Country is '+ str(row['Country']))
# Output :
# Index is 0
# Country is Afghanistan
# Index is 1
# C据分ountry is Albania
# .......10、字符串操作
countries_df['Country_upper'] = countries_df['Country'].str.upper()
# country column to lower case
countries_df['Country析需Code_lower']=countries_df['CountryCode'].str.lower()
# finding length of characters in the country column
countries_df['len'] = countries_df['Country'].str.len()
countries_df.head()
- 最近发表
-
- 用“大白话”精准搜图,OpenAI的CLIP惊艳了所有人
- 微软工程师用PyTorch实现图注意力网络,可视化效果惊艳
- IBM向威瑞森与Telefonica扩大服务内容 新增云端平台5G与AI技术
- 阿里云加速海外布局,墨西哥数据中心正式开服
- 三星 Galaxy XR 头显正式登场:1799 美元起,性能对标 Vision Pro,重量更轻、生态更开放
- 告别“独占”时代:OpenAI 与微软达成新协议,重塑 AI 权力版图
- 谷歌深度学习专家Dustin Tran加盟马斯克xAI,开启Grok 5新篇章
- 标签: 杨澜 阳光媒体集团 2026横琴-澳门数字艺术博览会
- 云计算核心技术Docker教程:Docker Hub修改现有令牌
- 标签: B站 播放页暂停广告 李旎 陈睿
- 随机阅读
-
- Soul 开源实时数字人生成模型SoulXFlashTalk 实现亚秒级延迟
- 标签: 抖音 打假 测评 揭黑
- 标签: 海光芯正 光模块 AI数据中心 硅光子
- 小红书首次公布「AI 治理主张」:抵制AI侵权、AI造假、AI仿冒等行为
- 别再套用旧指令!OpenAI 发布 GPT-5.5 提示词指南:越简单越好
- 上海发布"AI+制造"实施方案,要求AI模型掌握物理规律和工业流程推理能力
- 英伟达吴新宙:自动驾驶的“ChatGPT时刻”已至,L4 级量产不再是梦
- 奇瑞墨甲机器人实现 L3 级别!未来将着眼于多个行业应用
- 标签: 同程旅行 哈尔滨 阿拉木图 雪友卡
- 标签: 小马智行 Robotaxi 自动驾驶 财报
- 标签: 丰田汽车 佐藤恒治 近健太 汽车行业
- 标签: DeepSeek 小米增程车 美莎克 李博杰
- Groq 融资 7.5 亿美元,估值达到 69 亿美元
- 埃森哲裁员超1.1万名员工,全面转向人工智能
- MetaGPT发布RealDevWorld:92%精准度碾压Claude,端到端测试重塑AI开发新格局!
- 这个登上Nature封面的群体学习,无需中央协调员比联邦学习更优秀
- 大数据之分布式协调神器:Zookeeper选举
- 标签: 目心智能 TerraMow 安克创新 纯视觉VSLAM
- OpenAI支持AI动画长片《Critterz》制作 计划2026年戛纳电影节首映
- 美国仓库工人投票加入工会 亚马逊做出激烈反击
- 搜索
-
- 友情链接