数据挖掘从入门到放弃之一线性回归和逻辑回归
“ 数据挖掘算法基于线性代数、概率论、信息论推导,深入进去还是很有意思的,能够理解数学家、统计学家、计算机学家的智慧,这个专栏从比较简单的常用算法入手,后续研究基于TensorFlow的高级算法,最好能够参与到人脸识别和NLP的实际项目中,做出来一定的效果。” 一、理解线性回归模型 首先讲回归模型,回归模型研究的是因变量(目标)和自变量(预测器)之间的关系,因变量可以是连续也可以离散,如果是离散的就是分类问题。思考房价预测模型,我们数据可以根据房子的大小、户型、位置、南北通透等自变量预测出房子的售价,这是最简单的回归模型,在初中里面回归表达式一般这样写,其中x是自变量,y是因变量,w是特征矩阵,b是偏置。 在机器学习推导里面引入线性代数的思想,将假设我们用一个表达式来描述放假预测模型,x代表一个房子的特征集,它是一个n×1的列向量,总共有m个特征集,θ是一个n×1的列向量,是我们想要求得未知数。 我们采用误差最小的策略,比如有预测表达式:y工资=Θ1*学历+Θ2*工作经验+挖掘Θ3*技术能力+.......+Θn*x+基本工资,预测的y值和实际值y_存有差距,策略函数就是使得m个特征集的(真实值y-预测值)的平方和最小。(差值可能是负数,所以采用平方和); 按照对于正规方程的求法,我们对θ 求偏导: 也就是,给定特征矩阵X和因变量y,即可以求使误差率最小的θ值,满足后续的回归模型。了解线性代数的童靴可以看出来问题,在θ的表达式中有求逆运算,需要保证矩阵可逆,这一般是无法保证的,这样就会造成θ无解,策略失效; 二、计算机的做法:梯从入度下降 常规的方程需要大量的矩阵运算,尤其是矩阵的逆运算,在矩阵很大的情况下,会大大增加计算复杂性。,且正规方程法对矩阵求偏导有一定的局限性(无法保证矩阵可逆),下面介绍梯度下降法,也就是计算机的解决方法,每次走一小步,保证这一小步是最有效的一步,可以想象自己正在下山,你不知道目的地(全局最小值)在哪,但是你能够保证自己每次走的都是最陡峭的一步; 我们的策略仍然保持不变,就是使得m个特征集的(真实值y-预测值)的平方和最小: 梯度下降法实现:赋予门到初始θ 值,并根据公式逐步更新θ 使得J(θ) 不断减少,最终至收敛,对应的参数θ 即为解。为了推导方便,首先研究只有一个训练样本时,如何计算推导公式。 θ 的每个分量更新公式为: 推广到m个训练数据,参数更新公式为: 三、逻辑回归模型 逻辑回归与线性回归同属广义线性模型,逻辑回归是以线性回归为理论支持,是一个二分类模型,也可以推广多到分类问题,通过Sigmoid函数引入了非线性因素,因此可以轻松处理0/1分类问题,首先介绍一下Sigmoid函数: sigmoid函放弃数图像是一个S曲线,取值在[0, 1]之间,在远离0的地方函数的值会很快接近0或者1,sigmoid函数的求导特性是: 逻辑回归的预测函数是下图,只是在特征到结果的映射中加入了一层函数映射,先把特征线性求和,然后使用函数g(z)将最为假设函数来预测。g(z)可以将连续值映射到0到1之间: 通过求似然函数,两边取log后,对θ求偏导: 这样我们就得到了梯度上升每次迭代的更新方向,那么θ的迭代表达式为: 发现同线性回归模型是同一个表达式,这并不仅仅是巧合,两之一者存在深层的联系; 四、回归模型使用 数据是2014年5月至2015年5月美国King County的房屋销售价格以及房屋的基本信息。数据分为训练数据和测试数据,分别保存在kc_train.csv和kc_test.csv两个文件中,其中训练数据主要包括10000条记录,14个字段:销售日期,销售价格,卧室数,浴室数,房屋面积,停车面积,楼层数,房屋评分,建筑面积,地下室面积,建筑年份,修复年份,纬度,经度。 数据集地址:https://githu线性b.com/yezonggang/house_price,按照流程完成模型建立: import pandas as pd from pandas import DataFrame import numpy as np import matplotlib.pyplot as plt %matp回归lotlib inline import seaborn as sns from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier from s和逻klearn.linear_model import LinearRegression # 数据读取 baseUrl="C:\Users\71781\Desktop\2020\ML-20200422\houre_price\" house_df=pd.read_csv(baseUrl+'train.csv' ) test_df=pd.read_csv(base辑回Url+'test.csv') house_df.head() # 删除无关变量 house_df=house_df.drop(['saleTime','year','repairYear','latitude','longitude','buildingSize'],axis=1) test_df=test_df.drop(['saleTime','year','repairYear'数据,'latitude','longitude','buildingSize'],axis=1) # 模型建立 X_price=house_df.drop(['price'],axis=1) # X_price.head() Y_price=house_df['price'] Y_price.head() LR_reg=LinearRegre挖掘ssion() LR_reg.fit(X_price, Y_price) Y_pred = LR_reg.predict(test_df) LR_reg.score(X_price, Y_price) # 可以选择进行特征缩放 #new_house=house_df.drop(['price'],axis=1) 从入;#from sklearn.preprocessing import MinMaxScaler #minmax_scaler=MinMaxScaler().fit(new_house) #进行内部拟合,内部参数会发生变化 #scaler_housing=pd.DataFrame(minmax_scaler.transform(new_house),column门到s=new_house.columns) #mm=MinMaxScaler() #mm.fit(test_df) #scaler_t=mm.transform(test_df) #scaler_t=pd.DataFrame(scaler_t,columns=test_df.columns)荐
- 最近发表
-
- 标签: 华为 鸿蒙座舱 MoLA 问界
- 标签: 明日方舟:终末地 鹰角网络 PayPal支付事故 游戏公测
- 无触发后门成功欺骗AI模型 为对抗性机器学习提供新的方向
- 鑳戒笌 GPT-3 鐩稿�缇庯紵EleutherAI 寮€婧� GPT-J
- 云安全日报201221:Debian内核发现特权升级,执行任意代码漏洞,需要尽快升级
- 鑻规灉楂樼�瑙h�2021璐㈠勾Q3璐㈡姤锛�5G娓楅€忕巼姝e�浜庢棭鏈熼樁娈�
- 标签: 德硕科技 电锤电镐 北交所IPO ODM模式
- Google Meet 推出 AI 妆容滤镜:开会也能“素颜变精致”
- 云安全日报210429:Ubuntu多媒体插件发现执行任意代码漏洞,需要尽快升级
- 直播间缺主播吗?京东云推出数字人虚拟主播服务“灵小播”
- 随机阅读
-
- 标签: 鸿蒙智行 新黄河 东莞门店 韩先生
- 涓滀含濂ヨ繍浼氭槑鏃ュ紑骞曪紒闃块噷浜戞敮鎾戦�娆′簯涓婄洿鎾�
- 甲骨文第四财季营收112亿美元 云服务和授权支持业务营收占66%
- Cohere推出全新模型Command A Reasoning,专为企业级复杂推理任务打造
- 云安全日报210428:Apache OFBiz电子商务平台发现远程代码执行漏洞,需要尽快升级
- 标签: 托伦斯 北方华创 中微公司 Lumentum
- 红杉资本注资Rogo Technologies,AI 工具或将颠覆初级银行家角色
- 标签: 高途集团 陈向东 AI教育 素质素养
- 英伟达发布新一代机器人芯片Jetson Thor,AI算力提升7.5倍!
- 标签: 腾讯云代码助手 CodeBuddy WorkBuddy 小龙虾
- 鑻规灉绗�笁璐㈠�钀ユ敹814浜跨編鍏冿細鍑€鍒╂鼎鍚屾瘮澧為暱93%
- 标签: 抖音 直播治理 健康分 AI审核
- 标签: OpenAI ChatGPT 奥尔特曼 纳德拉
- 腾讯启动AI应用繁荣计划,超300家企业抢滩智能体新赛道
- 标签: 日产汽车 2025财年 经营重建 结构改革
- 标签: Outopia 越野跑 美丽诺羊毛 华映资本
- 标签: 荃信生物 赛乐信 奥托奇拜单抗 鲁塞奇塔单抗
- 标签: 雅迪 电动两轮车 台铃 爱玛
- 暴涨后又一夜蒸发1500亿 硅谷老字号英特尔发生了什么?
- Spotify在美国推出付费播客订阅平台 挑战苹果播客
- 搜索
-
- 友情链接