数据分析师课|新公布的4个数据预处理标准化方法,这些内容你真的很清楚吗
在数据预处理阶段,特征的标准化有哪些方法?
特征标准化(Feature Standardization)的作用是将样本数据中的每一列特征缩放到一个统一的尺度。方法有很多种,我列几个最常用的。
1、数据预处理标准化方法——最大值最小值标准化
xx是原始数值,x′x′是标准化之后的数值。标准化之后,该列所有的数都将会在[0,1][0,1]之间。当然我们可以稍作调整,把数据缩放到[−1,1][−1,1]的尺度上。
其中,注意以上提到的最大值、最小值,都是指该列的最大值、最小值。
2、数据预处理标准化方法——正态标准化
其中μμ和σσ分别是这列数据的均值和标准差。这个过程就和把一个正态分布标准化的过程是一样的,所以也称作正态标准化(Normalization)。根据正态分布的3σ3σ-原则,我们可以预计,在正态标准化之后,比较接近正态分布的数据在标准化后基本上都会在[−3,3][−3,3]之间。
3、数据预处理标准化方法——分位数标准化
其中IQRIQR是四分位距,也就是第三四分位(3rd quartile)和第一四分位(1st quartile)的差,Median是这一列的中位数。分位数标准化后的数据尺度和数据本身的分散程度相关,但是通常也是在[−3,3][−3,3]的范围内。
4、数据预处理标准化方法——范数标准化
XX是这一列所有的数,∥X∥∥X∥是这一列的范数,可以取1-范数,也可以取2-范数。对特征进行范数标准化之后,这列所有的数值都会是在[0,1][0,1]之间。
以上就是有关于数据预处理标准化方法的相关内容,以及相应的解析,不论你是已经入职数据分析师岗位的新人,还是打算进入数据分析岗位的小白,以上的内容都或多或少会对大家有所帮助,环球网校的小编在这里祝大家的数据分析师职业道路顺利。
最新资讯
- 数据分析汇总报告有哪些组成?这才是数据分析师能力的体现2020-07-17
- 什么是EOI框架?这对于数据分析师竟然这么重要2020-07-17
- 如何进行业务核心数据分析?这对于数据分析师来说竟如此重要2020-07-16
- 有哪些数据分析实践的概念?不会这个的数据分析师都转行了2020-07-13
- 数据的分析思路是什么?正确的分析思路可以帮助数据分析师进步2020-07-10
- 什么是数据回归分析方法?这才是数据分析师要用到的利器2020-07-10
- 数据相关的分析方法是什么?这三种才是数据分析师的救星2020-07-10
- 高级数据分析方法是什么?这才是数据分析师进阶的必备技能2020-07-09
- 提出数据假设的方法是什么?这才是数据分析师应该明白的东西2020-07-09
- 如何找出数据优化指标?优秀的数据分析师都在这样思考2020-07-09