数据分析师干货|新出炉的3个检查数据质量的方法，这几点内容值得被关注

1、检查数据质量的方法——检视

下一步是认真地排查数据。检查数据有两个目的：第一，发现错误数据，修复或去除;第二，充分了解每一行每一列。这一步不能跳过，否则无法让数据发挥最大功效。只有你对你的数据表示出爱，它才会爱你哦 ~

以一列数据为例，它的标签是什么?数值与标签匹配吗?标签对你来说有意义吗?这一列数据有记录吗?是怎样测量的?谁来测量的?如果你幸运地认识录入数据的人，不妨约他们出来吃甜甜圈，问问他们是怎样测量的，问问他们录入中有没有有趣的故事，这一顿点心会给你带来回报的。

现在，让我们把用这一列画一个柱状图。整体分布符合你的预期吗?是否有异常数据点?异常点是否有意义?例如，如果这一列代表的是农业分布的经度，有没有一个数据点落在太平洋中?如果这一列是关于考试分数，是否有人的分数是 1% 或者10000% ?用你所知的一切对数据做一个监测，如果有的数据看起来有些奇怪，找出为什么。

2、检查数据质量的方法——校正

在排查数据中，你可能发现一些标签和记录的错误，记录并分享你的发现。

你也可能发现一些值是错误的。一些值可能超过了正常范围，比如一个人竟然 72 米高，或者有些值是不可能出现的，例如一个写成“中心路 7777777777 号”的地址。这种情况下，你有三个选择：如果这个值很容易更改，那就改为正确的值，例如把高 72 米改成 72 英寸;如果错误的值不明显，你可以删掉这个值、注明缺失;如果这个值是关键信息，你可以删除整行或者整列。这样可以让你训练的模型远离错误数据。错误数据可比缺失数据危害更大。

你可能很想移除看起来不理想的数据，例如异常数据或者不支持你的理论的数据——但千万别这样做，否则不仅违背学术伦理，更可怕的是可能会导致错误结果。

3、检查数据质量的方法——替换缺失值

几乎每一个数据集都存在缺失值，可能是由于数值错误被删除了，也可能是你在实验途中去测量了一个新的变量，还可能是这些数据来自不同的数据源。但不管什么情况，大部分机器学习算法要么要求数据无缺失，要么会用默认值填充。而你可以比机器做得更好，因为你了解你的数据。

替换缺失值有很多方法， 处理缺失值的方法 一文 提供了一个办法，而最佳的处理办法取决于每一列的意义和数值缺失带来的影响，每一个数据集的情况可能都有所不同。

替换完所有的缺失值后，你的数据们现在已经“连上”了，每一个数据点对每一个特征都有意义。现在，这些数据是干净的、可以拿来用了。

有时候你可能发现，在数据清理后，几乎没有剩余的数据了……这是件好事情，因为你刚刚避免了走上用错误的数据建立模型、得到错误的结论、被客户嘲笑、激怒老板的不归路 …… 如果是这样，那就回到第一步，从头获取更多的数据吧!

以上就是有关于检查数据质量的方法的相关内容，以及相应的解析，不论你是已经入职数据分析师岗位的新人，还是打算进入数据分析岗位的小白，以上的内容都或多或少会对大家有所帮助，环球网校的小编在这里祝大家的数据分析师职业道路顺利。