数据清洗的内容包括哪四个

我经历过这一点。那年我负责一个项目，我记得客户数据好乱。现在，我们来谈谈数据清理。我们总结了主要四个方面：
1．缺失值处理。我以前经历过这个。我记得有一次我在公司做市场分析。 30% 的数据缺失客户信息。我实在是头疼极了。我必须一一填写。
2。异常值处理。我以前做过这个。有一次，我们在分析电商数据时，发现有些订单数量达到几十万，显然是异常值，需要过滤掉。
3。重复的数据处理。我在这方面也有经验。我曾经帮助一家银行处理客户数据，发现有数千条重复的客户信息需要整理。
4。数据格式已统一。我以前做过这个。我记得帮助一家公司整合他们的客户数据。数据格式很乱。统一格式花了几天时间。
整理这四个方面的数据基本上是没有问题的。想想看，我在这方面还是有不少经验的。

数据清理。话虽如此，我从事问答论坛行业已经很长时间了，见识也很多。数据清洗主要包括以下四个方面：
1．处理缺失值：就像手机上的照片一样，有时您的照片可能会有水印或者一半的照片是黑色的。数据清理存在缺失值。 2018年，该项目面临着填补缺失销售数据的挑战。
2。处理异常值：就像买了一部新手机并在屏幕上发现一个小黑点一样。数据中的这些异常值是不明确遵循规则的值。 2019年，有一个电商平台的用户评分，我记得曾经处理过极端的评分。
3。处理重复值：就像手机上的联系人一样。有时有两个人同名。在数据清理中，重复的值是相同的记录。 2017年，我发现我的客户关系管理系统有数百条重复的客户信息。
4。格式化：就像整理书架并按大小排列书籍一样。数据清洗中的格式化是指统一数据的格式，如日期格式、货币单位等。我记得2016年，对于金融项目，所有日期格式必须统一为YYYY-MM-DD。
老实说，当时我不明白为什么要这样处理数据。但现在看来，这似乎是保证数据分析准确性的根本任务。

我记得去年夏天我在一家初创公司担任数据分析师。那天下午，我坐在办公室里，面对着一堆凌乱的Excel表格。突然，一位同事跑来，说他们的市场研究数据有问题，客户急着要结果。我打开表格，看着那些拼写错误、重复内容和格式混乱的数据，我的头立刻就晕了。
等一下，我突然想到数据清洗通常涉及到以下四个方面：
1．数据清理：我花了几个小时手动纠正所有拼写错误，并将“市场研究”更改为“市场研究”。 2.数据验证：我验证了每个数据点，发现大约5％的数据是无效的，例如空值或异常值。 3. 数据集成：我合并了来自不同来源的电子表格，以确保包含所有相关信息。 4.数据转换：对于一些复杂的统计指标，我编写了脚本将其转换为易于理解的格式。
最终，我在截止日期前顺利完成了工作，客户也对结果感到满意。但这让我思考，如果有一个自动数据清理过程会怎么样？

数据清理包括：缺失值处理、异常值检测、重复值识别和数据格式统一。