.jpg)
清理Pandas数据其实很简单，但挑战在于需要耐心和细致。我们先来说说最重要的事情。通常，数据清理涉及以下三个步骤：
1.初步研究：使用df.info()和df.describe()快速了解数据的结构和内容。我们去年做的项目有大约3000层数据。此时，我们能够检测缺失值、重复值和数据类型问题。
2。处理缺失值：很多人都没有注意到这一点。一开始我以为只处理数字类型的缺失值，后来发现文本类型的数据也需要注意。可以使用 df.isnull().sum() 查找缺失值，然后根据情况使用 df.fillna() 或 df.dropna() 等方法。
3。转换和格式化数据。还有其他一些关键细节，例如日期格式、字符串规范化等。在我们去年看到的一个案例中，日期格式的混乱导致了后续分析的错误。我们后来统一了日期格式，避免了以后很多麻烦。
等等，还有别的事。处理后一定要检查数据清洗的效果，确保数据质量满足后续分析的需要。我认为值得尝试在清理过程中定期保存中间结果，以防您需要返回。