大家好，这里是小安说网控。

        完整的电商数据采集到数据库以后，还不能直接拿来应用于渠道管控，必须要对繁多冗杂的数据进行有目的的清洗，才能使数据符合我们的要求。

        一、 清洗维度

        1、 数据杂质：格式错误、数据异常、数据缺失、重复、矛盾、逻辑关系混乱等多方面杂质；

        2、 URL校正：根据预设规则自动清洗字段，对比不同位置的字段信息，检查URL 的准确性，清洗出异常数据待校正；

        3、 图片内容标注：针对图片内容的有效信息进行检查，比对识别出的文字，清洗出异常数据待校正。

        二、 清洗过程

        1、 清洗：根据预设规则自动清洗字段；

        2、 二次清洗：对清洗过的数据进行二次清洗，再次检查数据的准确性；

        3、 人工校正：人工辅助系统，对判断有异议的数据，人工介入判断，保证不漏数据、不多数据。

        利用有效的数据清洗机制，建立精准的数据仓库，才能为数据分析提供扎实的数据基础。