.net core强大的列表对比取数

devtools/2025/1/8 19:14:14/

将一个list的中的所有数据在另一个list中找出,并将找到的数据生成一个新的list。
背景:
有一个大的字符串类型的list Alllist,中包含可营销的数据和不可营销的数据,共八千万条
另一个字符串list CanMarkelist中包含不可营销的数据,共三千万条
现在要将可营销的数据生成一个list,将不可营销的数据也生成一个list

这种情况下,使用for循环去Array.IndexOf(CanMarkelist, all)的话性能将大量消耗。所以可以使用:

IntersectBy:取两个字符串的交集
ExceptBy:取两个字符串的差集

这样能快速取出所有数据。

我的开发需求是:
读取两个文件,一个是所有数据文件(内容包含手机号),一个是可营销的数据文件(加过密的手机号md5串),对比两个文件,将可营销的数据和不可营销的手机号数据分别生成两个文件。
因为所有数据文件中包含了可营销的数据,所以可营销的数据是加过密的也没关系,所有数据文件中有解了密的手机号。
我的代码:

//
var canMarke= File.ReadAllLines("D:\\数据文件\\AllData.txt").ToHashSet();//可营销的md5文件
var allData= File.ReadAllLines("D:\\数据文件\\canMarket.txt");//所有数据的手机号文件//将所有数据去重,然后转成字典类型,将手机号转成md5作为key,将手机号作为value
var allDataToMD5= allData.Distinct().ToDictionary(x => EncryptExtension.ToMd532String(x, OutputMode.LowerHex));//可营销的数据 
//取可营销的md5和所有数据的字典的key作比较取交集的value,则为可营销数据的手机号
var canMarketing = allDataToMD5.IntersectBy(canMarke, x => x.Key).Select(x => x.Value).ToList();
//取可营销的md5和所有数据的字典的key作比较取差集的value,则为不可营销数据的手机号
var nitCanMarketing = allDataToMD5.ExceptBy(canMarke, x => x.Key).Select(x => x.Value).ToList();// 将匹配的行写入到新文件中
File.WriteAllLines("D:\\数据文件\\keYinXiao.txt", canMarketing);
File.WriteAllLines("D:\\数据文件\\buKeYinXiao.txt", nitCanMarketing);

http://www.ppmy.cn/devtools/148275.html

相关文章

除了淘宝、天猫和京东,其他电商平台的按图搜索商品API返回值结构是怎样的?

除了淘宝、天猫和京东,拼多多、抖音等电商平台的按图搜索商品 API 返回值结构如下: 拼多多 拼多多虽然目前暂无公开的按图搜索商品 API,但从其根据关键词取商品列表 API 以及商品详情数据接口的返回值结构可推测,按图搜索商品 API…

今日头条ip属地根据什么显示?不准确怎么办

在今日头条这样的社交媒体平台上,用户的IP属地信息对于维护网络环境的健康与秩序至关重要。然而,不少用户发现自己的IP属地显示与实际位置不符,这引发了广泛的关注和讨论。本文将深入探讨今日头条IP属地的显示依据,并提供解决IP属…

解决Spring boot集成quartz时service注入失败为null的问题

解决Spring boot集成quartz时service注入失败为null的问题 一、报错信息二、代码任务类源代码配置类原代码 三、注入失败原因四、解决的思路11、任务类修改2、配置类修改 五、 解决的思路2 一、报错信息 java.lang.NullPointerException: null at farbun.server.scheduledTask…

数据挖掘——认识数据

数据挖掘——认识数据 数据对象和属性数据对象属性和属性值 数据统计与可视化数据统计汇总离散度度量 数据的相似性和相异性度量数值属性的邻近性度量 数据对象和属性 数据对象 数据集由数据对象组成 一个数据对象代表一个实体 例子 销售数据库:客户,…

ROS2+OpenCV综合应用--10. AprilTag标签码追踪

1. 简介 apriltag标签码追踪是在apriltag标签码识别的基础上,增加了小车摄像头云台运动的功能,摄像头会保持标签码在视觉中间而运动,根据这一特性,从而实现标签码追踪功能。 2. 启动 2.1 程序启动前的准备 本次apriltag标签码使…

信创云之天翼云:引领信创云时代的先锋力量

数据显示,2024年中国云服务市场规模已达到4242.5亿元,显示出各行业对信息技术软硬件的依赖程度不断加深。在国家政策的持续支持下,数字化转型为云服务行业带来了前所未有的发展机遇。预计到2025年,中国云服务市场规模将突破4795.4…

《Opencv》基础操作详解(4)

目录 22、图像形态学操作 (1)、顶帽(原图-开运算) 公式: 应用场景: 代码示例: (2)、黑帽(闭运算-原图) 公式: 应用场景&#x…

【LLM】概念解析 - Tensorflow/Transformer/PyTorch

背景 本文将从算法原理、适用范围、强项、知名大模型的应用、python 调用几个方面,对深度学习框架 TensorFlow、PyTorch 和基于深度学习的模型 Transformer 进行比较。主要作用是基础概念扫盲。 一、 算法原理对比 Transformer Transformer 是一种基于深度学习的…