Linux从大文件中截取指定范围的内容到文件中

news/2024/11/15 1:50:46/

在实际开发与维护中,可能会遇到需要从好几个G大的文本文件中获取包含指定文本的内容,

例如,需要从某天的系统日志文件里获取指定时间范围的日志,而这个日志文件有几个个G,在Windows中用文本编辑器打开会出现内存不足的情况,导致无法打开通过Ctrl+C、Ctrl+V的方式得到指定范围的内容。

这时候可以考虑在Linux环境中进行以下操作:

假设大文件文件名为:big.log,需要获取从2021-01-15 17:00到2021-01-15 17 18:00的日志存到新文件small.log

1、定位起始行号
将包含指定内容所有行存到begin.txt

cat -n  big.log|grep "2021-01-15 17:00:00" >>begin.txt
打开文件获取行号--3730601

cat begin.txt
2、定位最后行号
将包含指定内容所有行存到end.txt

cat -n big.log |grep "2021-01-15 18:00:00"  >>end.txt
打开文件获取行号--4335931

cat end.txt
3、根据起始行号和结束行号将该范围的内容保存到新文件中

sed -n '3730601,4335931p' big.log >>small.log
 


http://www.ppmy.cn/news/361548.html

相关文章

领域建模之数据模型设计方法论 | 京东云技术团队

本文通过实际业务需求场景建模案例,为读者提供一种业务模型向数据模型设计的方法论,用于指导实际开发中如何进行业务模型向数据模型转化抽象,并对设计的数据模型可用性、扩展性提供了建议性思考。通过文章,读者可以收获到业务模型…

IT安全解决方案保护企业网络安全

全球每年报告数以万计的网络安全事件,云解决方案和远程工作的大规模采用意味着大多数组织的攻击面呈指数级增长。采用正确的网络安全解决方案是保护企业免受这些攻击的唯一方法。使用正确IT安全解决方案企业网络安全。 IT安全解决方案 ManageEngine IT安全解决方案…

JVM 调优分析 如何进行JVM调优

文章目录 1.为什么需要进行JVM调优?2.什么情况下可能需要JVM调优3.JVM调优参数4.JVM调优参数设置参考5.JVM内部结构1. 类加载器(Class Loader)2. 运行时数据区(Runtime Data Area)3. 垃圾收集器(Garbage Co…

java常用api篇【更新中】

13-常用api Math abs,绝对值ceil,向上取整floor,向下取整round,四舍五入max,获取两个int中的较大值min,获取两个int中的较小值random,返回值为double的随机数sqrt,开平方根cqrt&am…

windows下创建指定版本的python虚拟环境

本机已安装3.9和3.7版本的python,想创建python3.6版本的虚拟环境。原本使用指令virtualenv -p D:\Python36\python.exe venv36,出现下面的错误: 使用该指令创建3.7和3.9版本的python虚拟环境都是可以的,请教同事后改用下面的指令创…

AIGC + RTE,一个实时互动的应用实践

一夜之间,区块链、元宇宙、Web3、VR等风口似乎都消散了,似乎只有 AI 才是C位。声网 RTC 云市场各类插件 AIGC,会迸发出什么样的火花呢? 最近,声网内部组织了一次黑客松,经过激烈的角逐,我们团…

华为OD机试之查找众数及中位数(Java源码)

查找众数及中位数 题目描述 众数是指一组数据中出现次数量多的那个数,众数可以是多个。 中位数是指把一组数据从小到大排列,最中间的那个数,如果这组数据的个数是奇数,那最中间那个就是中位数,如果这组数据的个数为偶…

Thinkx200 XP安装资料整理

[http://erfan1016.blog.163.com/blog/static/5435013220097159383997/] 第1步:制作U盘启动的WinPE: 用WinPE (老毛桃最终修改版) V09.11在U盘上安装WinPE系统,用做启动引导盘,过程如下(图片来自网络): 把老毛桃Win…