服务器日志自动上传到阿里云OSS备份

news/2025/1/25 3:57:10/

背景

公司服务器磁盘空间有限,只能存近15天日志,但是有时需要查看几个月前的日志,需要将服务器日志定时备份到某个地方,需要查询的时候有地方可查。

针对这个问题,想到3个解决方法:

1、买一个配置比较低,磁盘空间比较大的服务器,专门用来存储其他服务器日志

2、将服务器日志实时同步到阿里云日志服务

3、将服务器日志定期同步到阿里云OSS

方法1比较传统,且有丢失风险;由于我们历史日志查询频率不会很高(可能发现历史问题了,才能查询一次),所以优先选择的方法3.

步骤

1、先在阿里云上开通存储服务OSS,创建好bucket

2、在服务器上安装ossutil,参考如何安装ossutil_对象存储(OSS)-阿里云帮助中心 (注意,如果服务器阿里云的ECS,配置Endpoint的时候一定要输入阿里云的内网Endpoint路径,例如oss-cn-hangzhou-internal.aliyuncs.com,否则传输速度很慢)

3、在服务器上编写执行脚本xxx-log-backup.sh

#!/bin/bash# 获取当前日期的前十天的日期
date_10_days_ago=$(date -d "-10 days" +%Y-%m-%d)# 创建指定路径
ossutil mkdir oss://xxx-log-backup/项目名称/$date_10_days_ago# 拷贝指定文件,下面语句表示拷贝"/home/admin/项目名称/logs"路径下"xxx_2025-01-10*"的所有日志
ossutil cp /home/admin/项目名称/logs oss://xxx-log-backup/项目名称/$date_10_days_ago --include "xxx_${date_10_days_ago}*" --ignore-existing

4、先执行sh xxx-log-backup.sh看下日志是否正常拷贝到OSS,正常情况下如下图

5、定时执行xxx-log-backup.sh,crontab -e

0 2 * * * sh /home/admin/log-backup/xxx-log-backup.sh >> /home/admin/log-backup/xxx-log-backup.log


http://www.ppmy.cn/news/1565947.html

相关文章

蒙操作系统(HarmonyOS)

鸿蒙操作系统(HarmonyOS)是由华为技术有限公司开发的面向未来、面向全场景的分布式操作系统。它旨在为各种不同类型的设备提供统一的操作系统和无缝的智能体验,从智能手机到可穿戴设备,再到智能家居产品等。在鸿蒙的应用生态中&am…

PL/SQL语言的图形用户界面

PL/SQL语言的图形用户界面 引言 随着信息技术的迅猛发展,数据库系统在现代应用程序中的重要性愈加凸显。PL/SQL(Procedural Language/Structured Query Language)作为Oracle数据库的一种程序设计语言,以其强大的数据处理能力和高…

一款自适应的 AI 集成开发环境 (IDE)—Trae

Trae 是一款自适应的 AI 集成开发环境 (IDE),通过与您协作工作,帮助您更高效地运行并加速开发进程。 Builder模式 聊天式项目构建,让开发更快速 在构建者模式下,Trae 会自动分解并执行任务,优化每个步骤&#xff0c…

谷歌泰坦:Transformer之后的AI时代?

介绍 2017年,谷歌发布了一篇具有革命性意义的论文,题为《Attention is All You Need》(注意力是你所需要的一切)。这篇论文引发了我们今天所经历的AI革命,并引入了Transformer模型。Transformer已经成为如今几乎所有顶…

基于 STM32 的智能农业温室控制系统设计

1. 引言 随着农业现代化的发展,智能农业温室控制系统对于提高农作物产量和质量具有重要意义。该系统能够实时监测温室内的环境参数,如温度、湿度、光照强度和土壤湿度等,并根据这些参数自动调节温室设备,如通风扇、加热器、加湿器…

专业数据分析不止于Tableau,四款小众报表工具解析

在众多的报表工具中,市场上的常见报表工具如Tableau、Power BI等被广泛使用,但一些小众工具也提供了独特的功能和优势。以下是四款小众报表工具的介绍,它们各具特色,适合不同需求的用户,下面就为大家简单介绍一下。 1…

CentOS 7.9下安装Docker

一、安装docker前的准备工作 操作系统版本为centos 7.9,内核版本需要在3.10以上,需要保障能够连通互联网,为了避免安装过程中出现网络异常建议关闭linux的防火墙(生产环境下不要关闭防火墙,可根据实际情况设置防火墙出…

【Docker】 privileged: true:允许容器获得比默认更高的权限

文章目录 一. 启用 privileged 模式二. privileged: true 的作用三. 安全隐患与处理 privileged: true 是 Docker 中一个特殊的配置,允许容器获得比默认更高的权限。虽然它可以解决一些特定问题,但也带来了安全风险。 一. 启用 privileged 模式 Docker…