【腾讯云FinOps Crane 集训营】快速搭建一个 Kubernetes+Crane 环境，以及如何基于 Crane 优化你的集群和应用初体验

news/2024/11/8 6:44:13/

文章目录

    • 一、活动介绍
    • 二、环境搭建
    • 三、安装本地的 Kind 集群和 Crane 组件
    • 四、界面截图
    • 五、主要功能
    • 六、整体架构
    • 七、Crane的优势
    • 八、总结
    • 参考文献

一、活动介绍

Crane 是由腾讯云主导开源的国内第一个基于云原生技术的成本优化项目，遵循 FinOps 标准，已经获得FinOps基金会授予的全球首个认证降本增效开源方案。它为使用 Kubernetes 集群的企业提供了一种简单、可靠且强大的自动化部署工具。Crane 的设计初衷是为了帮助企业更好地管理和扩展其 Kubernetes 集群，从而实现更高效的云原生应用管理。它易于使用、高度可定制和可扩展。它提供了一组简单易用的命令行工具，使得开发者和管理员都能轻松地将应用程序部署到 Kubernetes 集群中。Crane 还支持多种云平台，并且可以根据具体的业务需求进行定制。Crane 并已经被腾讯、网易、思必驰、酷家乐、明源云、数数科技等公司部署在生产系统，其主要贡献者来自腾讯、小红书、谷歌、eBay、微软、特斯拉等知名公司。

名称解释：

FinOps：全称（Financial Operations）是一种管理云计算成本的方法论和实践。它结合了财务管理和云计算资源管理的最佳实践，旨在帮助组织更好地理解、优化和控制云计算成本。

image-20230522202415038

Kubernetes：Kubernetes（K8s）是一个开源系统，用于自动部署，扩展和管理容器化应用程序。Kubernetes抽象了复杂的容器管理，并为我们提供了声明式配置，以在不同的计算环境中编排容器。

Kubernetes集群至少由一个主（控制）平面和一个或多个工作机器（称为节点）组成。控制平面和节点实例都可以是物理设备、虚拟机或云中的实例。

二、环境搭建

要快速搭建一个 Kubernetes+Crane 环境，可以按照以下步骤进行操作：

  1. 安装 kubectl

请参考官方文档依据你的本地环境系统参考对应的文档安装 kubectl：https://kubernetes.io/zh-cn/docs/tasks/tools/

  1. 安装 Helm

请参考官方文档依据你的本地环境系统参考对应的文档安装 Helm：https://helm.sh/zh/docs/intro/install/

  1. 安装 kind

请参考官方文档依据你的本地环境系统参考对应的文档安装 kind：https://kind.sigs.k8s.io/docs/user/quick-start/#installation

  1. 安装 Docker

请参考官方文档依据你的本地环境系统参考对应的文档安装 docker：https://docs.docker.com/get-docker/

完成以上步骤后，再开始本地安装Crane

三、安装本地的 Kind 集群和 Crane 组件

1、根据以下命令将安装 Crane 以及其依赖 (Prometheus/Grafana).

curl -sf https://raw.githubusercontent.com/gocrane/crane/main/hack/local-env-setup.sh | sh -

2、确保所有 Pod 都正常运行:

$ export KUBECONFIG=${HOME}/.kube/config_crane
$ kubectl get pod -n crane-systemNAME                                             READY   STATUS    RESTARTS       AGE
craned-6dcc5c569f-vnfsf                          2/2     Running   0              4m41s
fadvisor-5b685f4cd6-xpxzq                        1/1     Running   0              4m37s
grafana-64656f6d54-6l24j                         1/1     Running   0              4m46s
metric-adapter-967c6d57f-swhfv                   1/1     Running   0              4m41s
prometheus-kube-state-metrics-7f9d78cffc-p8l7c   1/1     Running   0              4m46s
prometheus-server-fb944f4b7-4qqlv                2/2     Running   0              4m46s

3、访问 Crane Dashboard

kubectl -n crane-system port-forward service/craned 9090:9090# 后续的终端操作请在新窗口操作，每一个新窗口操作前请把配置环境变量加上(不然会出现8080端口被拒绝的提示)
export KUBECONFIG=${HOME}/.kube/config_crane

4、成功的标志是你能通过http://127.0.0.1:9090/访问到类似于如下页面：

image-20230522201639006

四、界面截图

image-20230522201841843

  • 当月总成本：过去一个月集群总成本。从安装Crane时间开始，按小时累加集群成本
  • 预估每月成本：以最近一小时成本估算未来一个月的成本。每小时成本 * 24 * 30
  • 预估CPU总成本：以最近一小时CPU成本估算未来一个月的CPU成本。每小时CPU成本 * 24 * 30
  • 预估Memory总成本：以最近一小时Memory成本估算未来一个月的Memory成本。每小时Memory成本 * 24 * 30

image-20230522201917963

image-20230522201942937

  • Workload Spec CPU Slack: Workload 的 CPU 规格 - 推荐的 CPU 规格
  • Workload Total CPU Slack: （Workload 的 CPU 规格 - 推荐的 CPU 规格）* Pod 数量

更多的成本分析图表可以通过登陆 Grafana 的页面或者分析源码研究。

image-20230522202038068

image-20230522202054683

可通过查看监控查看详细的监控数据。

image-20230522203351120

五、主要功能

image-20230522202159004

1、成本可视化和优化评估

提供一组 Exporter 计算集群云资源的计费和账单数据并存储到你的监控系统，比如 Prometheus。
多维度的成本洞察，优化评估。通过 Cloud Provider 支持多云计费。
推荐框架

提供了一个可扩展的推荐框架以支持多种云资源的分析，内置了多种推荐器：资源推荐，副本推荐，HPA 推荐，闲置资源推荐。

2、基于预测的水平弹性器

EffectiveHorizontalPodAutoscaler 支持了预测驱动的弹性。它基于社区HPA做底层的弹性控制，支持更丰富的弹性触发策略（预测，观测，周期），让弹性更加高效，并保障了服务的质量。

3、负载感知的调度器

动态调度器根据实际的节点利用率构建了一个简单但高效的模型，并过滤掉那些负载高的节点来平衡集群。

4、拓扑感知的调度器

Crane Scheduler与Crane Agent配合工作，支持更为精细化的资源拓扑感知调度和多种绑核策略，可解决复杂场景下“吵闹的邻居问题"，使得资源得到更合理高效的利用。

5、基于 QOS 的混部

QOS相关能力保证了运行在 Kubernetes 上的 Pod 的稳定性。具有多维指标条件下的干扰检测和主动回避能力，支持精确操作和自定义指标接入；具有预测算法增强的弹性资源超卖能力，复用和限制集群内的空闲资源；具备增强的旁路cpuset管理能力，在绑核的同时提升资源利用效率。

六、整体架构

image-20230522202804151

Craned

Craned 是 Crane 的最核心组件，它管理了 CRDs 的生命周期以及API。Craned 通过 Deployment 方式部署且由两个容器组成：

Craned: 运行了 Operators 用来管理 CRDs，向 Dashboard 提供了 WebApi，Predictors 提供了 TimeSeries API
Dashboard: 基于 TDesign’s Starter 脚手架研发的前端项目，提供了易于上手的产品功能
Fadvisor

Fadvisor 提供一组 Exporter 计算集群云资源的计费和账单数据并存储到你的监控系统，比如 Prometheus。Fadvisor 通过 Cloud Provider 支持了多云计费的 API。

Metric Adapter

Metric Adapter 实现了一个 Custom Metric Apiserver. Metric Adapter 读取 CRDs 信息并提供基于 Custom/External Metric API 的 HPA Metric 的数据。

Crane Agent

Crane Agent 通过 DaemonSet 部署在集群的节点上。

Prometheus

Prometheus 受启发于 Google 的 Brogmon 监控系统（相似的Kubernetes是从Google的Brog系统演变而来），从2012年开始由前Google工程师在Soundcloud以开源软件的形式进行研发，并且于2015年早期对外发布早期版本。2016年5月继Kubernetes之后成为第二个正式加入CNCF基金会的项目，同年6月正式发布1.0版本。2017年底发布了基于全新存储层的2.0版本，能更好地与容器平台、云平台配合。

Grafana

Grafana 是一个监控仪表系统，它是由 Grafana Labs 公司开源的的一个系统监测工具，它可以大大帮助我们简化监控的复杂度，我们只需要提供需要监控的数据，它就可以帮助生成各种可视化仪表，同时它还有报警功能，可以在系统出现问题时发出通知。

七、Crane的优势

FinOps 旨在通过更好地管理和优化云计算成本，实现组织的财务目标，并确保云资源的有效和经济使用。它强调透明度、责任分配、预算规划、自动化和协作等关键实践，帮助组织在云计算时代实现，主要有如下优势：

1、实时监控成本
Crane可以帮助企业实时监控云计算资源的使用情况，并将其与成本进行关联，提供实时的成本分析和预测功能。这样，企业就可以更好地控制成本，提高效益。

2、优化资源利用率
Crane可以帮助企业优化云计算资源的利用率。它可以帮助企业发现不必要的资源浪费，并提供优化建议，使企业可以更好地利用云计算资源，提高资源利用效率。

3、提高决策效率
Crane可以帮助企业更好地了解云计算资源的成本和使用情况。这样，企业就可以更好地做出决策，以满足业务需求，并在成本和效益之间取得平衡。

4、智能预测
Crane可以帮助企业完成流量智能预测，进行自动扩缩容，应对大促节假日等有规律的流量洪峰。

八、总结

通过这次活动，我深入了解了Crane 的原则和实践，并学到了如何应用它们来管理云计算成本。我意识到透明度、责任分配、预算规划、自动化和协作是实现成功的Crane 策略的关键要素。这次活动让我对如何更好地管理云计算成本有了更深入的理解，并为将来实践Crane 提供了宝贵的经验。认识到了如下几点：

  1. 可见性与透明度：通过使用云计算成本管理工具和仪表板，我们能够实时地查看和分析我们的云资源使用情况和成本。这使我们能够更好地了解资源消耗的模式，并识别出成本的主要驱动因素。

  2. 责任分配：在活动中，我们将云计算成本与不同的团队和部门相关联。这种责任分配的方法使每个团队能够更好地理解他们使用的资源的成本，并激励他们采取行动来优化资源的使用。

  3. 预算规划与优化：我们设定了预算，并与实际成本进行对比。这使我们能够及早发现超支和浪费，并采取适当的措施进行优化。通过设定目标和监控实际成本，我们能够更好地管理资源使用并控制成本。

  4. 自动化与优化：在模拟活动中，我们探索了自动化工具和流程，以提高资源管理的效率和准确性。我们使用自动化脚本来自动调整资源规模，实现按需分配资源，并使用服务器less架构来优化成本。

  5. 协作与教育：活动中鼓励团队之间的合作和知识共享。我们举办了培训和讨论会，让不同团队的成员了解Crane 的概念和最佳实践。这样的协作和教育活动有助于提高团队的意识，并促进更好的资源管理和成本控制。

参考文献

Crane github：https://github.com/gocrane/crane
Crane官网： https://gocrane.io/

活动介绍送门：https://marketing.csdn.net/p/038ae30af2357473fc5431b63e4e1a78

如果你在web前端开发、面试、前端学习路线有困难可以加我V：imqdcnn。免费答疑，行业深潜多年的技术牛人帮你解决bug。

祝你能成为一名优秀的WEB前端开发工程师！


http://www.ppmy.cn/news/87498.html

相关文章

【Docker】- 01 Docker基础入门（安装、镜像操作、容器操作、数据卷）

【Docker】- 01 Docker基础入门（安装、镜像操作、容器操作、数据卷）

目录 1 Docker引入1.1 环境不一致1.2 隔离性1.3 弹性伸缩1.4 学习成本 2 Docker介绍2.1 Docker的由来2.2 Docker的思想 3 Docker的安装3.1 下载Docker依赖的环境3.2 指定Docker镜像源3.3 安装Docker3.4 启动Docker并测试 4 Docker的中央仓库5 镜像的操作5.1 拉取镜像5.2 查看本…
阅读更多...
python numpy 实现cosine相似度

python numpy 实现cosine相似度

from numpy import dot from numpy.linalg import normcos_sim dot(a, b)/(norm(a)*norm(b)) # 值越大越相似或者 import numpy as npdef cosine_similarity(a, b):dot_product np.dot(a, b)norm_a np.linalg.norm(a)norm_b np.linalg.norm(b)similarity dot_product / (…
阅读更多...
Python中深拷贝与浅拷贝介绍

Python中深拷贝与浅拷贝介绍

用赋值的时候的一些注意事项 a "< meta name“Keywords” content“小博测试成长之路” />" b a c bprint(id("< meta name“Keywords” content“小博测试成长之路” />")) print(id(a)) print(id(b)) print(id(c)) print(a is b) # a和b…
阅读更多...
零基础自学网络安全/web安全，看这一篇就够了

零基础自学网络安全/web安全，看这一篇就够了

作为一个安全从业人员&#xff0c;我自知web安全的概念太过于宽泛&#xff0c;我本人了解的也并不够精深&#xff0c;还需要继续学习。 但看到这个问题之后又想说说自己的看法&#xff0c;所以今天随手写写关于web安全的内容&#xff0c;希望对初次遇到web安全问题的同学提供帮…
阅读更多...
MATLAB 搜索某一点的K邻近点（12）

MATLAB 搜索某一点的K邻近点（12）

MATLAB 搜索某一点的K邻近点（12） 前言一、算法介绍1.1 ：无序点云的K邻近点搜索1.2 ：有序点云的K邻近点搜索二、具体实现示例2.1 算法一 （含详细注释）2.2 算法二 （含详细注释）前言 在点云处理中，最基本的算法之一就是搜索某一点的近邻点（1个最近或多个邻近），这在重…
阅读更多...
防抖和节流

防抖和节流

一、什么是防抖和节流&#xff1f; 在前端开发中&#xff0c;当用户频繁触发某个事件时&#xff0c;很容易出现性能问题或意外行为。为了避免这种情况&#xff0c;我们常常使用两种技术来控制事件的触发次数&#xff1a;防抖&#xff08;Debounce&#xff09;和节流&#xff0…
阅读更多...
（3）---STM32通信

（3）---STM32通信

目录 【1】通信的基础知识 【2】USART 【3】串口通信协议 【4】相关寄存器 串口控制寄存器 波特率寄存器 中断和状态寄存器 数据发送寄存器 数据接收寄存器 【5】 USART功能框图 【6】串口发送实验 实验要求 1.观察实物 2.分析原理图 3.STM32CubeMX配置 4、寄存器方式编写…
阅读更多...
电脑重装win11系统好还是win10好

电脑重装win11系统好还是win10好

随着Windows 11的发布&#xff0c;许多用户开始思考&#xff0c;是应该升级到Windows 11还是继续使用Windows 10&#xff1f;本文将为您比较Windows 11和Windows 10的优势与劣势&#xff0c;帮助您选择适合自己的操作系统。 工具/原料&#xff1a; 系统版本&#xff1a;window…
阅读更多...
最新文章

Copyright @ 2022~2023