数仓技术hive与oracle对比(五)

ops/2024/12/12 23:39:21/

附录说明

附录是对测试过程中涉及到的一些操作进行记录和解析。

oracle清除缓存

alter system flush shared_pool;

将使library cache和data dictionary cache以前保存的sql执行计划全部清空,但不会清空共享sql区或者共享pl/sql区里面缓存的最近被执行的条目。刷新共享池可以帮助合并碎片(small chunks),释放少数共享池资源,暂时解决shared_pool中的碎片问题。但是,这种做法通常是不被推荐的。原因如下:

·Flush Shared Pool会导致当前未使用的cursor被清除出共享池,如果这些SQL随后需要执行,那么数据库将经历大量的硬解析,系统将会经历严重的CPU争用,数据库将会产生激烈的Latch竞争。

·如果应用没有使用绑定变量,大量类似SQL不停执行,那么Flush Shared Pool可能只能带来短暂的改善,数据库很快就会回到原来的状态。

·如果Shared Pool很大,并且系统非常繁忙,刷新Shared Pool可能会导致系统挂起,对于类似系统尽量在系统空闲时进行。

alter system flush buffer_cache;

为了最小化cache对测试实验的影响,需要手动刷新buffer cache,以促使oracle重新执行物理访问(统计信息里面的:physical reads)。

查询表大小

oracle查看表占用空间

SELECT

    segment_name AS table_name,

    segment_type,

    bytes,

    bytes/1024/1024 AS size_in_mb

FROM

    dba_segments

WHERE

    segment_type = 'TABLE'

    AND segment_name = 'YOUR_TABLE_NAME'; -- 替换为你的表名

hive查看表占用空间

describe formatted table_name; -- 替换为你的表名

hive索引说明

参照

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Indexing

客户端抽样

oracle的客户端sqldeveloper,对于超过50行的,非聚合查询、非分析查询要想得到真正的执行时间,外加select count(*) from (query)。

hive的客户端dbvear,同样也会存在类似的问题。

解析缓存

无缓存,耗时较久

set autot on statistics

SELECT sum(ncostmny),sum(ninnum) FROM t_od_ic_flow_100 WHERE vbillcode >= 'CR2023080100000001' AND vbillcode <= 'CR2023083000000001'

已启用自动跟踪

仅显示统计信息。

SUM(NCOSTMNY) SUM(NINNUM)

------------- -----------

               31575009.6

Statistics

-----------------------------------------------------------

            1661  CPU used by this session

            1661  CPU used when call started

            9576  DB time

              16  Requests to/from client

              15  SQL*Net roundtrips to/from client

           93570  buffer is not pinned count

          240031  buffer is pinned count

             480  bytes received via SQL*Net from client

           27134  bytes sent via SQL*Net to client

               2  calls to get snapshot scn: kcmgss

       556163072  cell physical IO interconnect bytes

           94270  consistent gets

               3  consistent gets - examination

           94270  consistent gets from cache

           91572  consistent gets from cache (fastpath)

               9  dirty buffers inspected

               2  enqueue releases

               2  enqueue requests

               2  execute count

         2809845  file io wait time

           69937  free buffer inspected

           67891  free buffer requested

           12200  hot buffers moved to head of LRU

               1  index scans kdiixs1

       772259840  logical read bytes from cache

           94267  no work - consistent read gets

            6708  non-idle wait count

            9402  non-idle wait time

               2  opened cursors cumulative

               1  opened cursors current

               1  parse count (hard)

               2  parse count (total)

               1  parse time cpu

           67891  physical read IO requests

       556163072  physical read bytes

           67891  physical read total IO requests

       556163072  physical read total bytes

           67891  physical reads

           67891  physical reads cache

           61199  physical reads cache prefetch

               4  pinned buffers inspected

               1  recursive calls

               1  recursive cpu usage

               1  session cursor cache count

           94270  session logical reads

               3  shared hash latch upgrades - no wait

               1  sorts (memory)

             679  sorts (rows)

          166800  table fetch by rowid

            9402  user I/O wait time

              16  user calls

有缓存,耗时很短

set autot on statistics

SELECT sum(ncostmny),sum(ninnum) FROM t_od_ic_flow_100 WHERE vbillcode >= 'CR2023080100000001' AND vbillcode <= 'CR2023083000000001'

已启用自动跟踪

仅显示统计信息。

SUM(NCOSTMNY) SUM(NINNUM)

------------- -----------

               31575009.6

Statistics

-----------------------------------------------------------

             228  CPU used by this session

             234  CPU used when call started

             197  DB time

               4  Requests to/from client

               1  enqueue releases

               1  enqueue requests

            6688  non-idle wait count

              91  non-idle wait time

              23  opened cursors cumulative

               1  opened cursors current

           67090  physical read total IO requests

               1  pinned cursors current

             194  recursive calls

               1  recursive cpu usage

           94343  session logical reads

              90  user I/O wait time

               4  user calls


http://www.ppmy.cn/ops/141375.html

相关文章

【面试】Spirng的IOC启动流程

面试回答总结 IOC启动流程主要分为&#xff1a;容器创建 -> 配置加载 -> Bean的解析 -> Bean的注册->工厂初始化前置工作->执行bean工厂的后置处理器->bean的后置处理器注册->国际化->事件注册->监听器注册->bean的实例化->完成刷新&#xf…

【MySQL】表的基本查询(下)

&#x1f4e2;博客主页&#xff1a;https://blog.csdn.net/2301_779549673 &#x1f4e2;欢迎点赞 &#x1f44d; 收藏 ⭐留言 &#x1f4dd; 如有错误敬请指正&#xff01; &#x1f4e2;本文由 JohnKi 原创&#xff0c;首发于 CSDN&#x1f649; &#x1f4e2;未来很长&#…

零基础如何使用ChatGPT快速学习Python

引言 AI编程时代来临&#xff0c;没有编程基础可以快速上车享受时代的红利吗&#xff1f;答案是肯定的。本文旨在介绍零基础如何利用ChatGPT快速学习Python编程语言&#xff0c;开启AI编程之路。解决的问题包括&#xff1a;传统学习方式效率低、缺乏互动性以及学习资源质量参差…

Python虚拟环境管理工具:virtualenv

Python虚拟环境管理工具&#xff1a;virtualenv 前言1. 什么是Python虚拟环境&#xff1f;为什么需要虚拟环境&#xff1f; 2. virtualenv概述安装 virtualenv创建虚拟环境激活虚拟环境在Windows上&#xff1a;在Linux/MacOS上&#xff1a; 安装依赖退出虚拟环境 3. virtualenv…

2024年12月大语言模型最新对比:GPT-4、Claude 3、文心一言等详细评测

前言 随着人工智能技术的快速发展&#xff0c;大语言模型(LLM)已经成为了技术领域最热门的话题。本文将详细对比目前主流的大语言模型&#xff0c;帮助大家选择最适合的工具。 一、OpenAI GPT系列 1. GPT-4 核心优势&#xff1a; 多模态理解能力强 逻辑推理能力出色 创造…

golang实现简单的redis服务

golang 手搓redis服务器仓库地址:实现思路: golang 手搓redis服务器 仓库地址: 仓库: https://github.com/dengjiayue/my-redis.git 实现思路: ● 协议: tcp通信 ● 数据包: 长度(4byte)方法(1byte)数据json ● 数据处理: 单线程map读写 ○ 依次处理待处理队列的请求(chan)…

【前端知识】React简单入门

React语法介绍 概述一、产生背景与发展历程二、主要特点三、技术细节四、应用场景与优势五、学习与实践 JSX语法一、JSX的基本概念二、JSX的基本使用三、JSX中的JavaScript表达式四、JSX的条件渲染五、JSX的列表渲染六、JSX的样式处理七、JSX的其他注意事项 基础语法一、基础概…

关于tomcat如何设置自启动的设置

希望文章能给到你启发和灵感&#xff5e; 如果觉得文章对你有帮助的话&#xff0c;点赞 关注 收藏 支持一下博主吧&#xff5e; 阅读指南 开篇说明一、基础环境说明 1.1 硬件环境1.2 软件环境 二、Windows 下的设置服务自启 2.1 服务的注册2.2 开启自启 三、MacOS下设置服务自…