Databend 开源周报第 96 期

news/2024/11/28 5:50:18/

Databend 是一款现代云数仓。专为弹性和高效设计,为您的大规模分析需求保驾护航。自由且开源。即刻体验云服务:https://app.databend.cn 。

What's On In Databend

探索 Databend 本周新进展,遇到更贴近你心意的 Databend 。

虚拟列

查询 JSON 内部字段的优化方法之一是使用虚拟列。

首先,使用 CREATE VIRTUAL COLUMN 为这些字段创建虚拟列。创建虚拟列后,可以使用 GENERATE VIRTUAL COLUMN 函数生成虚拟列。完成这些步骤后,就可以通过相应的虚拟列直接访问 JSON 内部字段中的数据。

Databend 现在支持用于创建、删除、生成和修改虚拟列的一系列 SQL 语法。下面是一个简单的例子:

create table test (id int, val json);
insert into test values(1, '{"a":33,"b":44}'),(2, '{"a":55,"b":66}');
create virtual columns (val['a'], val['b']) for test;
generate virtual columns for test;
select val['a'], val['b'] from test;
+----------+----------+
| val['a'] | val['b'] |
+----------+----------+
| 33       | 44       |
| 55       | 66       |
+----------+----------+

如果你想要了解更多信息,请查看下面列出的资源。

  • RFC | JSON Optimization - Virtual Column
  • PR | feat(query): Support generate virtual columns

Code Corner

一起来探索 Databend 和周边生态中的代码片段或项目。

由 AskBend 驱动的交互式文档

你还记得 AskBend 吗?AskBend 是使用 Rust 编写的知识库问答系统,由 Databend 和 OpenAI 强力驱动,可以根据 Markdown 文件创建基于 SQL 的知识库。

现在,我们已经将其集成到 Databend 官方网站中,为文档查询提供了交互式体验。

如果你想要了解更多信息,请查看下面列出的资源。

  • https://databend.rs
  • PR | feat(front search): Add AI searching

亮点

以下是一些值得注意的事件,也许您可以找到感兴趣的内容。

  • 为窗口函数实现表达式支持。
  • 为 SELECT list 支持 range 函数和别名。
  • 新增基于标签的插入/突变/更新去重支持。
  • 为 COPY INTO 添加优化提示支持。
  • 阅读 Docs | Deploying a Databend Cluster ,以了解手动部署 Databend 集群时的技巧。
  • 阅读 Docs | Data Types - BITMAP 和 Docs | Bitmap Functions ,以理解 Databend 中 BITMAP 数据类型的用法。

What's Up Next

我们始终对前沿技术和创新理念持开放态度,欢迎您加入社区,为 Databend 注入活力。

使用败者树优化排序算法

目前,Databend 的排序算法使用基于堆的归并排序。

多路合并有三种主要算法:堆排序、胜者树和败者树。在这三个算法中,每次对堆进行调整都需要与左右子节点进行比较。比较次数为2logN,而胜者树和败者树调整的比较次数为 logN 。

它们之间的区别在于,胜者树需要与兄弟节点进行比较并更新父节点,而败者树只需要与父节点进行比较,从而减少了内存访问次数。

Issue #11604 | Feature: Update sort algorithm using Loser Tree

如果你对这个主题感兴趣,可以尝试解决其中的部分问题或者参与讨论和 PR review 。或者,你可以点击 https://link.databend.rs/i-m-feeling-lucky 来挑选一个随机问题,祝好运!

Changelog

前往查看 Databend 每日构建的变更日志,以了解开发的最新动态。

地址:https://github.com/datafuselabs/databend/releases

Contributors

非常感谢贡献者们在本周的卓越工作。

Connect With Us

Databend 是一款开源、弹性、低成本,基于对象存储也可以做实时分析的新式数仓。期待您的关注,一起探索云原生数仓解决方案,打造新一代开源 Data Cloud。

  • Databend Website
  • GitHub Discussions
  • Twitter
  • Slack Channel

http://www.ppmy.cn/news/239782.html

相关文章

djangoo配置与运行

前言:相信看到这篇文章的小伙伴都或多或少有一些编程基础,懂得一些linux的基本命令了吧,本篇文章将带领大家服务器如何部署一个使用django框架开发的一个网站进行云服务器端的部署。 文章使用到的的工具 Python:一种编程语言&…

【云原生】docker-Cgroup资源限制

Docker容器的资源控制 Docker通过Cgroup 来控制容器使用的资源配额,包括CPU、内存、磁盘三大方面,基本覆盖了常见的资源配额和使用量控制。Caroup 是ControlGroups的缩写,是Linux 内核提供的一种可以限制、记录、隔离进程组所使用的物理资源…

Yolov3 模型构建和深入掌握快速搭建网络的搭积木方法

(一)设计Conv2dBatchLeaky 1、了解LeakyReLU激活函数 LeakyReLU 激活层,创建一个可调用对象以计算输入 x 的 LeakReLU 。其中,x为输入的 Tensor 感觉和飞桨的api有点相同,可以对照参考理解: LeakyReLU激活…

Easeui 02 tree组件.

1.添加tree组件. tree组件的位置:DataGrid and Tree(表格和树) → tree(树); 复制 tree组件到 "菜单管理"的div里面,如: 这里要动态绑定数据,所以把死数据删除,只留下一个 ul,如&am…

围棋知名AI-KataGo 下载分享

下载地址 下载链接: 围棋 提取码: 2hvp 里面有详情 这个AI 是很知名的围棋AI,并且是开源的 喜欢围棋的就去看看吧

Linux下的围棋软件,在Linux下和电脑下围棋

这几天笔记本C盘硬盘坏了,进不了Windows了,也就没法上弈城或TOM之类的对弈平台了,硬盘要过几天才能换新的,这几天就只能进Fedora core6了,由于里面一直没有装有关围棋的软件,这次趁这个机会就找了一个可以打…

围棋AI安装与测试

2016年,Alphago横跨出世,4比1战胜李世石,正式标志围棋AI战胜人类顶尖棋手(此前围棋最强的软件大致是zen和疯石,有业余强五的水平)。而后Deepmind又推出了Alphago升级版master,对人类顶尖高手达成60连胜&…

功能日臻完善的围棋打谱软件(附源代码)

功能日臻完善的围棋打谱软件(附源代码) 在3月份的时候,围棋打谱软件更新过一版,详见没有退缩的理由(每前进一步都很艰难,但很快乐)一文。到目前为止,软件的功能大为改善。不仅解决了打劫问题,还增加了悔棋、回放、研究等多项功能,并采用此软件操作,在B站发表了几个…