图解BWT(Burrows-Wheeler Transform) 算法

embedded/2025/2/10 8:57:42/

Burrows-Wheeler Transform (BWT) 是一种数据转换算法, 主要用于数据压缩领域. 它由 Michael Burrows 和 David Wheeler 在 1994 年提出, 广泛应用于无损数据压缩算法(如 bzip2)中. BWT 的核心思想是通过重新排列输入数据, 使得相同的字符更容易聚集在一起, 从而提高后续压缩算法的效率.


BWT__4">1. BWT 的基本概念

BWT 是一种可逆的变换, 它不会改变数据的内容, 而是通过重新排列数据的顺序, 使得数据更容易被压缩. BWT 的主要特点是:

  • 局部相似性增强: 将输入字符串中的相似字符聚集在一起.
  • 可逆性: 变换后的数据可以通过逆变换恢复为原始数据.

BWT__13">2. BWT算法步骤

2.1 Naive 方法

BWT算法步骤如下:

步骤 1: 生成所有循环移位

假设输入字符串为 S, 长度为 n. 首先, 生成 S 的所有循环移位(cyclic rotations).

例如, 对于字符串 "banana$"($符号是结束符, 不存在于输入串中), 其循环移位包括:

banana$
anana$b
nana$ba
ana$ban
na$bana
a$banan
$banana

这里请读者思考一个问题: 如果没有结束符$, 那么是否能够恢复原始字符串?

步骤 2: 按字典序排序

将所有循环移位按字典序排序. 排序后得到的结果被称为BW矩阵. 对于 "banana$", 排序后的结果为:

$banana
a$banan
ana$ban
anana$b
banana$
na$bana
nana$ba
步骤 3: 提取最后一列

从排序后的循环移位中提取最后一列字符, 形成 BWT 变换后的字符串. 对于 "banana$", 最后一列是:

$banan[a]
a$bana[n]
ana$ba[n]
anana$[b]
banana[$]
na$ban[a]
nana$b[a]

因此, BWT 变换后的结果为 "annb$aa".

再举一些例子:

字符串BWT
"mississippi$""ipssm$pissii"
a_friend_in_need_is_a_friend_indeed$""dsaadddn$_enneneednii__rr___ieei_ffi"
"It_was_the_best_of_times,_it_was_the_worst_of_times$""ss$e,ttssfftteww_hhmmbootttt_ii__woeeaaressIi_______"

从这些例子可以看出, 相同的字母容易成块出现.

代码实现
python">def bwt_transform(s):"""对字符串 s 进行 BWT 变换"""s = s + '$'n = len(s)# 生成所有循环移位rotations = [s[i:] + s[:i] for i in range(n)]# 按字典序排序rotations_sorted = sorted(rotations)# 提取最后一列last_column = ''.join([row[-1] for row in rotations_sorted])return last_column

BWT_93">2.2 使用 SA 数组高效计算 BWT

观察上面的例子, 可以发现: 由于'$'符号的 ASCII 小于任何一个字母(a-z,包含大小写), 这意味着比较时不会用到$符号之后的字符串, 可以删去他们. 排序结果等价于后缀数组.

Bwt vs SA

解决了排序问题之后接着需要关注第二个问题, 即最后的字母的确定. 这个问题比较简单, 因为所有的序列都是循环产生的, 所以序列的最后一位字母其实就是首字母的左侧字母. 用公式表示就是:

B W T [ i ] = { S [ S A [ i ] − 1 ] if  S A [ i ] > 0 $ if  S A [ i ] = 0 BWT[i] = \begin{cases} S[SA[i] - 1] & \text{if } SA[i] > 0 \\ \$ & \text{if } SA[i] = 0 \end{cases}


http://www.ppmy.cn/embedded/161044.html

相关文章

大模型应用与实战:专栏概要与内容目录

文章目录 大模型应用与实战📚 核心内容模块一、大模型推理与部署1.1 推理框架应用实践1.2 框架源码深度解析1.3 高并发部署优化1.4 国产化平台适配 二、Agent框架专题2.1 Langchain系列2.2 Qwen-Agent系列2.3 Dify应用实践2.4 框架对比与迁移 三、微调技术研究3.1 微…

DeepSeek vs. ChatGPT:不同的诞生时间,对人工智能发展的不同影响

DeepSeek vs. ChatGPT:不同的诞生时间,对人工智能发展的不同影响 ChatGPT 和 DeepSeek 诞生于不同的时间节点,代表了人工智能不同阶段的发展方向。它们在技术、应用以及对AI发展趋势的影响方面各有侧重。 1. 诞生时间与背景 ChatGPT&#x…

1.1 画质算法的主要任务

文章目录 画质算法及分类画质问题的核心:退化 画质算法及分类 图像画质算法是指,处理图像或视频数字信号,以提高其视觉质量、人眼感官的算法。图像画质算法可分为:去噪(Denoising), 超分辨率(Super-Resolut…

SAP ABAP调用DeepSeek API大模型接口

搜索了一下DeepSeek,发现有人已经实现了SAP的对接, 不登录网页,SAP如何使用DeepSeek快速编程,ABAP起飞啦~ 按照对应的注册流程和方法。总算做出了第一个能够直连DeepSeek的API abap程序。 效果不错。 report ZTOOL_ABAP_CALL_D…

BUU27 [SUCTF 2019]CheckIn1

题目是上传文件 直接上传muma.jpg还不成功: 好吧,那做一个图片马上去,换马以后发现还是不行,呃啊啊啊啊 干啥啥不行,搜wp第一名,哎 新面孔:exif_imagetype 函数在 PHP 中用于检测一个文件是否为…

深入理解Node.js_架构与最佳实践

1. 引言 1.1 什么是Node.js Node.js简介:Node.js是一个基于Chrome V8引擎的JavaScript运行时,用于构建快速、可扩展的网络应用。Node.js的历史背景和发展:Node.js最初由Ryan Dahl在2009年发布,旨在解决I/O密集型应用的性能问题。随着时间的推移,Node.js社区不断壮大,提供…

镜头放大倍率和像素之间的关系

相互独立的特性 镜头放大倍率:主要取决于镜头的光学设计和结构,决定了镜头对物体成像时的缩放程度,与镜头的焦距等因素密切相关。比如,微距镜头具有较高的放大倍率,能将微小物体如昆虫、花朵细节等放大成像&#xff0…

用 Python 给 Excel 表格截图(20250207)

我搜索了网络上的方案,感觉把 Excel 表格转换为 HTML 再用 platwright 截图是比较顺畅的路径,因为有顺畅的工具链。如果使用的是 Windows 系统则不需要阅读此文,因为 win32com 库更方便。这篇文章中 Excel 转 HTML 的方案,主要弥补…