【大数据算法】时间亚线性算法之:串相等判定算法。

news/2024/9/23 10:23:09/

串相等判定算法

  • 1、引言
  • 2、串相等判定算法
    • 2.1 定义
    • 2.2 核心原理
    • 2.3 应用场景
    • 2.4 算法公式
      • 2.4.1 Rabin-Karp算法
      • 2.4.2 哈希函数
    • 2.5 代码示例
  • 3、总结

1、引言

小屌丝:鱼哥, 啥是串相等判定算法
小鱼:这个… en…en…
小屌丝:咋了,这个问题难住你了? 不能吧
小鱼:难住了,难住了, 我现在饿的迷糊了。
小屌丝:我~ 这个真是的。 这时间赶的。
小鱼:要不,先去吃个饭?
小屌丝:行行行,
小鱼:你这是不高兴啊,不乐意啊
小屌丝:没没没, 我这不是笑着吗
在这里插入图片描述
小鱼:行,你笑就行,那咱就走?
小屌丝:行啊,走吧。
小鱼:吃得差不多了,泡个澡去?
小屌丝:鱼哥,你这又…
小鱼:泡泡澡,顺便说说串相等判定算法
小屌丝:行啊~ ~

2、串相等判定算法

2.1 定义

  • 时间亚线性串相等判定算法:指那些执行时间复杂度低于O(n)的字符串相等性判定算法
  • 这类算法通过预处理或者特定的数据结构,在一定条件下实现比线性时间更快的性能。

2.2 核心原理

常见的时间亚线性的字符串相等判定算法主要有基于哈希的算法和基于树的数据结构算法。这些算法的核心思路通常包括:

  • 哈希算法:利用字符串的哈希值进行比较。哈希值的计算复杂度通常是 O ( 1 ) O(1) O(1),因此利用哈希值进行比较可以显著减少整体比较时间。
  • Trie树:用Trie树来存储大规模字符串集合,通过树的结构加速查询和比较操作。
  • Rabin-Karp算法:这种算法使用滚动哈希技术,在滑动窗口的情况下计算哈希值,使得字符串比较的平均复杂度低于 O ( n ) O(n) O(n)

2.3 应用场景

串相等判定算法在多个领域有广泛应用,包括但不限于:

  • 网络安全:防止字典攻击和暴力破解,快速确认用户输入的口令是否在已知的口令集内。
  • 文本搜索:高效匹配大规模文本中的关键字,如搜索引擎中的匹配操作。
  • 基因序列匹配:在生物信息学中,快速比较和匹配DNA或RNA序列。
  • 数据去重:去除大规模数据集中的重复字符串。

2.4 算法公式

2.4.1 Rabin-Karp算法

以Rabin-Karp算法为例,公式如下:

计算模式字符串的哈希值: ( Hash ( P ) ) ( \text{Hash}(P) ) (Hash(P))
计算文本中每个滑动窗口的哈希值,并与模式字符串的哈希值进行比较:
[ Hash ( T [ i : i + m ] ) = ( d × ( Hash ( T [ i : i + m − 1 ] ) − T [ i ] × h ) + T [ i + m ] ) m o d q ] [ \text{Hash}(T[i:i+m]) = (d \times (\text{Hash}(T[i:i+m-1]) - T[i] \times h) + T[i+m]) \mod q ] [Hash(T[i:i+m])=(d×(Hash(T[i:i+m1])T[i]×h)+T[i+m])modq]
其中:

  • ( d ) ( d ) (d) 是基数(如256)
  • ( q ) ( q ) (q) 是一个大的质数
  • ( h ) ( h ) (h) ( d ) ( d ) (d) ( m − 1 ) ( m-1 ) (m1) 次幂

2.4.2 哈希函数

以哈希函数 ,假设哈希函数 H H H,字符串 s s s的哈希值 H ( s ) H(s) H(s)可以表示为:
[ H ( s ) = ∑ i = 0 ∣ s ∣ − 1 s [ i ] × p i m o d M ] [ H(s) = \sum_{i=0}^{|s|-1} s[i] \times p^i \mod M ] [H(s)=i=0s1s[i]×pimodM]
其中,

  • ( p ) ( p ) (p) 是一个质数,通常选择31或61,
  • ( M ) ( M ) (M) 是一个大的质数,通常选择 ( 1 0 9 + 7 ) ( 10^9+7 ) (109+7) 以减少哈希冲突。

2.5 代码示例

我们以 Rabin-Karp算法为例,使用Python实现:

python"># -*- coding:utf-8 -*-
# @Time   : 2024-08-12
# @Author : Carl_DJdef rabin_karp(text, pattern):"""Rabin-Karp算法实现字符串相等判定"""d = 256  # 基数q = 101  # 一个大质数n = len(text)m = len(pattern)h = 1p_hash = 0  # 模式字符串的哈希值t_hash = 0  # 当前文本窗口的哈希值# 计算 h = d^(m-1) % qfor i in range(m-1):h = (h * d) % q# 计算模式字符串的哈希值和文本前m个字符的哈希值for i in range(m):p_hash = (d * p_hash + ord(pattern[i])) % qt_hash = (d * t_hash + ord(text[i])) % q# 滑动窗口检验for i in range(n - m + 1):if p_hash == t_hash:if text[i:i+m] == pattern:return Trueif i < n - m:t_hash = (d * (t_hash - ord(text[i]) * h) + ord(text[i + m])) % q# 处理t_hash可能为负值的情况if t_hash < 0:t_hash += qreturn False# 示例数据
text = "abcdefg"
pattern = "cde"
result = rabin_karp(text, pattern)
print(f"模式字符串'{pattern}'是否出现在文本中: {result}")

在这里插入图片描述

3、总结

时间亚线性的串相等判定算法在大量涉及字符串比较和匹配的应用场景中表现出色。

通过引入哈希函数或树形数据结构,算法显著优化了时间复杂度,从而提高了处理效率。

然而,这些算法也有其适用的范围和前提条件,例如哈希冲突、预处理时间和额外的存储空间等。

因此,在实际应用中,需要根据具体的需求和数据特性来选择合适的算法,以达到最佳效果。

我是小鱼

  • CSDN 博客专家
  • 阿里云 专家博主
  • 51CTO博客专家
  • 企业认证金牌面试官
  • 多个名企认证&特邀讲师等
  • 名企签约职场面试培训、职场规划师
  • 多个国内主流技术社区的认证专家博主
  • 多款主流产品(阿里云等)评测一等奖获得者

关注小鱼,学习大数据算法领域最新最全的领域知识。


http://www.ppmy.cn/news/1518979.html

相关文章

asio之带缓冲区的流

简介 主要用于流式套接字 组成 #mermaid-svg-hX01koNjzbKEtBaq {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-hX01koNjzbKEtBaq .error-icon{fill:#552222;}#mermaid-svg-hX01koNjzbKEtBaq .error-text{fill:#55…

windows 10安装GPU版本pytorch

一、下载Anaconda 1.由于anaconda的服务器都在国外&#xff0c;推荐大家使用镜像源进行下载&#xff0c;清华的conda镜像链接&#xff1a;​​​​​​ anaconda | 镜像站使用帮助 | 清华大学开源软件镜像站 | Tsinghua Open Source Mirrora 2.使用命令新建一个虚拟环境&#…

海康二次开发学习笔记12-从Group外部输入图像

从Group外部输入图像 用OpenCV从本地读图 当Group内部无图像源模块时,可以通过代码的方式将图片传入Group内部.实现方式有多种,可以使用OpenCV从本地读图,可在程序集搜索引用OpenCvSharp&#xff0c;同时将其复制本地的属性改为False. 1. 界面设计 增加加载图像按钮 2. 处理…

[排序和二分] 绝对差值和

给你两个正整数数组 nums1 和 nums2 &#xff0c;数组的长度都是 n 。 数组 nums1 和 nums2 的 绝对差值和 定义为所有 |nums1[i] - nums2[i]|&#xff08;0 < i < n&#xff09;的 总和&#xff08;下标从 0 开始&#xff09;。 你可以选用 nums1 中的 任意一个 元素来…

PKI+简单渗透测试随记

PKI 一、 PKI概述 1、名称 Public Key Infrastructure&#xff1a;公钥基础设施 2、作用 通过加密技术和数字签名保证信息的安全 3、组成 公钥加密技术、数字证书、CA、RA 二、信息安全三要素 机密性 完整性 身份验证/操作的不可否认性 三、哪些IT领域用到PKI&#xff1a; …

模拟登录页,华为账号一键登录

一、介绍 基于鸿蒙Next模拟账号一键登录&#xff0c;免去账号注册环节二、场景需求 1. 用户场景 新用户&#xff1a; 需要快速注册并登录&#xff0c;以体验华为的服务。 老用户&#xff1a; 希望快速登录&#xff0c;不用每次输入用户名和密码。 2. 界面设计 Logo和标题&#…

科研绘图系列:R语言PCoA图(PCoA plot)

介绍 PCoA(主坐标分析,Principal Coordinate Analysis)是一种多维数据的降维技术,它用于探索高维空间中样本之间的关系。PCoA通常用于生态学、遗传学和其他领域的数据分析,以揭示样本或个体之间的相似性或差异性。 PCoA图的作用: 数据降维:PCoA可以将高维数据(如物种…

等保2.0--安全计算环境--TiDB数据库

在使用本博客提供的学习笔记及相关内容时,请注意以下免责声明:信息准确性:本博客的内容是基于作者的个人理解和经验,尽力确保信息的准确性和时效性,但不保证所有信息都完全正确或最新。非专业建议:博客中的内容仅供参考,不能替代专业人士的意见和建议。在做出任何重要决…