Elasticsearch：使用 Open Crawler 和 semantic text 进行语义搜索

作者：来自 Elastic Jeff Vestal

了解如何使用开放爬虫与 semantic text 字段结合来轻松抓取网站并使其可进行语义搜索。

Elastic Open Crawler 演练

我们在这里要做什么？

Elastic Open Crawler 是 Elastic 托管爬虫的后继者。

Semantic text 是 Elastic 的简单入门数据类型，用于启动和运行语义搜索。

两者结合，就像是搜索领域的 “新锐组合”。

接下来，我们将学习如何轻松配置并运行 Open Crawler 来爬取一个网站（以 Search Labs 的博客为例），自动分块并使用 ELSER 为这些网页内容（博客文本）生成稀疏向量嵌入，并运行一些示例搜索，确保一切正常运行。

选择你自己的冒险

如果你想在免费的、按需的研讨会环境中完成这个 —— 请点击此处。
如果你更愿意观看此演练的视频 ——请点击此链接。
如果你不熟悉 Open Crawler，请在测试版公告博客中阅读。
- 或者在我们的讨论论坛上阅读一篇很棒的文章 —— 2024 年 12 月 12 日：[EN] 像超级英雄一样浏览网页内容
如果你喜欢阅读博客，请继续阅读！

Elasticsearch

项目或集群

你首先需要的是 Elasticsearch 集群或无服务器项目。如果你没有，没关系；你可以在 cloud.elastic.co 注册免费试用

创建映射模板。

如果你不想自定义任何映射，Open Crawler 将使用合理的默认值将其在网络上抓取的所有数据索引到 Elasticsearch 中。但是，在我们的例子中，我们希望增强默认映射，以便我们的一些文本可以为其生成稀疏向量。

我们将为索引中的两个关键字段创建一个新的索引模板。其余字段默认设置。

创建一个名为 `body_semantic` 的 `semantic_text` 字段
- 这将：
  - 从博客正文生成块
  - 使用 ELSER 从块生成稀疏向量
- 注意：语义文本字段需要 inference API，它告诉 Elasticsearch 如何在提取和搜索时生成嵌入。由于我们在此示例中使用无服务器，因此我们将在 Elasticsearch 中使用默认的 ELSER 推理端点。
  - 如果你不使用 serverless 或想要设置自己的推理端点，ELSER 的文档页面有一个创建新推理端点的示例。
为 “body” 字段添加映射，以包含 “copy_to” 参数，从而将正文复制到我们的语义文本字段。
- body 字段通常会自动映射到文本。

PUT 索引模板

PUT _index_template/search-labs-template
{"index_patterns": ["search-labs-blogs","search-labs-blogs*"],"template": {"settings": {"index": {"default_pipeline": "parse_author_and_publish_date"}},"mappings": {"properties": {"first_author": {"type": "keyword"},"publish_date": {"type": "date"},"body": {"type": "text","copy_to": "body_semantic"},"body_semantic": {"type": "semantic_text","inference_id": "elser-endpoint"},"last_crawled_at": {"type": "date"}}}}
}

创建空索引

PUT search-labs-blogs

创建摄取管道

爬虫程序在抓取网页时可以提取一些信息。但是，当你需要额外的解析时，你可以配置摄取管道。

我们将配置一个管道来提取以下信息：

从 author 字段中提取发布日期并将其存储在新的 posted_date 字段中
从 list_of_authors 中提取第一作者并将其存储在新的 first_author 字段中
删除 raw_author 和 raw_publish_date

PUT 摄取管道

PUT _ingest/pipeline/parse_author_and_publish_date
{"processors": [{"script": {"source": """// If raw_author is null or empty array, set default unknownif (ctx.raw_author == null || ctx.raw_author.size() == 0) {ctx.list_of_authors = [];ctx.first_author = "Unknown";} else {// raw_author is already an array from crawlerctx.list_of_authors = ctx.raw_author;ctx.first_author = ctx.raw_author[0];  // The first element}"""}},{"script": {"source": """// If raw_publish_date is null or empty array, set default to January 1, 1970if (ctx.raw_publish_date == null || ctx.raw_publish_date.trim().length() == 0) {ctx.raw_publish_date = "January 1, 1970";} else {ctx.raw_publish_date = ctx.raw_publish_date.trim();}"""}},{"date": {"field": "raw_publish_date","target_field": "publish_date","formats": ["MMMM d, yyyy"],"timezone": "UTC"}},{"remove": {"field": "raw_publish_date","ignore_missing": true}},{"remove": {"field": "raw_author","ignore_missing": true}}]
}

部署 ELSER

如果你使用的是 Elastic 的 serverless 项目，则可以使用默认的 ELSER 推理端点 (_inference/.elser-2-elasticsearch)。如果这样做，你需要更新索引模板中 body_semantic 的映射。

我们将创建一个新的推理端点，为其提供更多资源，这样非 serverless 的读者也可以享受乐趣！

PUT 新的推理端点

PUT _inference/sparse_embedding/elser-endpoint
{"service": "elser","service_settings": {"num_allocations": 32,"num_threads": 1}
}

Docker

这里只是简单说明一下。你必须在要运行爬虫的计算机或服务器上安装并运行 Docker。

查看 Docker 的入门指南以获取有关启动和运行的帮助。

Open Crawler

下载 Docker 镜像

你可以使用 Elastic 的官方镜像下载并启动 Open Crawler Docker 镜像。

docker run -i -d \
--name crawler \
docker.elastic.co/integrations/crawler:0.2.0

配置爬虫

我们将爬取 Elastic Search Labs 博客。Search Labs 有很多出色的搜索、ML 和 GenAI 内容。但它也链接到 elastic.co 的其他部分。我们将配置爬虫以限制我们的爬取，确保仅索引博客。

Crawler.yaml

创建一个新的 crawler.yaml 文件并粘贴以下代码
allow 规则，用于 /search-labs/blog URL 模式下的所有内容（包括）
一个 “拒绝所有” 的规则，用于拦截所有其他 URL。
使用提取规则提取作者的姓名并将其分配给字段 “authors”。
1. 有关提取规则示例的更多详细信息，请查看有关测试版的博客。
在此示例中，我们使用正则表达式模式作为拒绝规则。

将以下代码粘贴到 crawler.yml 中：

crawler.yml

domains:- url: https://www.elastic.coseed_urls:- https://www.elastic.co/search-labs/blog/crawl_rules:- policy: allowtype: beginspattern: "/search-labs/blog"- policy: denytype: regexpattern: ".*"extraction_rulesets:- url_filters:- type: beginspattern: /search-labs/blog/rules:- action: extractfield_name: raw_authorselector: ".Byline_authorNames__bCmvc a[href*='/search-labs/author/']"join_as: arraysource: html- action: extractfield_name: raw_publish_dateselector: "time.article-published-date"attribute: "datetime"join_as: stringsource: htmloutput_sink: elasticsearch
output_index: search-labs-blogssitemap_discovery_disabled: true
binary_content_extraction_enabled: falseelasticsearch:host: http://kubernetes-vmusername: elasticpassword: changemepipeline: parse_author_and_publish_datepipeline_enabled: truelog_level: debug

注：如果我们想使用自签名的 Elasticsearch 集群来演示，那么我们需要添加 fingerprint。你可以使用如下的命令来获得 fingerprint：
openssl x509 -fingerprint -sha256 -in config/certs/http_ca.crt
##  The SHA256 CA cert fingerprint used to verify SSL connection to Elasticsearch.
##    SSL usage is configured by the presence of `https` in `elasticsearch.host`
#elasticsearch.ca_fingerprint: null

将配置文件复制到正在运行的 docker 容器

运行下面的复制命令：

docker cp crawler.yml crawler:app/config/crawler.yml

启动抓取作业

我们现在可以抓取一些网页了！运行以下命令即可启动它。

docker exec -it crawler bin/crawler crawl config/crawler.yml

注意：你最初可能会在爬虫日志中看到超时。默认情况下，ELSER 部署会缩减为 0 个分配，以减少空闲时的成本。部署需要一分钟才能扩展。

转到文档！

返回 Kibana 中的控制台并输入以下搜索：

GET search-labs-blogs/_search
{"retriever": {"standard": {"query": {"semantic": {"field": "body_semantic","query": "How do I quantize vectors?"}}}},"_source": false,"fields": ["title","body"]
}

我收到的前五个标题是：