【开源项目-爬虫】Firecrawl

embedded/2025/3/17 3:28:01/

看到其他项目引用了这个项目 Firecrawl

用免费额度试了一下,这个项目和之前的 https://r.jina.ai/ 很像(类似的还有 https://www.scrapingbee.com/?),将爬取到的网页转换为 markdown 格式,这样大语言模型用起来就很方便

商业模式就是卖 api,看了一下如果长期大量跑价格不便宜

不过好在还可以本地部署,本地部署的话,不知道代理什么的怎么配置,没有细看


分别用小红书的浏览器首页(小红书 - 你的生活指南)和详情页试了一下

firecrawljina
可以从首页拿到详情页链接可以可以
可以拿到详情页标题 + 图片可以拿不到

通过简单的测试看起来比 jina 强一点点,不过 jina 实际可以白嫖,但 firecrawl 没有深入研究能不能白嫖


官网地址(可以免费尝试):Firecrawl

github 地址(fork 2.6k,star 30k+):GitHub - mendableai/firecrawl: 🔥 Turn entire websites into LLM-ready markdown or structured data. Scrape, crawl and extract with a single API.


http://www.ppmy.cn/embedded/173228.html

相关文章

以 ArcGIS Pro 为笔,绘就水墨地图画卷

一、引言 水墨画,作为中国传统绘画艺术的瑰宝,以其独特的韵味和表现力,在艺术领域占据着重要地位。它通过水与墨的交融,展现出山水之间的灵动与韵味。 而将这种艺术形式与现代地理信息系统(GIS)技术相结合…

卸载Linux自带的MariaDB操作过程

安装及配置 1、下载安装包mysql-version-linux-glibc2.5-x86_64.tar(可前往官网自行下载:http://dev.mysql.com/downloads/mysql/) 2、卸载系统自带的MariaDB 打开Terminal终端: # rpm -qa|grep mariadb //查询出来已安装的ma…

ROS下调用奥比中光dabai相机

写在前面 其实这篇教程本可以不写的,但是介于手上这台相机的特殊性,还是写一下。教程本身就是官方git说明的前一部分,几乎没什么改动,安装起来比realsense还方便些。 这款相机是从松灵limo上拆下来的,但是在松灵的宣传…

【金融杂谈】价格内卷死局——谁造成了价格内卷?

谁造成了价格的内卷? 今天聊一下,我眼里国内价格内卷的成因。 社会的进步和发展源于商品贸易的繁荣,这既改善了人们的生活品质,又创造了价值,给大部分人提供了工作岗位和生活基本工资,还发展了各种民用科…

C#面试题整理13

1.C#中有没有Anonymous修饰符 无 2.再说一下静态类 静态类无法实例化&#xff0c;都是通过类名直接使用 3.解释一下<%%>的作用 括号内部放后台代码 4.Session会丢失&#xff0c;Cookie不安全&#xff0c;可有替代 ViewState 5.并发有哪些可有什么好办法进行处理 连…

蓝桥杯嵌入式组第七届省赛题目解析+STM32G431RBT6实现源码

文章目录 1.题目解析1.1 分而治之&#xff0c;藕断丝连1.2 模块化思维导图1.3 模块解析1.3.1 KEY模块1.3.2 ADC模块1.3.3 IIC模块1.3.4 UART模块1.3.5 LCD模块1.3.6 LED模块1.3.7 TIM模块 2.源码3.第七届题目 前言&#xff1a;STM32G431RBT6实现嵌入式组第七届题目解析源码&…

docker无法正常拉取镜像问题的解决

目录 1.前言 2.解决方案 1.前言 安装docker后拉取镜像&#xff0c;遇见了如下问题&#xff1a; Error response from daemon: Get "https://registry-1.docker.io/v2/": net/http: request canceled while waiting for connection (Client.Timeout exceeded whil…

音视频入门基础:RTP专题(19)——FFmpeg源码中,获取RTP的音频信息的实现(下)

本文接着《音视频入门基础&#xff1a;RTP专题&#xff08;18&#xff09;——FFmpeg源码中&#xff0c;获取RTP的音频信息的实现&#xff08;上&#xff09;》&#xff0c;继续讲解FFmpeg获取SDP描述的RTP流的音频信息到底是从哪个地方获取的。本文的一级标题从“四”开始。 四…