之前开源了学术总结ai agent，但是对非计算机专业来说，门槛有点高，再加上docker hub镜像被屏蔽，更是不容易上手啊。也有考虑用dify或者扣子去复刻一个，但是从专业用户的角度出发通过界面来拖拽配置实在是不高效，没有自己写代码来的直接，但是对非计算机专业的用户确实不友好。为了降低一下门槛，稍微进行了改进。下面开始正文：
这个开源项目其中有个环节是利用firecrawl抓取论文，然后转成对大模型友好的LLM格式。这个firecrawl如果使用官方云服务是收费的，还有一种方式是本地跑开源的，但这个方式也挺麻烦，需要安装很多包因为网络屏蔽也很容易中断，因此假期抽空，打了个docker镜像共享出来。
如果你自己打镜像，可能遇到node依赖下载问题，go依赖下载问题，基础镜像无法下载。总之中国的网络你懂的。
firecrawl的功能很强大，还是先复习下：
抓取（Scrape）：抓取一个URL并将其内容转换为LLM（大语言模型）友好的格式（如Markdown、通过LLM提取的结构化数据、截图、HTML）。
爬取（Crawl）：抓取一个网页的所有URL并将其内容转换为LLM友好的格式。
映射（Map）：输入一个网站，快速获取该网站的所有URL。
强大功能
- LLM友好的格式：Markdown、结构化数据、截图、HTML、链接、元数据。
- 复杂任务：代理、反机器人机制、动态内容（JS渲染）、输出解析、协调。
- 自定义功能：排除标签、使用自定义头部绕过身份验证墙、设置最大爬取深度等。
- 媒体解析：PDF、DOCX、图片等格式。
- 可靠性优先：设计目的是确保无论数据抓取多么复杂，都能获取所需的数据。
- 操作功能：点击、滚动、输入、等待等，提取数据之前的操作。
下载
「firecrawl-main.zip」链接：https://pan.quark.cn/s/11149b0e701e
解压
unzip firecrawl-main.zip
加载镜像
进入dockers目录执行一下命令
docker load -i firecrawl-api.tar
docker load -i firecrawl-playwright-service.tar
docker load -i firecrawl-worker.tar
启动镜像
进入上层目录，docker-compose.yaml所在的目录，输入
docker-compse up -d
如果你电脑没有这个命令，建议用大模型查一下怎么安装。
测试
输入http://localhost:3002/admin//queues,界面如下：
写demo测试抓取功能
这里可以参考官方说明：https://docs.firecrawl.dev/introduction
各位读者在使用过程中有啥问题可以留言，感谢，欢迎转发！
