RAG
2024/9/18 12:53:32
如何确保大模型 RAG 生成的信息是基于可靠的数据源？
在不断发展的人工智能 (AI) 领域中，检索增强生成 (RAG) 已成为一种强大的技术。
RAG 弥合了大型语言模型 (LLM) 与外部知识源之间的差距，使 AI 系统能够提供更全面和信息丰富的响应。然而，一个关键因素有时会缺失——透明性。
我们如何能够…
828华为云征文｜部署知识库问答系统 MaxKB
828华为云征文｜部署知识库问答系统 MaxKB 一、Flexus云服务器X实例介绍1.1 云服务器介绍1.2 核心竞争力1.3 计费模式 二、Flexus云服务器X实例配置2.1 重置密码2.2 服务器连接2.3 安全组配置 三、部署 MaxKB3.1 MaxKB 介绍3.2 Docker 环境搭建3.3 MaxKB 部署3.4 Max…
![RAG私域问答场景超级详细方案(第一期方案)[1]：工业级别构建私域问答（知识处理、知识召回排序、搜索问答模块）](https://img-blog.csdnimg.cn/img_convert/6f2648ecf791ccec4b7f995c0025cb4b.png)
RAG私域问答场景超级详细方案(第一期方案)[1]：工业级别构建私域问答（知识处理、知识召回排序、搜索问答模块）
RAG私域问答场景整体夏详细方案(第一期方案)：工业级别构建私域问答（知识处理、知识召回排序、搜索问答模块）
大模型性能的跳阶式增长给文本摘要、信息检索、信息抽取、语义问答等自然语言处理任务带来了卓越的性能提升。同时，LangChain 作为一种基于 LLM 的框架，能够快速…
RAG开山之作：结合参数化与非参数化记忆的知识密集型NLP任务新解法
20年RAG刚提出时的论文：Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks，也算是RAG的开山之作之一了。 摘要：检索增强生成（RAG）方法结合了预训练语言模型与基于检索的非参数化记忆，通过…
基于 LlaMA 3 + LangGraph 在windows本地部署大模型 （三）
基于 LlaMA 3 LangGraph 在windows本地部署大模型 （三） 大家继续看 https://lilianweng.github.io/posts/2023-06-23-agent/的文档内容
第二部分：内存
记忆的类型
记忆可以定义为用于获取、存储、保留以及随后检索信息的过程。人脑中有多…
对话访谈——五问RAG与搜索引擎：探索知识检索的未来
记一次关于RAG和搜索引擎在知识检索方面的对话访谈，针对 RAG 与传统搜索引擎的异同,以及它们在知识检索领域的优劣势进行了深入的探讨。 Q：传统搜索引擎吗，通过召回-排序的两阶段模式，实现搜索逻辑的实现，当前RAG技术也…
RAG进阶(二): RAG 融合(rag fusion)
在上一篇博客中，我们学习了多重查询(Multi Query)技术，Multi Query的基本思想是当用户输入查询语句(自然语言)时，我们让大模型(LLM)基于用户的问题再生成多个查询语句，这些生成的查询语句是对用户查询语句的补充，它们是…
阿里云Elasticsearch AI搜索实践
TechDay 本文由阿里云技术专家魏子珺在【AI搜索TechDay】上的分享【阿里云Elasticsearch AI搜索实践】整理而成。 【AI搜索TechDay】是Elastic和阿里云联合主办的AI技术Meetup系列，聚焦企业级AI搜索应用和开发者动手实践，旨在帮助开发者在大模型浪潮下升…
fastgpt、dify功能分析比较
目录
前言
一、dify、fastgpt是什么？
二、同场pk
1.大模型接入
2.chat（最简应用）
3.发布应用
4.知识库
5.workflow
6.其他
三、一些point记录
总结 前言
现在都开始AI应用开发，何谓AI应用，起码要和AI大模型…
AnythingLLM：基于RAG方案构专属私有知识库（开源｜高效｜可定制）
一、前言 继OpenAI和Google的产品发布会之后，大模型的能力进化速度之快令人惊叹，然而，对于很多个人和企业而言，为了数据安全不得不考虑私有化部署方案，从GPT-4发布以来，国内外的大模型就拉开了很明显的差距…
【LLM之RAG】GraphRAG论文阅读笔记
研究背景
本文探讨了大型语言模型（LLM）如何通过从外部知识源检索相关信息来回答关于私有或之前未见过的文档集合的问题。特别指出，传统的检索增强生成（RAG）系统在处理全局问题时存在局限性，例如问整个文本…
企业本地部署大型语言模型（LLMs）构建本地垂直领域知识库的策略|空天防御
0 引言
在数字化转型的浪潮中，传统企业面临着前所未有的机遇与挑战。随着大数据、云计算和人工智能技术的发展，企业积累的私有数据成为了潜在的金矿，等待着被挖掘和利用。大型语言模型（LLMs）作为当前人工智能领域的前…
Llama3 中文通用 Agent 微调模型来啦！（附手把手微调实战教程）
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。
基于大家…
精通Transformer，从零开始构建最先进的NLP模型（附PDF）
国内第1本Transformer——变形金刚红书
如果一定要说未来谁能引领人工智能世界，是Transformer而非chatGPT！
编辑推荐★★★★★
ChatGPT红得发紫，强得让人类心悸。
但在它的背后，还隐藏着一位真正的大佬。
它的名字叫做——T…
# RAG | Langchain # Langchain RAG：打造Markdown文件的结构化分割解决方案
【文章简介】 在信息技术的现代背景下，高效地处理和分析文本数据对于知识获取和决策支持至关重要。Markdown文件因其易读性和高效性，在文档编写和知识共享中占据了重要地位。然而，传统的文本处理方法往往忽视了Markdown的结构化特性ÿ…
【IR 论文】DPR — 最早提出使用嵌入向量来检索文档的模型
论文：Dense Passage Retrieval for Open-Domain Question Answering ⭐⭐⭐⭐⭐ EMNLP 2020, Facebook Research Code: github.com/facebookresearch/DPR 文章目录 一、论文速读二、DPR 的训练2.1 正样本和负样本的选取2.2 In-batch negatives 技巧 三、实验3.1 数据…