用大模型搭建一个自己的新闻小助手

embedded/2024/10/20 5:42:11/

背景

信息快速增长的时代，及时获取到有价值的资讯是一件很必要的事情。已经有各类新闻app和获取信息的渠道了，为什么还需要在构建一个小助手来获取新闻资讯呢？其实原因很简单各类新闻app服务的是具体一类人群，个人和人群还是有偏差的。如果可以根据自己的需要简单的定制自己的新闻出版获取器不是一件很有意思的事吗。那么这个简单有简单到什么程度呢？为什么这么问呢，因为简单必然是要付出精度代价的。但是大模型的出现很多复杂的是变得更简单了，原因就是模型把做事流程做了抽象挖掘到更多更本质的或者更上层元策略。所以理论讲你可以既简单但又获得更多有价值的信息。
一下假设我们希望我们的新闻小助手具备几种能力（能力可分层，这一阶段有可能部分能力达不到要求）。
1.新闻获取能力：可以根据用户需要搜索到新闻，并对新闻资讯做简单整理
2.新闻摘要、解读、分类
3.可以得到的这么多类新闻做汇总可视化（比如用xmind方式成纲领）
4.可以把内容读取出来：新闻摘要、用户喜欢的新闻成篇读出
5.可以对新闻做深度解析，基于原文+关键词检索对信息作更全面的分析结构化解读（这一步到后面文章介绍）
这篇文章选择用字节开放的“扣子”编排工具来实现，DIfy、autoagent、chatglm、langflow理论上讲都可以实现。但是扣子目前提供的工具插件、以及工作流我觉得是比较容易上手的。并且很多插件是免费使用、把各种API使用需要的权限申请和配置问题解决了。所以这次实践选择用“扣子”来实现。

实现

1.创建Bot

进入扣子页面，点击“创建Bot”，给应用起好名字、做好描述，点击下一步就可以
image.png

2.Bot工作流构建

A.设定好人设与逻辑编排，这部主要是安排好助手指责、做事流程（比如我这边就是给了他两个角色：“提供新闻”、“新闻可视化”），具体要求可以参考下面图（或者可以大概让ai优化格式化指令）
b.设定流程调度的大模型，目前扣子只提供了三个选项：豆包、千问-max、minmax6.5但是长度是限制咋4k（感觉是不够用的，选择的模型效果不算事最好的），这边我是选择了Minmax6.5s 4k，豆包感觉对流程指令遵循能力不算好，千问-max给的指令长度不太够（其实千问系列有更长指令的）
c.构建两个分支工作流：新闻检索、新闻可视化

image.png

3.新闻检索工作流

image.png
这部分包括4道工序：
1.获取当前时间，根据用户需要查资讯时间推导出资讯查询周期
2.对用户的查询query分析生成适合新闻检索的query
3.用插件：“头条新闻”、“搜狐新闻”来实现新闻检索（这边你也可以用bing、百度搜索、谷歌duckduckgo、秘塔…其他插件实现，我选择的两个插件不一定是最好的）
4.对检索到的新闻用大模型做简单加工格式化，抽标题、url、摘要、解读（浅）
根据用户输入生成检索query的prompt设置：

任务：生成包含用户输入的时间和问题的检索词。1. 解析输入的时间格式（YYYY-MM-DD HH:MM:SS），例如 "2024-05-28 06:57:21"。
2. 根据输入时间推算出目标时间段，例如推算出一周内的时间段为 "2024-05-21至2024-05-28"。
3. 组合用户的query和推算出的时间段生成检索词。示例：
输入时间："2024-05-28 06:57:21"
用户输入的query："最新的科技新闻"任务步骤：
1. 解析输入时间→"2024-05-28 06:57:21"
2. 推算1周时间段→"2024-05-21至2024-05-28"
3. 生成检索词→"2024-05-21至2024-05-28 最新的科技新闻"请根据以上步骤生成检索提示词：
检索词："[推算出的时间段] 用户输入的query"
用户输入：当前日期是{{current}},用户输入的时间{{day}}；用户输入的query是{{query}}
只输出[推算出的时间段] 用户输入的query

新闻简单加工和格式化prompt设置：

请从下面的用户输入中提取并格式化每条新闻的名称、url，并判断新闻属于什么类。要求如下：
1. 将每条新闻单独列出，名称、url和类别分别输出。
2. 新闻名称：直接摘录内容，不需要做任何改动。
3. url：从提供的链接中提取，不需要修改。
4. 类别判断：根据新闻简介内容，判断其主要涉及的关键词。例如，如果新闻涉及健康、医学研究，判断其为“健康”。如果涉及宇宙、天文，判断其为“天文”。
5.输出的新闻标题，基于summary提取，不要用输入的"title"
6.并对每条新闻作出解读
7. 根据输入格式化并分类新闻条目，最终结果以 JSON 格式输出。
示例输入:

sitename : williamzhang51
summary : 1. 脑损伤揭示慷慨路径:一项研究表明，腹内侧前额叶皮层(vmPFC)在我们的帮助他人的意愿中起着关键作用。2. 微塑料入侵:新墨西哥大学的研究人员在人体和犬类的睾丸组织中发现了微塑料，提出了对生殖健康的担忧。3. 哈勃探索宇宙奇观:哈勃望远镜探索了处于处女座星系团的棒状螺旋星系NGC 4731，展示了其详细的颜色和结构。4. 新型冠状病毒可能引发下一次大流行:5. NASA的欧罗巴探测器准备发射:6. 纳米级3D映射揭示大脑结构革命性见解:7. 量子计算进展:8. 绿色科技:9. 平台工程:
title : 2024年5月28日科技新闻 1
url : http://m.toutiao.com/group/7373817664730300978/

示例输出:

[
{
“title”: “脑损伤揭示慷慨路径”,
“url”: “http://m.toutiao.com/group/7373817664730300978/”,
“category”: “健康”,
“新闻解读”:“脑损伤揭示慷慨路径: 一项研究表明，腹内侧前额叶皮层(vmPFC)在我们的帮助他人的意愿中起着关键作用。”
},
{
“title”: “微塑料入侵”,
“url”: “http://m.toutiao.com/group/7373817664730300978/”,
“category”: “健康”,
“新闻解读”:微塑料入侵: 新墨西哥大学的研究人员在人体和犬类的睾丸组织中发现了微塑料，提出了对生殖健康的担忧。"
},
{
“title”: “哈勃探索宇宙奇观”,
“url”: “http://m.toutiao.com/group/7373817664730300978/”,
“category”: “天文”,
“新闻解读”:“哈勃探索宇宙奇观: 哈勃望远镜探索了处于处女座星系团的棒状螺旋星系NGC 4731，展示了其详细的颜色和结构。”
},
{
“title”: “新型冠状病毒可能引发下一次大流行”,
“url”: “http://m.toutiao.com/group/7373817664730300978/”,
“category”: “健康”,
“新闻解读”:“新型冠状病毒可能引发下一次大流行”
},
{
“title”: “NASA的欧罗巴探测器准备发射”,
“url”: “http://m.toutiao.com/group/7373817664730300978/”,
“category”: “天文”,
“新闻解读”:“NASA的欧罗巴探测器准备发射”
},
{
“title”: “纳米级3D映射揭示大脑结构革命性见解”,
“url”: “http://m.toutiao.com/group/7373817664730300978/”,
“category”: “科学技术”,
“新闻解读”:“纳米级3D映射揭示大脑结构革命性见解”
},
{
“title”: “量子计算进展”,
“url”: “http://m.toutiao.com/group/7373817664730300978/”,
“category”: “科学技术”,
“新闻解读”:“量子计算进展”
},
{
“title”: “绿色科技”,
“url”: “http://m.toutiao.com/group/7373817664730300978/”,
“category”: “环境”,
“新闻解读”:“绿色科技”
},
{
“title”: “平台工程”,
“url”: “http://m.toutiao.com/group/7373817664730300978/”,
“category”: “技术”,
“新闻解读”:“平台工程”
}
]

用户输入{{input1}}、{{input2[0]}}

4.新闻可视化工作流image.png

包括两道工序：
a.把检索回来已经简单加工的新闻资讯做进一步的加工，适配treemind呈现格式
b.把大模型进一步加工好的数据输入给插件“TreeMind”来做可视化
大模型加工这边选择是Minmax6.5s（256k），指令如下：

Generate a mind map in xmind format from the following data. The mind map should be organized with top-level nodes as categories and under each category, include the articles as sub-nodes with their titles and URLs:Data:
[{"category":"健康","title":"脑损伤揭示慷慨路径","url":"http://m.toutiao.com/group/7373817664730300978/"},{"category":"健康","title":"微塑料入侵","url":"http://m.toutiao.com/group/7373817664730300978/"},{"category":"天文","title":"哈勃探索宇宙奇观","url":"http://m.toutiao.com/group/7373817664730300978/"},{"category":"健康","title":"新型冠状病毒可能引发下一次大流行","url":"http://m.toutiao.com/group/7373817664730300978/"},{"category":"天文","title":"NASA的欧罗巴探测器准备发射","url":"http://m.toutiao.com/group/7373817664730300978/"},{"category":"科学技术","title":"纳米级3D映射揭示大脑结构革命性见解","url":"http://m.toutiao.com/group/7373817664730300978/"},{"category":"科学技术","title":"量子计算进展","url":"http://m.toutiao.com/group/7373817664730300978/"},{"category":"环境","title":"绿色科技","url":"http://m.toutiao.com/group/7373817664730300978/"},{"category":"技术","title":"平台工程","url":"http://m.toutiao.com/group/7373817664730300978/"}
]The mind map should look like this:- 健康
- Title: 脑损伤揭示慷慨路径
URL: http://m.toutiao.com/group/7373817664730300978/
- Title: 微塑料入侵
URL: http://m.toutiao.com/group/7373817664730300978/
- Title: 新型冠状病毒可能引发下一次大流行
URL: http://m.toutiao.com/group/7373817664730300978/
- 天文
- Title: 哈勃探索宇宙奇观
URL: http://m.toutiao.com/group/7373817664730300978/
- Title: NASA的欧罗巴探测器准备发射
URL: http://m.toutiao.com/group/7373817664730300978/
- 科学技术
- Title: 纳米级3D映射揭示大脑结构革命性见解
URL: http://m.toutiao.com/group/7373817664730300978/
- Title: 量子计算进展
URL: http://m.toutiao.com/group/7373817664730300978/
- 环境
- Title: 绿色科技
URL: http://m.toutiao.com/group/7373817664730300978/
- 技术
- Title: 平台工程
URL: http://m.toutiao.com/group/7373817664730300978/用户输入:{{input}}

TreeMind对信息可视化结果如下：
image.png
或者如下：
image.png
最终模型执行结果如下，可以让机器给你读新闻，可以实现xmind可视化、可以设定每天定时给你推送加工好的新闻。后面如果要做深度解读可以再加一条链路。
image.png
根据你自己需要按上面格式输入你想看的周期类别的新闻。
image.png
可以点选朗读，让机器给你读新闻，如果你不想自己点也可以设定自动读。输入“新闻可视化”实现新闻的xmind格式呈现。


http://www.ppmy.cn/embedded/43483.html

相关文章

某勾求职网逆向分析

某勾求职网逆向分析

搜索目标： aHR0cHM6Ly93d3cubGFnb3UuY29tL3duL2pvYnM/cG49MSZweD1kZWZhdWx0JmZyb21TZWFyY2g9dHJ1ZSZrZD0lRTYlOTUlQjAlRTYlOEQlQUUlRTUlODglODYlRTYlOUUlOTA= 抓包分析 请求和返回都是加密的 请求头部也有未知参数 跟栈分析 请求和返回是一个AES加密，加密的KEY是session s…
阅读更多...
三前奏：获取/ 读取/ 评估数据【数据分析】

三前奏：获取/ 读取/ 评估数据【数据分析】

各位大佬好 ，这里是阿川的博客 ， 祝您变得更强 个人主页：在线OJ的阿川 大佬的支持和鼓励，将是我成长路上最大的动力 阿川水平有限，如有错误，欢迎大佬指正 前面的博客 数据分析—技术栈和开发环境搭建 …
阅读更多...
列表元素添加的艺术：从单一到批量

列表元素添加的艺术：从单一到批量

新书上架~👇全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我👆，收藏下次不迷路┗|｀O′|┛ 嗷~~ 目录 一、引言 二、向列表中添加单一元素 1. append方法 2. insert方法 三、向列表中添加批量…
阅读更多...
React hooks - useRef

React hooks - useRef

useRef 用法特点注意事项 用法 useRef 函数返回一个可变的 ref 对象，该对象只有一个 current 属性。可以在调用 useRef 函数时为其指定初始值。并且这个返回的 ref 对象在组件的整个生命周期内保持不变。 // 1. 导入 useRef import { useRef } from react // 2. 调…
阅读更多...
ubuntu 配置用户登录失败尝试次数限制

ubuntu 配置用户登录失败尝试次数限制

前言： 通过修改pam配置来达到限制密码尝试次数！ 1：修改 /etc/pam.d/login 配置（这里只是终端登录配置，如果还需要配置SSH远程登录限制，只配置下面的 /etc/pam.d/pam.d/common-auth 即可） vim…
阅读更多...
Java多线程（02）

Java多线程（02）

一、如何终止线程 终止线程就是要让 run 方法尽快执行结束 1. 手动创建标志位 可以通过在代码中手动创建标志位的方式，来作为 run 方法的执行结束条件； public static void main(String[] args) throws InterruptedException {boolean flag true;Thr…
阅读更多...
用例设计需遵循哪些规范标准？

用例设计需遵循哪些规范标准？

用例设计需要遵循一些规范标准，以确保设计的用例具有良好的质量和可维护性。以下是一些常见的规范标准： 1.明确的目标和范围：用例应该有明确的目标和范围，清楚地描述系统需要实现的功能或行为。 2.完整性：用例应该覆盖…
阅读更多...
XDebug配置几件教程，phpstorm实现http请求断点调试

XDebug配置几件教程，phpstorm实现http请求断点调试

写这篇的文章的初衷：网络上配置XDebug的文章有很多，XDebug也有官方的文档， PhpStorm也有官方的文档，为什么还要写那？ 相信不少人，都有一种感觉，虽然教程很多，但是按教程走一遍，自己的确不能正常调试。 问题出在下面几个方面： 1. 对调试过程中，没有一定的认识，因此…
阅读更多...
最新文章

Copyright @ 2022~2023