2024/08(二) 近期关于AI的阅读和理解[笔记]

## Multi Agent/Flow

最近团队在实验 flowise 的 Agent flows 设计，顺带看了现在市面多加解决方案，这两天偶尔看到蚂蚁CodeFuse团队开发的Mulit Agent框架开发思想，所以将他们一起总结归纳下。

Agent Base：构建了四种基本的Agent类型BaseAgent、ReactAgent、ExecutorAgent、SelectorAgent，支撑各种场景的基础活动
Communication：通过Message和Parse Message 实体完成Agent间的信息传递，并与Memory Manager交互再Memory Pool完成记忆管理
Prompt Manager：通过Role Handler、Doc/Tool Handler、Session Handler、Customized Handler，来自动化组装Customized 的Agent Prompt
Memory Manager：用于支撑 chat history 的存储管理、信息压缩、记忆检索等管理，最后通过Memory Pool在数据库、本地、向量数据库中完成存储
Component：用于构建Agent的辅助生态组件，包括Retrieval、Tool、Action、Sandbox等
Customized Model：支持私有化的LLM和Embedding的接入

from CodeFuse-muAgent

很早的 AutoGPT 也有相类似概念，再到 Langchain 据闻也搞自己的 Studio IDE, 其实总总的这些操作，一个是补充LLM 不具备行业知识和现有业务流程的融入问题；二是对齐也就是怕回答很妖的答案；由于现在LLM上下文窗口的问题，做了很多补丁类似的事；现有组织资产无非：数据（结构非结构）+ 流程（API）; 现在市面上解决方案都无法达到比较能用(不知道是遗老派跟不上，还是这些产品方案太急，太糙，你瞅github代码能感受到)，2024/08 近期关于AI的阅读和理解[笔记] 上次汇总中看到很多不错的思考方向，但貌似部分是非开源的。

其实操作过 flowise, dify 都很容易联想到已存非常成熟的BPM 方式；是否有一种方案？Combining LLM flexibility and rule engine predictability？老牌的 JBPM 标准下的 Drool + 国内的新秀各种魔改的flow, 其实在和现有系统的融合上有不可言喻的优势。

亦或是新世界的解决方案要和遗老派彻底割裂，还是遗老派消化不良，跟不上节拍？

未来可能的情况现在的各种 ai?flow, 被大厂统一？或在LLM飞跃发展下，这些中间方案被边缘化和替代掉。

嘿嘿，所以决定挖个新坑，有义务统一下，看下面【新坑】

## 新坑

在不破坏大家的习惯情况下，如何让你飞快地拥有驾驭LLM能力？也就是 buz words LLMOps(涵盖了大型语言模型（如GPT系列）开发、部署、维护和优化的一整套实践和流程)。

在粗扫了7/8家解决方案后，得出结论这个思路是可行的(quarkus-drools-llm)。

Lite flow
flowise
easy flow
dify
drool
autodev
....

SO 她得：

声明式的 DSL
简单易懂
静态扫描编译
设计和运行分离
可测，可追踪
plugable
可以和现在业务系统无缝衔接
1. context
2. API
成本低 - 过程
得有UI? 必须得,先安排IDEA
本地能搞
....

这得控制到 byte 级别了吧？嘚！暂给她起名：

byteflowise = byte + flow + wise

Sure 你值得拥有！！！

## Generative UI

为什么一直对 UI 耿耿于怀？你终端用户只对UI感兴趣哈，最近迫于很多友商的压力，咱也被迫上了个“AI”产品，你发现基本是挂个AI的客服系统，有的基本IF/ELSE 都不判断，直接就是接的产品搜索, 唯一流出路径就是产品详情页。所以 AI 不 AI 对用户没得关系，她感觉像AI 就是AI, 感觉不是就不是，所以这个脸面非常重要。

在这一块先前看到 Claude3 artifact 在搞这个方向，然后又看到 Vercel 其实早就玩这个，包括他们的 v0.dev；大概意思从LLM 推导出 UI 然后用 react 服务器端渲染 SSR, 其实这个咱们不陌生，百度早前框计算(应该这个名字？)就有这个，现在你在百度搜索，日历，天气相关内容，都是可直接交互的了；

按理说这个是很难的，在无限通用的集合里，推导出这个UI；但是在有限集合里面这个解很容易，一个企业业务流程中涉及表单有多少？可以数的过来，不用去大模型推导UI 组建了，识别业务意图就可以，参数一识别，直接一个 iframe 就搞定---正有此意。