活动回顾｜多模态 AI 开发者的线下聚会@深圳站（内含福利）

回顾来了！

4 月 22 日，由 Jina AI 和 OpenMMLab 联合主办的「多模态 AI 」Office Hours @深圳站圆满结束，迎来了将近 60 位开发者的热情参与！现场不仅有别开生面的「开发者集市」供大家打卡赢取好礼，更有四场干货满满的分享和 workshop 让大家全方位领略多模态的魅力。

今年，Jina AI 还将联手更多社区、去到更多城市，与大家线下见面畅聊。你还希望我们去哪里呢？快在评论区留言互动吧！

📷 大合影 📷

开发者集市

现场由 Jina AI 联动 OpenMMLab、Xtreme1、AWS User Group 设置四个互动打卡点，让大家打卡的同时能够增进对不同技术社区的了解。

活动原计划于 15:30 正式开始，不到三点就有小伙伴慕名而来，以迅雷不及掩耳之势完成了四家展台的打卡任务，活动群内不断更新“逛展终极好礼还剩4份”，“还剩2份”的实时 update，两分钟后——“送完了！”

尽管如此，大家热情不减，继续在各个展位跟工作人员深度交流，集章打卡。

当然，送出小礼物只是奖励的一种方式，我们更希望大家能够通过逛展位、完成小任务来更好地了解这些 优秀的技术 公司/社区，在未来的研究和工作中更多地运用技术。

技术干货

我们正处于人工智能新时代的风口浪尖，正从单模态大步迈向多模态 AI 时代。在计算机科学中，“模态”可以被理解为是“数据类型”，所谓的单模态 AI，就是将AI应用于一种特定类型的数据。然而多模态 AI 则抹去了不同模态之间的界限。未来我们必将看到越来越多的 AI 应用将超越单个模态，发展为多模态，并巧妙利用不同模态之间的关系。

本场活动的分享则是围绕 多模态 AI 的话题展开。

Jina AI 高级 AI 工程师王峰博士，从单模态到多模态的范式迁移开始，介绍了Jina 和 DocArray 的核心概念及其在多模态 AI 开发中的作用；并通过分享社区开发者的各种应用案例，为大家展示如何在不同业务场景中使用 Jina 和 DocArray，解决多模态 AI 应用落地的实际问题。

让我们以一个实际的例子来感受这一跨越式的创新。当你在观看一部电影时，想要了解某个角色的背景，单模态神经搜索可能只能提供文本描述。而多模态神经搜索则可以为你提供包括文本、图片、视频在内的多种信息，让你更为直观地了解角色的历史与特点。

这就是一个多模态的应用场景，涉及到不同类型的数据和算法。而神经搜索可以帮助我们 快速地搜索和匹配不同模态之间的相关性。

单模态搜索局限于处理单一类型的数据，例如文本或图像。然而，多模态神经搜索则能够同时处理不同类型的数据，为用户提供更为丰富的信息。

- ：Jina AI 创始人肖涵博士解读多模态 AI 的范式变革

接下来，王峰博士介绍了 Jina 和 DocArray 的核心概念以及如何使用它们，他以实际案例介绍 Jina 开源 MLOps 框架 如何在不同业务场景中赋能开发者，解决多模态 AI 应用落地的实际问题。

Jina 提供了一些核心组件，如 Document、Executor 和 Flow，可以帮助我们构建高效的多模态 AI 应用。同时，DocArray 作为 Jina 中的底层数据结构，可以帮助我们 高效地表示、传输和存储多模态数据。

- 应用案例：基于 DocArray 和 Redis 开发的电商产品推荐系统

我们可以想象一个电商平台，用户可以上传一张图片或语音来描述自己的需求，然后搜索引擎可以根据用户的输入返回相应的商品。这个应用场景需要处理多种类型的数据和算法，并且需要考虑 实时性 和 可扩展性 等方面的问题。

通过使用 Jina 开源 MLOps 框架，我们可以快速构建这样一个高效的神经搜索应用，并且可以轻松地适应不同的业务场景。

王峰还介绍了 Jina AI 在 LLM 的相关实践，如定制化大模型微调服务 Finetuner+：我们根据客户的数据和需求，对通用大型语言模型进行定制化微调，将通用的大模型转变为客户所在行业的专家。并且将微调权重完全保留在客户组织的基础设施内，大大减少了数据泄露的风险。

不少开发者们表示对大模型私有化部署的服务有需求，扫描下方二维码提交你的需求，我们的产品团队会尽快联络你！

- 了解更多：定制你的专属大模型 Finetuner+体验开启！

王峰还介绍了 Inference API，提供了 CLIP、BILP 等模型的 API 调用，可用于视觉推理、图片问答和生成文本/图像 Embedding 等任务。开发者只需要选择任务和模型，集成 API 到应用中，即可使应用更智能、更高效，无需花精力去开发和维护 AI 模型。

🔗 登陆后体验：https://cloud.jina.ai/user/inference

上手体验

Jina AI 软件工程师余子牛带领大家上手体验了我们全新推出的跟 LLM、生成式 AI 相关的产品：

高效决策顾问 Rationale（🔗rationale.jina.ai）

自动化提示工程师 PromptPerfect（🔗promptperfect.jina.ai）

讲述图片背后的故事 SceneXplain（🔗scenex.jina.ai）

还没有用够的同学可以复制链接到浏览器继续体验，首次注册即送 20 个积分！我们还为现场到来的同学准备了限时八折专属优惠，记得在 4 月 24 日晚上前使用！

没有亲临现场也没关系，继续关注 Jina AI 公众号，不定期会放出更多优惠哦！

自由交流

现场还有同合杉天的创始人何承翰，作为 Jina AI 的社区大使，上台简单介绍了基于 Jina AI 的 DocArray 和 CLIP-as-service 开发的智能剪辑项目。当即有观众要求“分享链接来看看！”

同合杉天文化传媒有限公司是一家专注于通过技术手段赋能信息流媒体制作与传播服务的科技文化传媒类公司，拥有多模态内容的智能创作、生成、分发全链路支持技术，同时也在以 NMCN（小众多频道网络）的形式，为多个垂类的数十位天才级视频博主提供了多元化的内容创作于传播服务。希望通过最少量的信息输入与极低的学习成本和操作门槛，借由机器自动生成多模态内容并分发，以创造最大化的商业和舆论价值。

在未来，我们也希望看到更多的「社区代言人」来到 Jina AI 的活动主场、或代表我们对外分享你们用 Jina 产品开发的新奇项目和实践，欢迎报名申请成为「社区代言人」哦，我们收到反馈会第一时间联系到你，让你成为社区最闪耀的🌟！

🔗申请链接：https://wj.qq.com/s2/11553676/f037/

现场还有很多小伙伴询问“如何加入 Jina AI 社区贡献一份力量？”、“后续怎样跟工程师交流更多问题？“、”想要了解 Finetuner+ 定制服务、探索更多商业合作可能性？”

扫码添加小助手微信并备注来意，我们会跟你进一步沟通～

填写反馈

最后，为了帮助我们更好地提升活动体验，诚邀参加活动的小伙伴可以填写下方活动反馈表单，期待下次相聚！填写表单，你将收获：

✅ 终极惊喜好礼：罗技鼠标或键盘（共 2 位，系统自动抽奖）

✅ 获取 PPT 下载链接：记得留下你的邮箱哦，我们将通过邮件发送

PC端可复制链接：https://wj.qq.com/s2/12035339/11f3/

特别感谢

感谢 AlphaBay 智汇港湾对本次活动的大力支持！感谢 OpenMMLab 的精彩分享和 AWS User Group 深圳、Xtreme1 提供的展区任务和礼品，还要感谢 Jina AI 深圳志愿者雅君的大力协助～当然，更要感恩将近 60 位小伙伴的热情参与和宝贵建议，让我们跟大家产生更深的联结！

OpenMMLab 后续也将发出回顾文章及更多精彩活动，欢迎关注！

欢迎评论区留言，说说你想让我们去到的城市吧首位留言的同学将获得我们 2023 年正在制作的精美周边哦，抢先体验、全拼手速！