Agent TARS 是字节跳动于 2025 年 3 月开源的多模态 AI 智能体，它能够像人类一样操作电脑、手机和网页，完成各种复杂任务。以下是其详细介绍：

一、简介

        Agent TARS 是一款开源的多模态 AI 智能体，能够基于视觉理解网页内容，并与浏览器、命令行和文件系统无缝集成，实现复杂任务的规划与执行。它旨在为用户提供高效、便捷的自动化体验，具有多模态交互能力、强大的任务规划与执行功能，以及高度的可扩展性和灵活性。

主要功能

• 代理工作流：利用复杂的 agent 框架来创建 agent flow，帮助你完成任务的规划和执行 ，平滑地编排搜索 、 浏览 、 探索链接等任务，同时通过 Event Stream 与 UI 连接，并合成信息以产生最终输出；

• 全工具支持（浏览器、CLI、文件等）：利用复杂的代理框架来执行复杂的浏览器任务，例如 Deep Research 和其他 Operator 功能。还可以利用模型上下文协议 （MCP） 与各种工具无缝集成，包括搜索 、 文件编辑 、CLI 和编码；

• 实时工件展示：为了增强用户对 AI 流程和结果的参与度，Agent TARS 应用程序提供了一个直观的流式用户界面，展示了浏览器和文档等多模式工件；

• 浏览器操作：支持自动化网络交互，自行浏览网页执行任务；

• 数据处理：实时数据分析，处理和分析数据；

• 命令行支持：支持系统级操作，与命令行工具集成；

• 文件系统操作：支持文件管理和输入/输出操作；

• 代码生成与解释：智能代码合成，自动生成代码，并能解释和优化代码逻辑；

技术原理

• 多模态感知与推理：Agent TARS 能够结合文字、图像、交互历史等多种模态信息，实时理解动态变化的界面，像人类大脑一样无缝协同工作；

• 端到端任务执行：将感知、推理、动作执行等能力集成在一个模型内，能够直接接收自然语言指令和屏幕截图，输出鼠标点击、键盘输入等操作；

• 自我学习与优化：具备自我学习和优化的能力，通过持续交互从错误中学习，越用越聪明；

应用场景

• 网页自动化：自动浏览网页，提取信息，用于市场研究、新闻聚合或学术搜索；

• 任务管理：规划和执行复杂任务，适用于项目管理、个人助理和自动化工作流；

• 代码辅助：生成和优化代码，帮助软件开发、代码学习和教育；

• 数据分析：实时处理数据，用于金融分析、市场趋势和数据可视化；

• 人机协作：支持实时协作和知识共享，便于团队合作和教育辅助；

优势与创新

• 纯视觉感知：像人类一样“看”懂界面，无需依赖 API 或解析底层代码，天然跨平台且抗界面变动；

• 多模态推理：将多种能力集成在一个模型内，能够结合多种模态信息，实时理解动态变化的界面；

• 自我进化能力：通过持续交互从错误中学习，越用越聪明；

• 开源与免费商用：采用开源模式，并且免费商用（Apache 2.0 许可），促进技术的传播和创新；

        Agent TARS 凭借其强大的技术实力和创新特性，正在引领 AI 智能体技术的发展潮流，为个人用户和企业提供了高效、便捷的智能化解决方案。

二、使用

目前，Agent TARS 仅支持 macOS，其他平台的支持正在开发中！

下载地址：https://github.com/bytedance/UI-TARS-desktop/releases?q=Agent+Tars&expanded=true#/

当然，也可以使用Homebrew命令来安装桌面版

brew install --cask agent-tars

     在开始之前，需要设置一些必要的配置，可以点击左下角的按钮打开设置页面：

        然后，可以设置模型配置和搜索配置。对于模型配置，可以设置模型提供方和 对应的API Key：

对于 Azure OpenAI，需要设置更多参数，包括 apiVersion、deploymentName 和 endpoint。

搜索与AI Models配置类似，配置界面如下：

之后，就可以开始quick start了

     可以在输入框中输入一个问题，然后按 Enter 键发送您的问题。示例如下：

       还支持 Human In the Loop，这意味着用户可以通过输入框与工作过程中的智能体进行交互。如果想改变当前 Agent 的工作方向，可以在顶部位置的特殊输入框里插入你的想法，然后按 Enter 发送你的想法。示例如下：

三、分享功能

可以通过顶部菜单上的共享按钮与他人共享您的线程。

有两种模式可以共享您的线程：

• 本地 Html：Agent TARS 会将用户的线程捆绑成一个 html 文件，使用该文件与他人共享；

• 远程服务器 URL：Agent TARS 将生成一个 url 供您与他人共享您的线程，Agent TARS 会将 html 包上传到远程服务器。

3.1 本地模式

3.2 远程模式

      对于远程共享模式，用户需要在共享模式中设置远程服务器 url：

       然后，Agent TARS 将向远程服务器发布上传 html 包的请求，然后您可以与他人共享 URL。具体请求信息如下：

Method: POST

Body: 

file: the html bundle file(type: multipart/form-data)

Response: 

data: { url: string }

参考文献：

[1] 论文：https://github.com/bytedance/UI-TARS

[2] 桌面版：https://github.com/bytedance/UI-TARS-desktop

[3] 浏览器版：https://github.com/web-infra-dev/midscene

[4] 发布Blog：https://agent-tars.com/2025/03/18/announcing-agent-tars-app#/

[5] 示例演示：https://agent-tars.com/showcase#/

[6] GUI模型部署教程：https://bytedance.sg.larkoffice.com/docx/TCcudYwyIox5vyxiSDLlgIsTgWf#/

[7] UI TARS SDK：https://github.com/bytedance/UI-TARS-desktop/blob/main/docs/sdk.md#/