手机上运行AI大模型(Deepseek等)

embedded/2025/2/4 10:52:19/

最近deepseek的大火,让大家掀起新一波的本地部署运行大模型的热潮,特别是deepseek有蒸馏的小参数量版本,电脑上就相当方便了,直接ollama+open-webui这种类似的组合就可以轻松地实现,只要硬件,如显存,RAM足够,参数量合适,速度还可以接受。本地部署的意义在于,一是可以数据不上网,让一些私密的数据有所保障,二是可以实现一些在线限制的功能。

在手机上运行的意义,其实更多可能是玩玩,但是,随着LLM技术的发展,已经手机硬件正在赶超PC和服务器,或许在未来,手机上就可以实现电脑上同样的功能。小编收集了几种手机上部署运行的方法,分享给大家。

鸿蒙/安卓/IOS:使用MNN大模型App *** 多模态

有一说一,在大模型开源方面,阿里做得也是很棒地,在deepseek没有火爆之前,它应该是最棒的中国开源大模型公司,deepseek的蒸馏小模型,也用了qwen系列,为中国公司点赞!

安装就比较简单啦,直接下载App,然后下载模型运行即可,所说速度是比ollama要快一些,有阿里自已开发的架构。暂时发现只有安卓的编译好的下载地址:https://meta.alicdn.com/data/mnn/mnn_llm_app_debug_0_1.apk

安卓:MLC-MiniCPM *** 多模态

和下面的一样,但是,这个是国内公司的大模型,下载什么的更方便。MiniCPM 是面壁智能与清华大学自然语言处理实验室共同开源的系列模型,前段时间曾经有斯坦福大学的人抄袭了这个公司的产品,也是让外国人重新认识了国内的技术水平。

下载地址:https://openbmb.oss-cn-hongkong.aliyuncs.com/model_center/mobile/android/MiniCPM-2.0.apk
## 安卓/IOS:MLCChat *

下载APK: https://ghfast.top/https://github.com/mlc-ai/binary-mlc-llm-libs/releases/download/Android-09262024/mlc-chat.apk

如果下载不成功,网络连接错误,可以先打开https://ghproxy.link/,替换https://ghfast.top/网址为可用的即可。另外从官网看,这个App是直接从抱抱脸官方下载模型的,可能会网络错误,当然国内有镜像站,https://hf-mirror.com/ 不确定如何替换。

IOS: fullmoon **

Fullmoon是一款专为iOS设备设计的应用程序,旨在提供与本地大语言模型进行私密聊天的功能。该应用优化了Apple Silicon,支持在iPhone、iPad和Mac上运行。用户的聊天记录会被本地保存,并且可以自定义应用的外观。Fullmoon利用了Apple的MLX Swift框架,这是一个用于在Apple Silicon上进行机器学习研究的数组框架。该应用支持多种语言模型,包括Llama 3.2 1B、Llama 3.2 3B和DeepSeek-R1-Distill-Qwen-1.5B-4bit。

安卓:termux + ollama * 门槛稍高

安装termux App

Termux 是用于安卓的终端模拟器,安卓6.0以上机型,应用商店搜“Termux”安装即可。手机一般选轻量版1.5b就差不多了(8G RAM),16G RAM的应该可以选大点的。

在termux中安装 Ollama

手机安装好 Termux 后输入 Ollama Termux 一键安装脚本的命令,如下:

先更新

pkg update && pkg upgrade

然后使用一键脚本命令安装ollama

wget https://github.com/Dev-ing-ing/ollama-termux/releases/download/v1.0.0/ollama-installer.sh && bash ollama-installer.sh

部署DeepSeek, 在 Termux 命令启动 Ollama 服务器:

ollama serve

最后,安装 DeepSeek 模型,手机端建议选择 1.5b 模型,输入如下命令:

ollama run deepseek-r1:1.5b

就可以在命令行愉快地玩耍啦!

img

你还知道哪些方法,欢迎分享沟通呀!

参考

  1. https://www.aisharenet.com/fullmoon/
  2. https://github.com/alibaba/MNN/
  3. https://mp.weixin.qq.com/s/EdWJqkRyvXW0Y_QOwcEtlQ
  4. https://mp.weixin.qq.com/s/sK_5oi0yHt48Y0kfmIQVZA
  5. https://github.com/OpenBMB/mlc-MiniCPM/blob/main/README-ZH.md

http://www.ppmy.cn/embedded/159447.html

相关文章

t基础使用--6---git常用命令

文章目录 git基础使用--6---git常用命令1. 基础操作2. 分支操作3. 远程仓操作4. 撤销操作5. 存储操作 git基础使用–6—git常用命令 1. 基础操作 git init 初始化仓库&#xff0c;默认为 master 分⽀git add . 提交全部⽂件修改到缓存区git add <具体某个⽂件路径全名>…

重生之我在异世界学编程之C语言:深入指针篇(上)

大家好&#xff0c;这里是小编的博客频道 小编的博客&#xff1a;就爱学编程 很高兴在CSDN这个大家庭与大家相识&#xff0c;希望能在这里与大家共同进步&#xff0c;共同收获更好的自己&#xff01;&#xff01;&#xff01; 本文目录 引言正文&#xff08;1&#xff09;内置数…

自制Windows系统(十一、Windows11GUI)

开源地址&#xff1a;下载&#xff08;Work(Windows11gui).img&#xff09; 上图 部分代码&#xff1a; void init_screen8(char *vram, int x, int y) { int *fat; unsigned char c; struct MEMMAN *memman (struct MEMMAN *) MEMMAN_ADDR; boxfill8(vram, x, 136, 0, …

讲清逻辑回归算法,剖析其作为广义线性模型的原因

1、逻辑回归算法介绍 逻辑回归(Logistic Regression)是一种广义线性回归分析模型。虽然名字里带有“回归”两字&#xff0c;但其实是分类模型&#xff0c;常用于二分类。既然逻辑回归模型是分类模型&#xff0c;为什么名字里会含有“回归”二字呢&#xff1f;这是因为其算法原…

Java中初步使用websocket(springBoot版本)

一、什么是websocket WebSocket是一种在Web应用程序中实现实时双向通信的协议。它为浏览器和服务器之间提供了一种持久连接&#xff0c;在一个连接上可以双向传输数据。相比传统的HTTP协议&#xff0c;WebSocket具有更低的延迟和更高的效率。 WebSocket使用了类似于握手的方式来…

MySQl的日期时间加

MySQL日期相关_mysql 日期加减-CSDN博客MySQL日期相关_mysql 日期加减-CSDN博客 raise notice 查询目标 site:% model:% date:% target:%,t_shipment_date.site,t_shipment_date.model,t_shipment_date.plant_date,v_date_shipment_qty_target;

Spring Boot - 数据库集成06 - 集成ElasticSearch

Spring boot 集成 ElasticSearch 文章目录 Spring boot 集成 ElasticSearch一&#xff1a;前置工作1&#xff1a;项目搭建和依赖导入2&#xff1a;客户端连接相关构建3&#xff1a;实体类相关注解配置说明 二&#xff1a;客户端client相关操作说明1&#xff1a;检索流程1.1&…

为什么命令“echo -e “\033[9;0]“ > /dev/tty0“能控制开发板上的LCD不熄屏?

为什么命令"echo -e “\033[9;0]” > /dev/tty0"能控制开发板上的LCD不熄屏&#xff1f; 在回答这个问题前请先阅读我之前写的与tty和终端有关的博文 https://blog.csdn.net/wenhao_ir/article/details/145431655 然后再来看这条命令的解释就要容易些了。 这条…