241121学习日志——[CSDIY] [InternStudio] 大模型训练营 [11]

news/2024/11/22 13:32:24/

CSDIY:这是一个非科班学生的努力之路,从今天开始这个系列会长期更新,(最好做到日更),我会慢慢把自己目前对CS的努力逐一上传,帮助那些和我一样有着梦想的玩家取得胜利!!!
第一弹:Cpp零基础学习【30 DAYS 从0到1】
第二弹:Cpp刷题文档【LeetCode】
第三弹:Go开发入门【字节后端青训营】
第四弹:Cpp简单项目开发【黑马Rookie】
第五弹:数据结构绪论【数据结构与算法】
第六弹:Go工程实践【字节后端青训营】
第七弹:高质量编程和性能调优【字节后端青训营】
第八弹:Linux 基础知识【书生大模型训练营】
第九弹:Git 基础知识【书生大模型训练营】
第十弹:玩转HF/魔搭/魔乐社区【书生大模型训练营】
第十一弹:书生大模型全链路开源体系【书生大模型训练营】

第1关L1G1000书生大模型全链路开源体系

书生 · 浦语大模型开源开放体系

书生 · 浦语 (InterLM) 开源一周年

InterLM2.5 概览

  • 推理能力领先
  • 支持100万字上下文
  • 自主规划和搜索完成复杂任务

核心技术思路

相似度对齐、预训练、…

  • 基于规则的数据构造
  • 基于模型的数据扩充
  • 基于反馈的数据生成

融合多种数据合成方案

100万 Token 上下文

大海捞针实验:在超长文本输入中,能否精准找到任何位置的任何信息。

基于规划和搜索解决复杂任务

解决方式:思维路径拆解,分解子问题

开源谱系

  • 1.8B、7B、20B、102B

  • InterLM - XComposer - 文本多模态

  • InterLM - Math - 数学

  • InterLM - WOX - 高考

全链条开源体系

  • 数据 书生·万卷 语料库

  • 预训练 InternEvo 训练框架

    • 分布式训练系统
  • 微调 XTuner

    • 微调、偏好对齐算法
    • 自动优化加速
  • 评测 OpenCompass

    • 工具、社区…
  • 部署 LMDeploy

    • Weight-only量化、…
  • 应用

    • LLM —>智能体
    • 智能体 Legent
      • 零样本泛化:多模态 AI 工具使用
    • 智能体 MindSearch
      • 模拟人脑思维导图搜索
    • 智能体 HuixiangDou
      • 企业级
      • 开源、安全、…

碎碎念:入门岛通关,进军基础岛。坚持。

与君共勉。


http://www.ppmy.cn/news/1549044.html

相关文章

设计模式之 享元模式

享元模式(Flyweight Pattern)是一种结构型设计模式,用于减少系统中对象的数量,从而节省内存和提升性能。它通过共享相同的对象来避免重复创建类似的对象。该模式尤其适用于对象数量庞大、且重复内容较多的场景。 核心思想&#x…

基于 RBF 神经网络整定的 PID 控制

基于 RBF 神经网络整定的 PID 控制 是结合了传统 PID 控制和 RBF(径向基函数)神经网络的自适应控制方法。在这种方法中,RBF 神经网络用于自适应地调整 PID 控制器的增益(比例增益 KpK_pKp​,积分增益 KiK_iKi​ 和微分…

Vue实战案例:一步步构建企业级项目1

一、Vue程序的概述 Vue是一个能用于构建用户界面的渐进式框架框架,主要用于开发单页应用程序(SPA)和动态用户界面。‌ Vue由尤雨溪(Evan You)在2014年创建,是前端三大主流框架之一,其他两个是A…

ROSSERIAL与Arduino IDE交叉开发(UBUNTU环境,包含ESP32、arduino nano)

ROSSERIAL与Arduino IDE交叉开发 一、简介二、安装1、Ubuntu下的Arduino IDE安装 **针对ESP32报错问题原因溯源和修改**三、运行结点 一、简介 这个教程展示在ubuntu环境下如何利用Arduino IDE配合rosserial开发机器人部件。通过Arduino IDErosserial实现arduino/esp32开发板通…

系统思考—结构影响行为

过去的成功,是实力,还是“电梯效应”? 在经济高速发展的那些年,就像站在一部一直上升的电梯里,数字不断跳动,仿佛一切尽在掌握。但当电梯停下,你继续沿用过去的方法,甚至更拼、更卷…

PW系列工控电脑复制机:效率与精度双重提升

工控电脑复制应用:效率与精度的双重提升 随着现代企业对大数据、数据备份、和跨平台兼容性需求的快速增长,工控电脑已成为数据密集型产业的核心设备。针对工控环境中大量数据复制的特殊需求,PW系列NVMe/SATA PCIe SSD复制机(如PW…

NuGet如何支持HTTP源

今天是2024年11月21号,最近更新了VisualStudio后发现HTTP的包源已经默认禁止使用了,生成时会直接报错。如下图: 官方也明确指出了要想使用HTTP包源的解决办法,这里就简单总结一下。 一、全局配置 1、全局NuGet包的配置文件路径在…

富格林:安全指正规防欺诈套路

富格林指出,在现货黄金投资操作中,有众多的投资技巧和投资方式,但其实并不是所有的都适用。投资者应该注意选择安全、可信的投资方式去规防欺诈套路。值得提醒的是,现货黄金虽然拥有很多获利的机会,但也有不少欺诈套路…