传神论文中心|本周人工智能领域论文推荐

news/2024/9/22 19:15:47/

人工智能领域的快速发展中,我们不断看到令人振奋的技术进步和创新。近期,开放传神(OpenCSG)社区发现了一些值得关注的成就。在当今数字化时代,人工智能(AI)已经成为了许多领域的核心驱动力。openelm和phi-3语言模型等等的出现令人眼前一亮。传神社区本周也为对AI和大模型感兴趣的读者们提供了一些值得一读的研究工作的简要概述以及它们各自的论文推荐链接。

01 Phi-3

传神社区注意到这篇文章中有以下亮点:Phi-3是一款新型的语言模型,拥有38亿个参数,经过了3300亿个令牌的训练。它的默认上下文长度为4K,还有一个上下文长度更大的版本phi-3-mini-128K。Phi-3采用了与众不同的训练方法,结合了经过严格筛选的网络数据和合成数据。此外,Phi-3还提供了更大规模的模型变体,如phi-3-small和phi-3-medium,它们在4800亿个令牌上进行了训练。这使得Phi-3成为大规模语言模型领域的领先者之一,为自然语言处理领域带来了新的进展和挑战。

论文推荐链接:

https://opencsg.com/daily_papers/S3C7brDt5uzQ

模型链接:https://opencsg.com/models/MagicAI/Phi-3-mini-4k-instruct

图片

02 OpenELM

传神社区注意到这篇文章中有以下亮点:OpenELM采用层级缩放策略,有效分配参数,提高效率和准确性。各规模版本从270M到3B参数不等,较OLMo准确率提升2.36%,同时需预训练令牌数量减半。在自然语言处理领域,OpenELM平衡高效性和资源利用效率,是令人期待的选择。

论文推荐链接:

https://opencsg.com/daily_papers/Mewtk2Lz5ovk

图片

03 Arctic

传神社区注意到这篇文章中有以下亮点:Arctic是一款开源语言模型(采用Apache 2.0许可证),采用独特的Dense-MoE混合变压器架构。在企业度量标准(如编码、SQL、指令遵循)方面,其表现与Llama3 70B不相上下,并声称使用的计算预算比Llama3 70B少了17倍,培训计算成本大约不到200万美元(少于3000个GPU周)。

论文推荐链接:

https://opencsg.com/daily_papers/81Su565GGjPZ

图片

04 Make Your LLM Fully Utilize the Context

传神社区注意到这篇文章中有以下亮点:该论文提出了一种克服LLM中常见的“中间信息丢失”挑战的方法。它在Mistral-7B上应用了一种显式的“信息密集型”训练过程,使LLM能够充分利用上下文。该方法利用了一个合成数据集,其中答案需要对一个短段(约128个标记)内的微观信息进行细致的感知,在合成的长上下文(4K-32K标记)中,以及从两个或多个短段中集成和推理信息。生成的模型FILM-7B(Fill-in-the-Middle)表明,它可以在32K上下文窗口中从不同位置稳健地检索信息。

论文推荐链接:

https://opencsg.com/daily_papers/GNHmsCuVjkG2

图片

05 FineWeb

传神社区注意到这篇文章中有以下亮点:FineWeb是一个大规模的网络数据集,包含1500万亿个标记,用于训练语言模型。它对2013年至2024年间的CommonCrawl进行了过滤和去重,旨在提高数据的质量。

论文推荐链接:

https://opencsg.com/daily_papers/8A4Macfwyzrr

图片

06 AI-powered Gene Editors

传神社区注意到这篇文章中有以下亮点:AI动力基因编辑器采用了一种由LLM训练的生物多样性规模AI系统,实现了对人类基因组的精确编辑,设计了可编程的基因编辑器。

论文推荐链接:

https://opencsg.com/daily_papers/Y4wX8yEXtZbv

图片

07 AutoCrawler

传神社区注意到这篇文章中有以下亮点:AutoCrawler将LLM与网络爬虫结合,旨在帮助爬虫更有效地处理多样化和变化的网络环境。其网络爬虫代理利用HTML的层次结构进行渐进式理解,采用自顶向下和回溯操作,利用DOM树结构生成完整可执行的爬虫。

论文推荐链接:

https://opencsg.com/daily_papers/yNtEQeA5V2aT

图片

08 The Physics of Language Models

传神社区注意到这篇文章中有以下亮点:该论文全面介绍了图机器学习在LLM时代的最新进展,包括图机器学习的最新发展,LLM如何增强图特征,并解决OOD和图异构性等问题。

论文推荐链接:

https://opencsg.com/daily_papers/buUuMvJFgyua

图片

09 Self-Evolution of LLMs

传神社区注意到这篇文章中有以下亮点:该论文提供了对LLM中自我演进方法的全面调查。系统地研究了LLM如何通过自我演进来不断提升和改进,探讨了各种自我演进的方法和技术。对于对LLM技术和发展感兴趣的研究人员和从业者来说,这是一本具有价值的参考资料,有助于深入了解LLM的演进机制和未来发展趋势。

论文推荐链接:

https://opencsg.com/daily_papers/5c7uUFUQSo4u

图片

10 The Influence Between NLP and Other Fields

传神社区注意到这篇文章中有以下亮点:该论文培训LLM具有检查程序执行轨迹并通过合成的思维链进行运行时行为推理的能力;在MBPP和Human上,提高了PaLM 2模型的修复率26.1%和14.3%;该模型还表明能够推广到未知场景。

论文推荐链接:

https://opencsg.com/daily_papers/HdJscCViCjuM

图片

图片

投稿有礼

非常感谢您对传神社区的支持与认可,传神社区专注于打造中国本土化的huggingface plus,目前传神社区展开了征稿活动,主要聚焦开源技术、最新的科技动态、AGI产业应用的落地,我们诚挚的邀请您投稿,一旦投稿成功,我们传神小助手将会与您联系您并发放我们准备的礼品。

投稿方式:pr@opencsg.com

欢迎扫描下方二维码添加传神小助手微信。

图片


“      关于OpenCSG

开放传神(OpenCSG)成立于2023年,是一家致力于大模型生态社区建设,汇集人工智能行业上下游企业链共同为大模型在垂直行业的应用提供解决方案和工具平台的公司。

关注OpenCSG

图片

加入传神社区

图片


http://www.ppmy.cn/news/1457992.html

相关文章

微机控制电子式万能试验机WDW-5B

一.项目简介: 国内微机控制电子式万能试验机起步于90年代初,为提高企业产品的技术水平,公司先后引进国外先进技术,使公司的产品技术水平跃上了一个新的台阶。 二.使用领域: 该产品广泛用于金属、非金属材料的拉、压…

深入浅出带你搞懂-MOSFET栅极电阻

一、MOSFET简介 MOSFET是金属(metal)—氧化物(oxide)—半导体(semiconductor)场效应晶体管,属于电压控制电流型元件,是开关电路中的基本元件,其栅极(G极&…

E. Monotonic Renumeration

链接 : Problem - E - Codeforces 思路 : 区间合并 快速幂 对于a[0],那么从第一个a[0],到最后一个a[0]这个区间内所有b值全部为b[0] 0,以此类推,对于其他值也是一样; 例如对于[1 , 2 , 1 , 2 , 3] 首先b[0] 0(题目要求) , 然后因为…

支持LLM的Markdown笔记;ComfyUI-HiDiffusion图片生成和对图像进行高质量编辑

✨ 1: ComfyUI-HiDiffusion ComfyUI-HiDiffusion是一个为HiDiffusion技术使用而定制的节点。HiDiffusion技术是专门用于在计算机视觉和图像处理中生成和改进图片质量的先进算法。该技术通常应用于图像的超分辨率、去噪、风格转换等方面。 ComfyUI-HiDiffusion的主要特点包含提…

Web3 ETF软件开发

开发Web3 ETF软件涉及到金融、法律和技术等多个领域的专业知识,因此存在以下技术难点,开发Web3 ETF软件是一项复杂的技术挑战,需要综合考虑各种因素。开发人员需要具备较强的技术能力和跨学科知识才能成功开发Web3 ETF软件。北京木奇移动技术…

炫酷Chrome:插件大礼包

Chrome浏览器以其强大的功能和丰富的扩展插件库而闻名。 其中,有些插件专为提升用户的浏览体验而设计,例如更换Chrome网页背景图、自定义鼠标点击样式,以及提供便捷的页面跳转工具等。 最近,有一款被称为“宝藏插件包”的工具引…

泛微OA表单调用JSP

表单插入JS代码,并且设置id,传入表单参数给后端,后端添加jsp文件,使用ajax调用,详细步骤如下: 对应的框内添加id属性,如下图: 然后插入js代码,代码如下: <script> jQuery(document).ready(function() {// 在表单的按钮单元格插入自定义属性:ID:btnLinkvar …

【优选算法】——Leetcode——611. 有效三角形的个数

目录 ​编辑 1.题目 2 .补充知识 3.解法⼀&#xff08;暴⼒求解&#xff09;&#xff08;可能会超时&#xff09;&#xff1a; 算法思路&#xff1a; 算法代码&#xff1a; 4.解法⼆&#xff08;排序双指针&#xff09;&#xff1a; 算法思路&#xff1a; 以输入: nums …