大模型领域中美差距有多大？
近年来，人工智能技术在全球范围内迅速发展，特别是在大型语言模型和机器学习方法方面取得了突破性进展。在这个领域，计算能力的提升也推动了技术的革命性进步。
作为世界上两大的重要经济体，中国和美国在这场人工智能竞赛中扮演着重要角色。然而，人们不禁要问，在以大模型为代表的 AIGC 时代，中美之间的差距究竟有多大？
事实上，美国在人工智能领域的研究历史悠久，拥有许多世界顶尖的科研机构和高校。例如，OpenAI、Google Brain 等公司和研究机构在大型模型研究和应用方面具有很强的实力。此外，美国还拥有先进的计算资源和设备，为人工智能研究提供了有力支持。
中国在人工智能领域的研究也取得了显著进展。近年来，国内许多高校和企业纷纷加大投入，致力于大型模型研究。一些科技企业在深度学习、自然语言处理等方面取得了重要突破。此外，中国政府也对人工智能产业给予了大力支持，希望通过技术创新来实现产业升级。
尽管中美两国在大模型领域的研究均取得了较大进展，但美国在这一领域仍然具有较大的优势。这主要表现在以下几个方面：
研究基础：美国在人工智能领域的研究历史较长，积累了丰富的经验和知识体系，相比之下，中国在这一领域的研究起步较晚，尽管近年来取得了迅速发展，但与美国相比仍有一定差距。
技术创新：美国在大型模型研究和应用方面拥有许多创新性成果，例如 OpenAI 的 GPT-3 等。这些创新为人工智能领域的发展提供了源源不断的动力。而中国在技术创新方面尚需加大投入，提高研发实力。
计算资源：美国拥有世界上最先进的计算资源和设备，如超级计算机等。这些资源为大型模型研究提供了强大的支持。虽然中国在计算资源方面也取得了一定进展，但与美国相比仍有较大差距。
国际合作与交流：美国在人工智能领域与国际合作伙伴建立了广泛的合作关系，这有助于推动大型模型研究的进展。而中国在这一方面还有待加强，以提高在国际合作中的影响力。
就此问题，石建平发表了他的观点。石建平认为差距确实存在，但并没有想象中的那么大，国内团队的迭代速度非常快。他指出：“领跑者有其优势，但也付出了探索成本。国内追赶的速度会加快，所需的训练资源也会大幅减少。而关于芯片限制、禁运等问题，实际上，大部分真正有资源的大模型团队，在计算资源方面，并没有真正遇到最大的瓶颈。相反，资金方面的压力可能会更大，毕竟大模型是一个烧钱的领域。”
焦可指出闭源模型客观上存在差距，随着技术的发展，对算力的要求越来越大，算力的限制是客观存在的。而开源模型的差距并不大，国内外的开源模型基本上处于同一水平线上。
张俊九则提出了对标准和创新的反思。“我们是否应该将 OpenAI 等国外大模型的发展路径定义为正确的道路，这是值得反思的。目前，我们还在以他们为标杆，但未来可能并非如此。例如，Google 的 Transformer 工程师自己也在反思这是否过于耗费资源。”
“为什么这些事情没有在中国发生，而是在国外？我认为这是最大的差距。最大的差距是我们缺乏从 0 到 1 的创新。同时，前段时间也有人调侃，国外一开源，国内就创新，这既是一种自嘲，也是一种调侃。因此，我认为最大的差距在于创新。”
国内大模型的追赶速度和潜力
正视差距才能不断缩小差距，那么，在这场大模型竞赛中，起步稍显落后的我们还是否有机会追赶上美国？
刘琼认为在大模型应用方面，中国仍有机会。“我们调研中发现许多行业已经开始探索大模型方面的应用，许多研究报告也指出，2024 年将有更多应用落地，并将进一步加速发展。”
同时，她认为国内在形态方面可能比国外稍微领先一些。尤其在端侧应用方面，大模型在更小尺寸或离人们更近的终端应用落地，在中国目前进展较快。许多手机厂商，如小米，已经推出了他们在手机侧的端侧大模型。同时，一些新能源汽车厂商也在进行这方面的探索和落地。
焦可认为国内有多方面的优势，特别是在中文处理方面，国内的开源模型明显优于海外模型。海外模型中文语料库相对较少，例如 LLaMA 2 的中文语料只占 0.13%。而我们从一开始就采用双语教学的方式，因此，国内开源模型在中文处理方面肯定会更好。另外，他认为今年可能会有很大的应用机会。包括 Agent 架构可能会落地。“在模型上面可能要慢一步，但是我们希望能在应用上能够快三步。”
黎科峰博士从大模型的四个重要要素：算法、算力、数据和场景分析。他认为“随着算法的开源，这种差距将会缩小。数据方面，无论是整体数据还是中文数据，我们都需要正视差距。尽管中文在全球知识中的占比并不大，但语言本身没有国界。对于中文数据，中国的大数据量将导致中文理解能力更强。”
黎科峰博士认为场景非常关键。回顾移动互联网时代，中国市场对于场景的理解和深耕始终具有巨大优势。这也反映无论是在移动互联网时代还是 AI 或大模型时代，场景理解和深耕是一个更加明确且持续具有竞争力的重要因素。
张俊九则以实在智能为例，介绍了他们在应用层面的创新。“我们去年 8 月份推出了 TARS 大模型及基于大模型的 RPA-Agent 智能体产品和解决方案。那时，我们也是全球首创，解决了两个重要的技术难题。因此，在应用层面，我们在解决具体问题时，仍有很多变通和技术重构的优势。”
跟随与创新之争
不可否认的是，通过关注和理解国际上大语言模型的发展动态，我们可以学习和吸收先进的技术和经验，尤其是在算法、模型构建、数据处理等方面。例如，ChatGPT 的推出为我们提供了观察超级人工智能雏形的窗口，这有助于我们把握通用人工智能的发展趋势。
然而，单纯的跟随并不能满足中国特有的需求和挑战。中国拥有丰富的语言资源和多元化的文化背景，对大语言模型的要求也更为复杂和特殊。因此，进行创新是必不可少的。创新意味着根据国内实际情况，开发适应中国语言习惯、符合中国市场需求的模型。例如，中国的大模型产品在处理中文文本、理解中国文化梗、响应中国特定场景方面具有独特优势。
同时，中国拥有庞大的数据资源、丰富的应用场景和强大的工程化能力，这些都是我们进行创新的优势。我们可以依托这些资源，开发具有自主知识产权的大语言模型，推动中国在大语言模型领域的自主研发和应用。
那么，我们到底应该更侧重于去借鉴模仿，还是探索一条更适合中国发展的创新之路？
焦可认为根据大模型的 Scaling Laws（尺度定律），可以选择在不同维度上进行增加，可以选择在数据层面、模型深度、模型宽度、时间维度和场景维度等多维度进行增加，不同的维度可以走出不同的道路。但总体而言，只要你是基于 Transformer 架构进行增加，本质上就是一个算力和数据驱动的事情，但是可以选择在不同的维度去 Scale。
石建平指出这是一个非常有争议的视角。“一方面，我们说中国缺少原创，另一方面，我们跟随别人后面。作为投资人和创业者，我们需要有勇气去赌未来有新的机会。虽然不是任何团队都有可能做出全球性的创新，但是当我们看到这样的机会和团队时，我们应该有勇气去赌。否则，我们将永远失去创新的基础。只做 APP 是不够的，我们需要底层的创新。”
石建平认为行业里有很多人在做应用，做 SFT（Supervised Fine-Tun-ing 监督微调），做更深度的调整，解决行业应用场景等问题，这很好。同时，他鼓励有更大梦想的团队能够聚集大量资金去做更 AGI 的底层基础模型，进行更好的创新。
总结：
面对现状，中国需认识到差距，同时发掘自身优势和机遇。利用算法开源，通过深化应用场景、开发数据集和端侧创新，中国有望实现快速发展
