地 址:昭通
电 话:0781-986820
网址:home.bluecur.com
邮 箱:xiangyangqu1113991@126.com
金磊 发自 凹非寺
量子位 | 公众号 QbitAI
“in” ,in是为模型近年来兴起的一个网络用语 ,通常是最大找in fashion的简称,意指走在潮流最前沿。外条
随着GPT的解题爆火,生成式AI正式进入全球科技舞台的思路中央,大模型也已经成为当下最“in”的in话题 。
用“百模大战”来形容当下大模型的为模型火热程度一点也不夸张。据目前市场已公布的最大找大模型产品来看,10亿参数规模以上的外条大模型产品已多达80个 。
一点儿企业更是解题将大模型视为人工智能的核心 ,认为这很可能是思路引领第四次工业革命的颠覆性创新技术 ,将推动各个行业的in变革。
不过大模型已不再是为模型你以为的“大力出奇迹”,它的最大找发展正在迎来一点儿微妙的变化——
Smaller is Better。
这并非是无中生有 ,此话正是出自HuggingFace首席布道师Julien Simon。
但纵观大模型(尤其是大语言模型,以下简称为:LLM)的发展,参数体量逐渐庞大似乎成为了一种大趋向 ,动辄便是千亿甚至万亿的量级:
△图源:Information is Beautiful(数据截至2023年7月27日)
那么Simon如此“背道而驰”的观点,又是从何而来 ?
我们都知道模型的参数体量越大 ,它们从大量非结构化数据中学习的体现通常就会越出众,但随之而来的一个老大难问题便是需要大量的计算能力。
这也就是为什么现在人们谈及大模型时,往往都绕不开“大算力”的缘故 。
(甚至连OpenAI的CEO也在为算力发愁……)
因此,Simon给出了新的解法 ,让大模型“瘦身”(Smaller)的同时还能提高效率(Better)。
并且这并非空口无凭,有测试数据为证 :
从成果上来看 ,测试的各种大模型有的被“瘦身”到了先前的一半,但效率反倒提了上来。
更直观一点的 ,我们可以看下文本回答的效果 :
△大模型“瘦身”后自然语言对话效果
这便是当下大模型很“in”的一种打开方式 。
站在现在这个时间节点,我们也想以《最“in”大模型》专栏的形式 ,提供给大家两个更in的解题思路 :inside intel和in practice 。以此来对大模型这个科技圈最in的顶流做一次全新角度的解析和展望 。
最Inside Intel的创新解决方案
不仅仅是在这一波大模型热潮 ,自深度学习爆火以来 ,似乎GPU相比其它硬件来说更受AI圈的青睐。
究其缘故,无外乎以下几点:
但开发人员往往会小瞧CPU这个“潜力股”。
没错,让大模型发展发生微妙变化的解法之一 ,正是CPU!
例如在上文Simon的例子中,他先是用SmoothQuant这种训练后量化的方法来为LLM“瘦身” :将LLM通常进行训练的16位浮点参数(又名 FP16/BF16)替换为8位整数 ,以便更容易执行任务,和减少需要的内存 。
而后Simon选择实验的CPU,正是英特尔的第四代至强®️ 可扩展处理器 ,其可在AI推理方面,为大模型的落地部署提供更易获取 、应用门槛更低和性价比更高的平台 。
但是,要是你还以为英特尔仅仅有CPU能来跑AI的话,那就又错了。
就在上个月 ,英特尔新鲜出炉了AI专用加速器——Habana®️ Gaudi®️2,专为训练LLM而构建,并为数据中心大规模扩展而设计,同时为深度学习推理和训练工作负载提供更具性价比的解决方案 。
重点来了 !
在MLPerf最新报告中的多种训练和推理基准测试中,与其他面向大规模生成式AI和LLM的产品相比 ,Gaudi®️2拥有卓越的性能,甚至可以体现得比GPU更“专业” 。
据悉,预计今年9月Gaudi®️2便可支持FP8,在帮助用户提升运营效率的同时,即将迎来更优的性价比:
客观地说,相较于主流大模型硬件平台,CPU虽更容易被获取和部署 ,但其提供的解法仍会更倾向于那些要求部署和应用门槛尽可能低 ,同时性价比较高的推理场景;但英特尔已发布的Gaudi®️2和即将登场的其他加速芯片,例如数据中心GPU ,则有望实现进一步的补全 ,进而形成CPU可在主打通用计算时兼顾AI加速 ,GPU提供通用加速支持,即兼顾科学计算和AI加速,而Gaudi®️ 则能一心一意专攻深度学习加速的一整套异构硬件产品布局 ,这种布局的意义,就在于会提供更加多样化 、更具性价比的解决方案 。
就更别提英特尔还会为多种异构硬件产品搭配可以进行统一编程、轻松迁移并能跨异构调度算力资源的oneAPI软件工具包了 。
英特尔未来在AI或整个企业计算领域的异构多芯布局 ,已经在脚踏实地地走向现实 。其对CPU和AI加速器等硬件的定向优化 ,也让大模型出现了更多的可能性 。
最in practice的落地实战指南
当然,事实上相比于现有的主流大模型硬件平台 ,大家对英特尔硬件在大模型上的优化还缺乏了解。本期专栏就将直接上干货 ,为你手把手带来最in practice的实战指南 。
如上文中提到的利用第四代至强®️ 可扩展处理器对LLM进行训练后量化的实验,在本期专栏的第一篇文章中,甚至还直接附上了代码:
△启用增强型 SmoothQuant 的样例代码
是不是有一种“开箱即用”的味道了 ?
同时,本期专栏也非常与时俱进地会以ChatGLM 、BLOOMZ、PyTorch minGPT主流大模型为案例 ,step by step教你实战优化之道。
当然,面对实践中可能会涉及的更加复杂的问题,我们也不仅局限于提供硬件加速指南 ,而是会考虑到更多维度,例如LLM如何与大数据平台进行对接,以及如何更好地进行数据安全或隐私方面的保护。
例如系列第二篇文章中提到的 :将至强CPU平台内置的可信执行环境(Trusted Execution Environment ,TEE)类技术——SGX用于为LLM提供隐私和数据保护创新解决方案,就可以更好地保障数据在LLM模型训练和推理过程中的保密性。
最后一点,就像我们前文提到的,英特尔加速AI已经不再仅仅有CPU这一个选项,因此Gaudi®️2虽然刚发布不久,但在本次专栏中也会露面,而且同样是落在实战层面,敬请期待。
专栏中涉及CPU的实战分享,更多是希望帮到真正要在业务中落地应用LLM的最终用户 ,毕竟想要在更为广泛的行业中普及AI应用 ,如能充分利用部署更为广泛的、基于CPU的IT基础措施和架构,是更有利于达成降本增效的目标的。
期待这些分享能帮助更多部署了英特尔®️平台 、对LLM跃跃欲试的用户 ,能在第一时间开展相关的探索和实践,让大模型Go to vertical + in practice。
小结
基于行业观察、实战案例 ,我们也会从中迸发出更多大模型加速的灵感。
如大模型“瘦身”提高效率 ,定然还会有更多更加优化的解决方案。英特尔为此专门开设了GitHub问题反馈 ,希望与您共同探讨优化之道:https://github.com/intel/neural-compressor/issues
总而言之 ,英特尔采用多种处理器和加速器,并配以统一且易用的软件工具来实现优化 ,已然是为大模型的发展开辟了一条崭新的路径。
这背后的意义,正如HuggingFace的Simon所述 :
一家独大 ,从来不是一件好事。
言外之意很明显了:多元化的蓬勃发展才是长久之道 。
本次的《最“in”大模型》专栏,也许仅仅是一个通向多元化未来的开头。
欢迎关注专栏 ,也非常期待可以和大家深入探讨一波 。