中文114

手机浏览器扫描二维码访问

本站广告仅展示一次,尽可能不去影响用户体验,为了生存请广大读者理解

ai芯片的两大“升级方向”——fp8精度和多芯互联,到底牛在哪?(第1页)

提到AI芯片,不少人可能觉得“离自己很远”,但其实咱们平时用的AI聊天、刷的短视频推荐,背后都靠AI芯片“算”出来的。现在AI芯片正在快速升级,其中有两个方向特别关键:FP8精度和多芯互联。这俩词听着挺专业,其实用大白话拆解开特别好懂——简单说,FP8精度是让芯片“算得又快又省电”,多芯互联是让芯片“组队干活,力大无穷”。今天就从这两个方向入手,跟大家聊明白AI芯片是怎么升级的,以及对咱们用AI、对国产芯片发展有啥影响。

一、先搞懂基础:AI芯片为啥要“升级”?核心是解决“算力不够、电费太贵”的问题

在聊具体技术之前,得先弄明白一个事儿:AI芯片为啥非得升级?答案很简单——现在的AI越来越“能吃算力”了。

比如训练一个像GPT-4这样的大模型,需要处理几十万亿条数据,要是芯片算得慢,可能得花好几个月才能训练完;而且芯片算的时候特别费电,一个大模型训练一次,电费可能就好几百万。以前的芯片技术,要么算得慢、要么电费高,根本跟不上现在AI的“胃口”。

就像咱们做饭,以前用小煤炉,做一大锅饭又慢又费煤;现在换成大燃气灶,又快又省气。AI芯片的升级,就相当于从“小煤炉”换成“大燃气灶”,核心是解决“算力不够用、能耗太高”这两个痛点。而FP8精度和多芯互联,就是解决这两个痛点的“两把钥匙”。

二、第一个升级方向:FP8精度——让芯片“算得准、跑得快、省电费”,大模型训练直接受益

先来说第一个关键技术:FP8精度。这里的“精度”不是指芯片的制造精度,而是指芯片“计算数据时的精细程度”。咱们可以把芯片计算想象成“用尺子量东西”:以前的芯片用“厘米尺”量,现在FP8精度相当于用“毫米尺”量,既能量得更准,还能更快量完,同时还不费“力气”(也就是省电)。

1. 先拆“FP8精度”:不是“精度降低”,而是“精准控耗”,该细的地方细,该省的地方省

可能有人看到“FP8”里的“8”会疑惑:以前不是有FP16、FP32吗?数字变小了,是不是精度变低了?其实不是这么回事。

简单说,“FP+数字”代表芯片存储和计算数据的“格式”,数字越大,能存储的数据越精细,但需要的存储空间和计算资源也越多。比如FP32就像“高清电影”,画面特别细,但占内存大、播放时费电;FP16像“标清电影”,画面稍粗一点,但占内存小、播放快;而FP8是“优化后的标清”——在保证画面(计算精度)够用的前提下,把没用的“像素”(冗余数据)去掉,既不影响观看(计算结果),还能省内存、省电费。

举个例子:比如计算“1. + 2.”,用FP32能算出“3.”,精确到小数点后8位;用FP8算,能算出“3.5802”,精确到小数点后4位。对咱们日常用的AI来说,小数点后4位的精度完全够用——比如AI推荐短视频,不用精确到小数点后8位,只要能判断“你喜欢这个视频的概率是85%”就行,没必要算成“85.%”。

所以FP8精度不是“降低精度”,而是“精准控耗”——把算力和电量用在“刀刃上”,该精细的地方不马虎,没必要精细的地方省资源。

2. FP8精度的核心好处:算力密度翻2倍、能耗降30%,大模型训练直接“提速又省钱”

搞懂了FP8精度的原理,再来看它的实际好处,主要有两个:一是“算力密度提升2倍”,二是“能耗降低30%”。这俩好处对大模型训练来说,简直是“及时雨”。

先解释“算力密度”:就是同样大小的芯片,能提供的计算能力翻了2倍。以前一块芯片每秒能算100次,现在用FP8精度,每秒能算200次。这意味着训练大模型时,需要的芯片数量能减半——比如以前要100块芯片,现在50块就够了,不仅省了芯片采购钱,还省了机房空间(放芯片的地方也需要成本)。

再看“能耗降低30%”:就是算同样多的数据,电费能省三成。举个直观的例子:以前训练一个大模型,用老芯片需要100万度电,电费按工业用电1元/度算,得花100万;现在用支持FP8精度的芯片,只要70万度电,电费直接省30万。对那些经常训练大模型的企业来说,这可不是小数目——比如某AI公司一年训练10个大模型,光电费就能省300万。

而且这两个好处加起来,还能“缩短训练周期”。比如训练GPT-4这样的大模型,以前用老技术需要3个月,现在用FP8精度,算力翻2倍、能耗降30%,算下来训练周期能缩短25%,也就是只要2个多月就能训练完。对企业来说,训练周期缩短意味着能更快推出新的AI产品,比如别人还在训练,你已经把新的AI聊天工具上线了,自然能抢占市场先机。

热门小说推荐
我的女警妈妈

我的女警妈妈

妈妈的名字很好听,叫黎绮雯,是个警察。她经常对我说,她随时都有可能在追捕罪犯的过程中丧命,到那时候,我需要学会如何保护我自己。现在的我看起来太懦弱了,妈妈有时候看我的眼神总是有些恨铁不成钢,我知道妈妈心中一定是觉得,作为一个警察的儿子,懦弱成这样,如果是被别人外人知道了,一定会笑掉自己的大牙。...

大泼猴

大泼猴

苍穹动摇时,我放声狂笑,挥动如意金箍棒,砸它个天翻地覆! 此后一万年,你们还会记住我——齐天大圣孙悟空! ※※※ 这个世界上总有那么一些人,他们英勇无畏,固执,乃至偏执,不羁,骄傲,而又狂妄。即使到了绝境,他们也绝不妥协。 宁愿死,也不愿输。...

晏捕头

晏捕头

左手锅,炒人间美味;右手刀,辨世间冤屈 从现代法医到古城仵作,到天下第一女捕头 晏骄亲身书写着传奇。 而这个成功女人背后的男人,定国公, 也终于过上了相妻教子看家带娃的退隐生活。 【不是,划掉!!】 现代女法医与半退隐将军吃喝查案的故事, 夫妻搭档,干活不累!故事发生在上部结束后两年1个月...

神级修炼系统

神级修炼系统

一次意外,让宅男秦少风穿越重生到了异世,成为了连泱国蓝江城秦家大少。什么修为被废?丹田也无法修复了?不怕,咱有一个神级修炼系统,破坏的再严重的丹田也能修复!系统在手,功法无尽任我有!达摩老祖的易筋经……齐天大圣的火眼金睛……李寻欢的小李飞刀……美好的世界,我秦少风来了!......

晓风书院的八卦事

晓风书院的八卦事

盛世太平,朝中无事,能引起些许波澜的,无外乎一些八卦。 某日,号称天下第一才子、第一美男子、第一风流子的白晓风,办了家晓风书院。 一时间,什么公主、郡主、才女、千金……蜂拥而至,各个醉翁之意不在酒。 史官程子谦蹲点晓风书院,各种“子谦手稿”流出,流到街头巷尾又流到皇宫内院,白晓风最终情归何处,成了都城百姓茶余饭后津津乐道的话题。 慢住,说到这里,大家是否认为本书的主角就是白晓风?非也! 皇朝有个将军,叫索罗定,这位名字拗口又玩世不恭、“臭名远播”还不受欢迎的皇朝第一高手,才是本书的男主。 皇帝给了索罗定一个任务,让他进书院做卧底,汇报第一手资料,偶尔推波助澜偶尔破坏好事,好让皇帝在跟嫔妃们打赌时稳赢不输。 另外,皇帝还让索罗定顺便去学学礼仪,改改他那一身的痞气。 而负责“管束”索罗定的,是白晓风那位毒嘴又八卦的漂亮妹子白晓月。 索罗定就这么跟白晓月杠上了,这丫头不是一般的难对付!...

娇花系统教我做O

娇花系统教我做O

舒天,Omega,仗着自己天生拥有3s级精神力在学校里耀武扬威,牛逼冲天。 可他做梦都没想到,有朝一日他竟然被所谓的娇花系统成功绑定。 【任务一:您的学习成绩下降,请去找未婚夫要个安慰的抱抱。】 【任务二:您的衬衫脏了,请向未婚夫借件儿他的衬衫来穿。】 【任务三:您的未婚夫身负重伤,行动不便,请您用毛巾帮他仔细擦拭身体。】 舒天握着手里的毛巾,看了看躺在床上“行动不便”却还释放着Alpha信息素的男人。 顿时黑脸掀桌:什么狗屁系统!老子不干了! 系统:叮,请维持好娇花人设哦,系统惩罚中…… 舒天立马身子一软,泪眼婆娑,面色微红的在心里爆了句粗口:系统你大爷! 文案二: 秦景恒和他暗恋多年的Omega有了婚约,原本以为他会厌恶拒绝,却没想到那人突然变了性子,娇娇软软的老想往他怀里钻。 面对心上人的撒娇关怀,他抑制了七年的感情终于一发不可收拾…… *abo星际文/只想谈个恋爱的甜饼/日常流水账/不生子 *(大写加粗)系统会有强制任务的元素*...