驱动之家 前天
14MB内存跑起Gemma3!打印机一分钟一个token
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 11 月 20 日消息,Google DeepMind 工程师 Omar Sanseviero 在社交平台上展示了一次实验,他把 270M 参数的 Gemma 模型塞进一台办公激光打印机里跑了起来。整个过程没有改打印机固件,也没有外接计算板。

打印机里的算力一直被认为不够用,这次的做法是把推理编译成一份 PostScript 打印文件,交给打印机自带的解释器执行,模型就在机器内部完成计算。

搭档是一个叫 Carbon 的轻量推理引擎,它把模型压到打印机能承受的体量。为了不把内存撑爆,实验用了动态层流式加载,让模型的不同层轮流进出内存。

代价是速度,原帖给出的峰值内存占用是 14MB,生成速度大约一分钟一个 token,一句短回答就得等上几分钟。

实验输入的提示语是 Read the fine,打印机最后在纸上印出 Read the fine print。答案只有三个词,确实是打印机算完再打出来的。

这台设备是理光的办公激光打印机,跑的是打印机里最平常的 PostScript 页面描述语言。Sanseviero 自己也说得很克制,这更像一次把硬件推到极限的测试,离能干活还远。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

打印机 社交平台 google 工程师 理光
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…