3月14日讯息来自智东西 ，据开发人员西蒙·威利森（Simon）于其个人博客所讲 ，他在自身笔记本电脑上成功运行了Meta的130亿参数模型LLaMA - 13B ，这表明大型语言模型已能够在消费级硬件上运行。

他还声称，在多数基准测试当中mestrenova mac，LLaMA - 13B的表现比有着1750亿个参数的大型语言模型GPT - 3更为出色，LLaMA - 65B甚至能够与谷歌的 - 70B以及PaLM - 540B模型展开竞争。

一、Mac能运行130亿参数大模型，只需8GB空间

有一名软件开发人员，其名为乔治·格尔加诺夫，他发布了一款工具，这款工具的名字是“llama.cpp”，该工具能够助力开发者，使其在运行状态下运用AI大型语言模型LLaMA。

LLaMA的全称为“Large Model Meta AI”，也就是Meta大型语言模型，它的参数量处在70亿到650亿的范围之内，当参数变得越大的时候，模型所占据的空间就会越多，运行期间所耗费的算力也就会越大，llama.cpp的主要目标便是在上面运用4-bit量化来运行大型语言模型。一种减小模型大小的技术是4-bit量化，其目的是使得模型能够在功能不那么强的硬件上运行，它还能够把磁盘上的模型大小给减少，具体表现为：将LLaMA-7B减小到4GB，将LLaMA-13B减小到8GB以下。

根据AI开发者西蒙·威利森（Simon）所讲，去年8月发布的文本转图像模型 开启了生成式AI的全新浪潮，而 的出现把这浪潮推向了超速发展阶段。如今，对于大型语言模型来说，类似于从前 的时刻又再度发生了。

他称自己第一次在自己的电脑上运行了类GPT-3语言模型。

Artem，也就是阿特姆·安德林科，于有着4GB随机存取存储器的树莓派4的电子产品上，运行了LLaMA 7B。

使阿尼什·泰特（Anish Thite）所涉及的事物，于Pixel 6这款手机之上得以运行。

威利森宣称，GPT - 3这类语言模型为等而言的工具供应技术方面的支撑，它相较于图像生成模型更大，其构建以及运行的成本更高。

在大型语言模型里mestrenova mac，多数是由诸如等私人组织搭建而成的，并且始终遭遇着严格管控，那便是仅能够借助他们所提供的API以及Web界面去进行访问，不会被发布给任何一个人，以供其在自身的电脑上开展运行操作。即便个人能够获取到GPT - 3模型，然而也没办法在自己的硬件设备上予以运行，这是由于运行该模型通常需要多个英伟达A100级别的GPU，而单个这样的GPU售价超过8000美元。

那现在呢，威利森能够于自身的电脑之上运行LLaMA - 7B模型，并且能把它升级为13B模型。先前他觉得还得耗费几年时间才能够在自身的硬件上运行GPT - 3类模型，然而现在已然能够达成了。语言模型的成本已降低至个人电子设备也能够使用的程度。经过4 - bit量化以后，模型被缩小，LLaMA甚至能够在配备M1芯片的上面运行。

二、大型语言模型失去保护屏障，须合理使用

就在这个时候，威利森持有这样的看法，在实际的生活场景里头，人类是绝对有可能性借助语言模型去做一些不太好的事儿的。比如说，撰写垃圾邮件，炮制情感骗局，甚至于还能够自动产生激进言论。

对于生成式AI来讲，去编造好些虚假信息着实太过容易了，而且人们也能够区分出来。在这之前，还针对人们跟这些模型的交互行为展开有选择的防御，可是当普通民众都能够在自身的消费级硬件上运行这些语言模型的时候，又该如何去应对呢？

对于威利森而言，要是不朝着积极的方向去引导大语言模型 ，那么人们在使用时，就极易陷入其陷阱 ，不是觉得生成式AI有害 ，就是认为它浪费自己时间。

威利森宣称，自己当下每日都依据自身目的去挑选运用生成式工具，他上周借助其来教导自己学习编写Mac系统运行脚本，在其帮助下，他不到一小时便发布了一个新项目。

威利森认为当前人们的首要任务是找出最有建设性方法来使用。

结语：大型语言模型限制被打破，平替有望实现

尽管，当前，于其上，运行，LLaMA，的，步骤，依旧，繁琐，复杂，不过，威尔森，已，在，自己的，博客中，给出了，详尽的，步骤说明。

https://til..net/llms/llama - 7b - m2）。坚信于开源社区持续不断地进行开发这个情形之下，LLaMA会转变为更易于着手操作这一状态，并且其操作将会变得更为便利。LLaMA是在llama.cpp为其提供帮助的这种状况下，有希望成为“平价替代版本”，人们凭借消费级电子产品能够自由自在地加以使用大模型。

如有侵权请联系删除！