3w 星标项目大佬创业：树莓派即可运行大模型，已获github前ceo投-凯发k8手机网页

资深开发大佬，终于忍不住自己出来创业了。

georgi gerganov，今年三月曾开源了 llama.cpp 项目，github 上已破三万星标，要知道 stable diffusion 也不过 8.8k。

这个项目能让开发者在没有 gpu 情况下运行 meta 的 llama 模型，即便是在树莓派、macbook 上运行大模型也通通不在话下~

甚至还成功吸引了小扎的注意:meta 也在运行 llama.cpp。

可能由于反响太好，这位大哥决定把背后核心纯 c 语言框架 ggml 拿出来创业:原本是几月前的副业项目。

在官宣前这家公司就已经获得来自 github 前 ceonat friedman、y combinator 合伙人 daniel gross 的种子前投资。

消息一出，众多开发者赶来祝贺。

其中不乏一些坚定的拥护者:ggml 正在将大模型普及到边缘设备。

没过多久就有人建议:苹果应该将它收购了。

llama.cpp 作者创业

ggml，是一个纯 c 语言编写的张量库，可帮助开发者在消费级硬件上运行大模型，github 星标数达到 4.4k。

由于加速效果惊人，一下子收获了不少开发者的支持。

by the way，ggml 的 gg 恰好是他名字的缩写。

大哥自己的两个上万星标的项目 llama.cpp 和 whisper.cpp 都使用了它。

后者是为 openai 的 whisper 自动语音识别模型开发的加速方案，可在 mac、windows、linux、ios、安卓、树莓派以及 web 上运行。

不少初创公司，比如主打生活搜索引擎的 rewind 都使用了这套凯发k8手机网页的解决方案。

还有两个项目同时在终端上运行。

根据个人介绍，ggml 张量库具有以下这些特点:

支持 16bit 浮点数；支持整数量化；自动微分；内置优化算法(例如 adam、l-bfgs)；为苹果芯片设置特定优化；在 x86 架构上使用 avx / avx2 intrinsic；通过 webassembly 和 wasm simd 提供 web 支持；无第三方依赖；运行时零内存分配；支持指导型语言输出……

目前这个库以及相关项目都是免费开源，开发过程也全公开；当然也不排除开发授权给一些商业用途的项目。

用 c / c 重写神经网络代码

而这背后的开发大佬 georgi gerganov 也值得说道说道。

他的个人网站十分简单直接，甩出各种开源项目，除此之外别无其他。可以看出，他是 c / c 的狂热爱好者，信仰 vim。

此前，他曾用 c / c 语言重写神经网络推理代码，这样几乎不依赖于其他库，以此提升效率。至于 llama.cpp 也是他一晚上 hacking 出来的。

除此之外，他还有一些有意思的项目。

比如检查键盘是否可以通过麦克风窃听、猜 hacker news 的标题，wordle 克隆版等等。

one more thing

值得一提的是，背后的这两个投资者也有点意思。

他们还专门给创业者提供算力集群，只需在网站上申请即可。这波是在 next level 上了~

参考链接:

广告声明:本文含有的对外跳转链接，用于传递更多信息，节省甄选时间，结果仅供参考。it之家所有文章均包含本声明。