
今天,人工智能初创公司Liquid AI正式开源了一款名为LFM2.5-8B-A1B的端侧大模型。这玩意儿专为手机和笔记本电脑设计,让你在本地设备上就能流畅运行AI能力,不用再依赖昂贵的云端服务器。
怎么做到的?它用了稀疏混合专家架构。简单说,模型总共有8.3B的参数(相当于8.3亿个“脑细胞”),但每处理一个词(Token),只激活其中1.5B。就像你的图书馆有10万本书,但每次查资料只翻其中1本,省时又省力。这样一来,计算成本大幅降低,手机也能跑得动。
相比上一代,LFM2.5把上下文窗口从32K拉到了128K词元——相当于一口气理解一本短篇小说。训练数据量也从12T暴涨到38T,学得更多更扎实。更贴心的是,它支持中文、阿拉伯文等9种语言,还专门优化了指令遵循和工具调用能力:你可以直接让它调用Python函数,或者一键切换成JSON格式输出。
很多人担心大模型在长推理中会“想偏”或“胡编乱造”。Liquid AI用两段式强化学习解决了这个问题:先通过偏好优化避免推理逻辑死循环,再植入一套防幻觉奖励机制。遇到超出知识库的问题,模型会主动说“我不知道”,而不是硬编答案。
实测数据很亮眼。在苹果M5 Max芯片上,它的解码速度达到每秒253字节;即便在手机上,也能跑出每秒约30字节。算一算,处理一个1000字的回复,手机端只用30多秒——这速度完全够日常用了。而且所有推理都在本地完成,数据不上云,隐私性拉满。
目前,该模型发布当天就获得了llama.cpp、MLX、vLLM和SGLang等主流推理框架的全面支持。你几乎可以在任何设备上直接部署运行,不需要额外折腾。
一句话总结:端侧大模型不再是噱头。Liquid AI这次的开源动作,让“AI在手机里跑”这件事儿,从实验室走进了普通人的口袋。