MiniCPM-o 4.5 开源了。

　　这是面壁智能 OpenBMB 在 2 月正式开源的新一代全模态旗舰模型，参数量只有 9B。

　　却对标甚至在多项任务上追平乃至超越一些闭源大模型，被很多人称为端侧 GPT4o 平替。

　　目前 MiniCPM-o 4.5 开源模型已经登上了 Hugging Face 的热榜第 2。

　　MiniCPM-o 4.5 能同时看图/视频、听声音、说话和输出文字。

　　并且支持全双工，也就是一边看一边听的同时还能主动说话，目标是把接近 GPT4o / Gemini 2.5 Flash 水平的多模态能力，塞进手机、PC、车机等端侧设备上运行。

　　01

　　开源项目简介

　　MiniCPM-o 4.5 = 9B 参数的开源全模态大模型 + 原生全双工实时交互 + 端侧友好部署

　　这几个关键词听着挺炫酷的，用人话解释一下就是：

　　① 全模态（Omni）

　　能同时处理图像、视频、文本、音频输入，输出文本和语音。

　　② 全双工（Full Duplex）

　　能做到边看、边听、边说，不是回合制问答。

　　传统对话式 AI 是对讲机模式，你说完一句，它才开始想、然后再回一句。MiniCPMo 4.5 的思路是：让 AI 像人一样，一直在看和听，同时决定什么时候说。

　　听起来容易，做起来难。

　　除了要做到输入输出并行，互不阻塞。模型在说话时，眼睛和耳朵还不能关机，还得继续看视频、听你说话。

　　甚至你可以随时打断、随时插话，它能立刻切换话题或调整回应。

　　③ 端侧优先（Edge-native）

　　只有 9B 参数，却在视觉理解、文档解析、语音交互等方面，做到接近 Gemini 2.5 Flash 级别，同时又适合在本地设备上跑，比如手机、车机、机器人、平板等。

　　开源地址：https://github.com/OpenBMB/MiniCPM-oHuggingFace：https://huggingface.co/openbmb/MiniCPM-o-4_5

　　02

　　它是怎么做到又全又小的？

　　从技术结构看，MiniCPM-o 4.5 可以粗略理解为：

　　在 Qwen38B 语言底座上，接入 SigLIP2 视觉编码、Whisper 语音理解、CosyVoice2 语音生成，

　　再用统一全模态架构打通，做成一个端到端的全模态大脑。

　　几个关键点值得展开说一下：

　　① 统一的全模态架构

　　不再是视觉模型 → 丢给语言模型的松散拼接，而是从输入编码到输出解码，都由一个统一系统协调

　　文本、语音、图像、视频会在一个共享的语义空间里被理解，这让跨模态推理更自然，比如：

　　一边看视频、一边听声音时，能理解谁在说话、刚刚发生了什么，而不是分别对待音轨和画面

　　② 全双工语音解码

　　语音解码器采用文本 token + 语音 token 交错建模的方式

　　这带来两个直接好处：在输出语音时，仍然可以持续读入新输入，实现真正意义上的全双工，长语音时音色更统一、语气更自然，不容易越说越飘。

　　③ 高效视觉/视频处理

　　借鉴了 MiniCPM-V 4.5 的设计：

　　使用高效视觉 backbone + token 压缩策略，把高分辨率图像和多帧视频压缩到极少的视觉 token 数量

　　结果是：视频理解的性价比极高，在同样的算力预算下，它能看的内容比同类模型多得多，特别适合端侧设备上做长视频分析、实时摄像头理解。

　　03

　　如何使用

　　最简单的，你可以在 Hugging Face 上直接使用搭建好的 Demo，获取语音和摄像头权限就行了。

　　Demo：https://huggingface.co/spaces/openbmb/MiniCPM-o-4_5-Demo

　　MiniCPM-o 4.5 之所以在开源社区讨论度极高，一个很大的原因是：它不是只活在论文里的模型，而是从一开始就被设计为要在设备上跑。

　　具体部署方式，可以看下面这个链接：

　　部署指引：https://github.com/OpenSQZ/MiniCPM-V-CookBook/blob/main/demo/web_demo/WebRTC_Demo/README_zh.md

　　官方已经给出了一整套开源部署方案，包括但不限于：

　　llama.cpp-omni：