跳到正文
人人都是产品经理· AI异类弗兰克·· 6 小时前AI 评分58

清华 AI 论坛上,姚远谈全模态大模型与 AI 交互的下一条曲线

清华这场 AI 论坛,我看到了AI交互的下一条曲线

AI 导读

清华人工智能研究院学术年会上,姚远分享全模态大模型技术探索,提出交互性必须原生、不能靠 pipeline 拼凑,感知的边界就是智能的边界。团队用 9B 参数的开源模型 MiniCPM-Omni 4.5 验证这条路线,其核心 OmniFlow 按毫秒级时间戳对齐不同模态,实现边看边听边说、输入输出不阻塞的全双工交互。

价值洞察
✦ 价值点

全模态原生交互被论证为继文本之后的第二增长曲线,端侧9B开源模型让实时多模态能力脱离云端大厂垄断

⚡ 转化点

做AI硬件或实时语音应用的团队,应立刻在本地4090/Mac上跑MiniCPM-Omni验证端侧全双工方案,替代云端ASR+TTS拼接架构