人人都是产品经理· AI异类弗兰克·· 6 小时前AI 评分58
清华 AI 论坛上,姚远谈全模态大模型与 AI 交互的下一条曲线
清华这场 AI 论坛,我看到了AI交互的下一条曲线
AI 导读
清华人工智能研究院学术年会上,姚远分享全模态大模型技术探索,提出交互性必须原生、不能靠 pipeline 拼凑,感知的边界就是智能的边界。团队用 9B 参数的开源模型 MiniCPM-Omni 4.5 验证这条路线,其核心 OmniFlow 按毫秒级时间戳对齐不同模态,实现边看边听边说、输入输出不阻塞的全双工交互。
价值洞察
✦ 价值点
全模态原生交互被论证为继文本之后的第二增长曲线,端侧9B开源模型让实时多模态能力脱离云端大厂垄断
⚡ 转化点
做AI硬件或实时语音应用的团队,应立刻在本地4090/Mac上跑MiniCPM-Omni验证端侧全双工方案,替代云端ASR+TTS拼接架构