谷歌开源FashionMind:会看穿搭、记偏好,还能实时推荐

谷歌开源FashionMind:会看穿搭、记偏好,还能实时推荐

Ai热点前沿
Ai热点前沿11-17 04:20

2026-11-17 12:20

导语:目录直注上下文,工具调用省下6–16秒语音往返。FashionMind是什么 FashionMind 是谷歌开源的多模态

FashionMind是什么

FashionMind 是谷歌开源的多模态实时语音时尚助手,基于 Google ADK 和 Gemini Live 2.5 Flash 构建。FashionMind 能通过摄像头看穿搭、用语音自然对话,跨会话记住用户偏好,精确事实存关系数据库,风格偏好存语义记忆,原始音视频只提炼结论。FashionMind 核心设计是用商品目录直注上下文和读写分离,实现零额外语音轮次的流畅全双工对话。

FashionMind

FashionMind的主要功能

  • 实时双向语音对话:基于 Gemini Live 原生音频,用全双工方式与用户连续对话,无需逐轮等待。
  • 视觉穿搭点评:通过 1fps 摄像头画面实时”看见”用户穿搭,并在同一语音回合内自然评论。
  • 跨会话记忆:记住用户的日程、心愿单、购买记录和风格偏好,下次打开无需重新交代背景。
  • 零延迟商品推荐:商品目录预置在上下文里,Agent 说到商品时前端即刻高亮对应卡片,不产生额外语音轮次。
  • 即时打断(Barge-in):用户开口即停当前语音播放,本地检测不等待服务端信号回传。

FashionMind的技术原理

  • 实时双任务架构:后端是 FastAPI WebSocket 服务,运行两个并发 asyncio 任务,上游任务把浏览器传来的 16kHz PCM 音频、图像和文本推入 LiveRequestQueue,下游任务迭代 runner.run_live() 事件并转发给前端。队列用 send_realtime() 处理连续音频(由 VAD 判定说话边界)、send_content() 处理离散的图像、文本和上下文注入(可立即触发推理或打断),解耦 WebSocket 处理器与 ADK runner。
  • 会话启动时的上下文注入:用户身份、商品目录(约 300 token)和跨会话风格记忆三项内容在 t=0ms 同时通过 send_content() 非阻塞注入,目录几毫秒内就绪、记忆约 1.5 秒后到达。由于注入不打断实时音频流,用户说完第一句话时 Agent 已握有完整上下文,因此能一轮语音直接回答”有没有西装”,无需检索工具调用。
  • 目录直注与信号工具模式:语音应用中任何工具调用都要额外消耗 2 个语音轮次(offer → confirm → result,约 6–16 秒),所以项目放弃 search_products() 检索工具,改为把商品目录直接放入模型上下文。recommend_products() 被设计为纯信号工具——不查数据库,只在 ADK 事件流中产生可检测的 function_call 事件,下游任务据此向前端推送高亮指令,使语音播报与商品高亮同步完成。

挖挖GitHub

微信关注回复“开源”,加入AI开源项目交流群

如何使用FashionMind

  • 准备前置条件:拥有一个已启用计费的 GCP 项目,确保 gcloud CLI 已登录认证,本机装有 Python 3.11+ 和 Node.js 18+。
  • 一键搭建云基础设施:运行 ./setup_gcp.sh YOUR_PROJECT_ID us-central1,脚本会自动创建 Cloud SQL PostgreSQL 实例和 Vertex AI Agent Engine,并生成 backend/.env 配置文件。
  • 启动后端服务:进入 backend 目录创建虚拟环境、安装依赖后,依次执行 alembic upgrade head(数据库迁移)、python seed_products.py(导入商品目录),再运行 uvicorn main:app --reload --port 8080 启动服务。
  • 配置环境变量:将 backend/.env.example 复制为 backend/.env,填入数据库连接串、GCP 项目 ID、区域、Agent Engine ID,并设置 USE_MEMORY_BANK=true 启用跨会话记忆。
  • 启动前端应用:进入 frontend 目录执行 npm install 和 npm run dev,然后浏览器打开 http://localhost:5173。
  • 开始对话体验:在网页中授权摄像头和麦克风后,即可直接用语音与时尚助手聊天、展示穿搭。

FashionMind的核心优势

  • 零额外语音轮次的低延迟体验:商品目录预注入上下文、推荐改用正则匹配与信号工具,消除工具调用带来的 6–16 秒冷场,说到商品即刻高亮。
  • 三层记忆分离保证精准与灵活:精确事实走关系数据库 SQL 事务、动态偏好走语义记忆异步提炼,避免向量库”以相似度猜精确答案”的隐患。
  • 读写分离不阻塞语音流:明确指令当场同步写入,偏好总结交由后台协程静默完成,全双工对话全程不断句。
  • t=0ms 即时开麦、上下文异步就位:音频流即刻启动,目录与记忆并行异步注入,用户说完第一句话时 Agent 已掌握全部背景。
  • 本地打断带来即时响应:浏览器端 RMS 阈值检测语音、说话瞬间停播,无需等待服务端 VAD 信号回传。

FashionMind的项目地址

  • GitHub仓库:https://github.com/cuppibla/fashionmind

FashionMind的同类竞品对比

维度 FashionMind Pinterest Assistant
产品定位 面向开发者的开源参考架构,可复用的垂直语音应用工程样板 面向消费者的成品功能,嵌入 Pinterest 平台,尚处 beta 阶段
语音交互模式 全双工连续对话:16kHz 持续音频流、免唤醒词、可随时打断(barge-in) 按键式语音:按住麦克风说话(类似发语音消息),非连续流式,音频播报不可关闭
视觉能力 1fps 实时摄像头持续看穿搭,同一语音回合内点评 多模态”视觉优先”模型,可基于海报、屏幕图片生成搭配建议,但非实时视频流
记忆架构 三层分离:精确事实走关系数据库、风格偏好异步提炼入语义记忆、原始音视频只存结论 依托 Pinterest 用户行为信号(保存的 Pin、浏览记录)做个性化,无公开的记忆分层机制
商品联动 自建商品目录全量注入上下文,说到商品前端即刻高亮卡片 推荐自家平台 Pins,语音简述搭配并展示视觉结果
延迟工程 深度优化:目录/记忆异步注入、信号工具免往返、本地打断、本地会话状态 官方未披露延迟优化细节,语音播报刻意保持简短

FashionMind的应用场景

  • 线上时尚购物导购:顾客用语音描述需求,Agent 结合目录和购买历史即时推荐商品,并在前端同步高亮商品卡片。
  • 个人穿搭顾问:用户打开摄像头展示当日穿搭,Agent 实时点评并给出改进建议,跨会话记住风格偏好。
  • 场合着装规划:结合关系数据库中的日程安排(如晚宴、客户聚餐),提前推荐合适的着装方案并加入心愿单。
  • 智能衣橱管理:用户随时口头查询”我买过哪些外套””心愿单里有什么”,Agent 精确检索结构化记录并管理购买状态。
  • 无障碍购物辅助:视障或行动不便的用户通过纯语音完成浏览、询问、加购全流程,无需屏幕操作。

来源:AI工具集

#AI工具

免责声明:含第三方意见,不构成财务建议

分享至
X
Telegram
WeChat
QQ
Link
推荐阅读

Step Code – 阶跃星辰开源的终端编程智能体

09-24
Step Code – 阶跃星辰开源的终端编程智能体

Hy4 preview 轻量版 – 腾讯混元开源的Hy4量化压缩模型

09-02
Hy4 preview 轻量版 – 腾讯混元开源的Hy4量化压缩模型

Claude Fable 5.1 – Anthropic 推出的最新旗舰大模型

09-02
Claude Fable 5.1 – Anthropic 推出的最新旗舰大模型

开源版Retool来了,60+组件拖拽搭后台

08-19
开源版Retool来了,60+组件拖拽搭后台

Claude Opus 5来了:半价逼近Fable 5

07-25
Claude Opus 5来了:半价逼近Fable 5

腾讯开源260个真实任务,考AI打工能力

07-25
腾讯开源260个真实任务,考AI打工能力

美团开源AI考场:813个Minecraft任务

07-25
美团开源AI考场:813个Minecraft任务