智客 ZICQ
EN 登录 / 注册
智客前沿 大模型 #QuickSearch #多模态视频检索 #Amazon Bedrock #混合检索 #文化语境

Social Department构建QuickSearch,用混合检索理解影视文化语境

Mr.Xu 的头像

文 / Mr.Xu 智客前沿编译 · 审校

发布时间:

中文阅读 (Chinese) English Version
共读互动 选中正文任意句子即可高亮划线、写下你的技术批注,或一键生成金句引用卡。 直达讨论区 ↓

摘要:Social Department与TrackIt、AWS及TwelveLabs构建QuickSearch,把“易传播场景、可引用台词、梗图时刻、趋势对齐”封装为单动作检索。系统以Step Functions编排异步视频理解流水线,用Marengo 3.0生成多模态向量、Pegasus 1.2描述场景,再由Claude完成趋势归一化与编辑式排序,并在OpenSearch Serverless中融合六路k-NN与七路BM25。企业称素材发现由3至4天缩短至约10分钟,但这并非对照评测,成本、召回率与质量方差仍待验证。


核心变化

QuickSearch不是一款新的基础模型,而是一套把影视营销人员的经验判断编译成可重复执行检索策略的生产系统。Social Department拥有其流水线架构、检索系统与编辑标准,TrackIt负责实施交付,TwelveLabs提供视频理解模型,AWS提供Bedrock、OpenSearch及周边基础设施。

系统把原本难以写成搜索框的意图封装为四个动作:Shareable Scenes寻找完整且有传播潜力的剧情段落;Quotable Quotes寻找简短、适合引用的对白;Memeable Moments从候选片段中单独抽取并评估高分辨率梗图帧;Trend Align则把实时文化趋势翻译成能够在影视素材库中检索的查询。

架构拆解

1. 视频理解采用全异步摄取流水线

视频上传Amazon S3后,由S3 Object Created事件经EventBridge触发Step Functions状态机,约二十多个Python Lambda函数依次完成元数据解析、媒体转码、镜头切分、向量化、内容描述和索引。

媒体首先通过Elemental MediaConvert转成480p H.264,并执行自适应去隔行;Rekognition异步识别原始镜头,再由Lambda把镜头合并或拆分为约10至20秒的内容区间。该区间决定内容边界,区间内部则以固定间隔生成短片段Embedding,实质上是在镜头结构与固定时间粒度之间取折中。

TwelveLabs Marengo 3.0通过Bedrock异步生成覆盖视觉、音频和字幕的多模态向量。Pegasus 1.2则在并行Distributed Map中生成场景叙事、情绪、主题、对白类型和叙事位置等文本特征。由于Pegasus接收预切分文件,系统还要提前裁出片段并在两侧保留数秒padding,以避免丢失场景转场。

转写、屏幕文字识别、视觉标签和人物集合与上述任务并行执行;Claude进一步提取节目人物关系、角色定位和节目级概念。最终,向量、字幕、OCR文本、场景描述及标签被写入OpenSearch Serverless。

该链路采用指数退避重试,Pegasus描述阶段额外使用带full jitter的限流重试。非关键增强任务允许降级,真正的硬错误则进入失败处理器。这意味着系统追求的不是所有步骤原子成功,而是把视频理解流水线设计成可恢复的长时间任务。

2. 趋势数据与媒体库解耦

内容库只在新增素材时变化,趋势却可能按小时乃至更短周期变化。QuickSearch因此没有在每次新趋势出现后重新处理整个视频库,而是设置独立趋势管道:每日定时任务按地区抓取常规趋势,Heat Seeker则在用户明确请求时按需获取早期热度数据,并通过TTL复用尚新的结果。

目前全球、美国、英国和澳大利亚被作为独立人群分别发现,而不是用地区字段过滤同一份全球榜单。Claude Haiku负责将原始趋势映射到内部分类、去重、标准化并设置分类数量上限,随后通过编辑门禁排除死亡、暴力、自残、灾害、政治、抗议、犯罪和公共卫生危机等主题。被拒趋势会保留指纹,避免下次重复审查。

趋势管道与视频理解管道各自运行,只在用户选择Trend Align时通过QuickSearch作业层连接。这种设计避免了重复计算视频向量,也使内容索引和实时文化信号可以分别扩缩容。

3. 单次选择被展开为多阶段检索

Web前端是托管在S3并通过CloudFront分发的React应用;Fastify服务运行在Lambda上,由API Gateway HTTP API暴露。QuickSearch请求先写入DynamoDB并投递SQS消息,再由Worker Lambda异步处理。瞬时故障通过SQS重试,不可重试错误进入死信队列。

不同动作会按照各自的编辑标准扩展成一组查询。Trend Align的难点在于把“正在流行的话题”翻译成视频画面和音频中可检索的语义,这部分由Claude完成。随后,查询被路由至六路k-NN通道,包括视觉、音频、字幕、屏幕文字、场景描述和标签,同时并行检索七路BM25文本通道;权重由查询类型决定,例如对白查询强化字幕与情绪通道,视觉查询则抑制无关通道。

不同检索器的原始分数通常不在同一量纲,系统采用Reciprocal Rank Fusion合并排名:

RRF(d) = Σc 1 / (k + rc(d))

其中rc(d)是候选文档在第c个通道中的排名,k为平滑常数。RRF只依赖名次而非不可比的原始分数,能降低k-NN距离分数与BM25分数混合时的尺度偏差。融合后的候选集再交给Amazon Rerank交叉编码器重排,随后由Claude验证并按照动作对应的编辑标准排序。Haiku用于边界清晰、成本敏感的任务,Sonnet用于文化判断可能改变结果的场景。

相邻且视觉向量高度相似的短片段会被合并,最终形成约20至60秒的连贯结果,而不是把同一场景拆成多个碎片。Memeable Moments还会额外抽取候选帧,以Rekognition评估人脸质量并检测清晰度,胜出帧再按全分辨率重新提取、裁去黑边并通过CloudFront签名URL返回。

4. 缓存与安全控制

完成的结果在DynamoDB中缓存30天。缓存键包含每个动作的流水线版本;Trend Align还会加入当前趋势集合的哈希,因此模型升级、编辑标准变化或趋势刷新都能触发定向失效,而不是等待旧缓存自然过期。

安全控制采用“AI提议、人类决定”的边界:代码会检查结果是否存在于源素材,例如台词不在节目字幕中即被丢弃;Bedrock Guardrails用于筛查客户搜索文本中的提示攻击;发布前仍由客户团队人工批准。AWS方面表示,客户数据保留在AWS数据边界内,不向模型提供商共享,也不用于训练底层模型。

工程权衡

时间粒度与计算量。 10至20秒内容区间适合剧情结构,但固定间隔Embedding可能错过持续时间极短的梗图帧;480p转码降低转码、视觉处理和存储成本,却可能损失小字、细微表情和低清素材中的细节。Pegasus所需的预切分文件、padding及跨任务媒体读取,也会增加临时存储和I/O。

召回率与模型成本。 六路向量检索加七路BM25可以提高候选覆盖率,但索引维度、查询扇出和重排链路都会增加延迟与费用。系统没有让一个大模型直接面对完整素材库,而是先用高召回检索缩小候选集,再把Claude预算集中在有限结果上。每次查询的Bedrock成本可近似理解为一次查询Embedding、一次rerank和少量Claude调用之和,但原文没有给出调用次数、Token量、OpenSearch计算单元或实际单价。

新鲜度与区域复杂度。 定时抓取成本可预测,按需抓取则减少空闲付费,但两者都要求趋势具备独立生命周期。四个地区分别采集避免把全球趋势简单套用区域标签,却也增加数据源、刷新调度和归一化规则数量。

托管便利与平台绑定。 Bedrock屏蔽了模型服务、扩缩容和部分推理基础设施,模型也可通过统一API替换;代价是区域可用性受限。Marengo异步调用要求输入输出S3桶与模型端点同区域,项目不得不把待处理视频暂存到US East N. Virginia,再将结果读回业务主区域。数据驻留得到控制,但跨区域暂存增加了流量、合规审查和故障恢复复杂度。

缓存收益与一致性风险。 30天缓存显著降低重复查询的模型与检索成本,但流水线版本必须与编辑规则同步更新,否则系统会快速失效;Trend Align还必须把趋势哈希纳入键空间。任何漏掉的依赖项都可能产生难以察觉的陈旧结果。

生产反馈与证据边界

Social Department称,过去需要3至4天人工浏览素材的发现工作现在约需10分钟;项目从规格到NAB现场演示及生产交付约为8周。这些数字说明系统可能显著减少人工粗筛时间,但来自项目方观察,不是受控基准。

公开材料没有给出各动作的Precision、Recall@K或nDCG,也没有披露候选池大小、不同文化类型下的误选率、人工覆盖率、p50与p95延迟、单视频小时摄取成本、每次查询Bedrock费用、缓存命中率及趋势误杀率。因此,10分钟只能被视为流程效率信号,不能直接证明检索质量领先。

开发者落地与部署建议

  1. 先建立可执行的编辑标准。 为每种动作定义正例、反例、片段长度和人工裁决规则,并用逐节目ground truth持续评测;否则所谓文化判断只会变成难以复现的提示词。
  2. 分离稳定内容与衰减信号。 媒体向量、转写和人物关系适合按内容增量更新,趋势、热度及外部流行度则应拥有独立调度、版本和数据表,只在请求阶段连接。
  3. 采用廉价召回与昂贵判断分层。 用向量与BM25构建高召回候选池,以RRF解决分数尺度差异,再把昂贵的reranker和LLM排序限制在固定上限内;同时按模型输出Token上限设置候选池,防止静默截断。
  4. 保留确定性与人工闸门。 台词必须回查转写,帧必须保留来源时间码,最终发布需要人工批准;Guardrails只能作为输入侧防线,不能替代内容溯源和权限控制。
  5. 按完整成本口径验收。 除模型调用外,还应统计转码、媒体复制、OpenSearch、Lambda、队列等待、区域流量和缓存存储成本,并同时监测质量、人工覆盖率、尾延迟、趋势误杀与缓存失效正确性。

消息来源:AWS Machine Learning Blog (2026-11-18)

—— 完 ——

主题标签: #QuickSearch #多模态视频检索 #Amazon Bedrock #混合检索 #文化语境

编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。

读完这篇,你的第一判断是?
🚀 去【作品】晒出你的相关实践

社区整体评论区

正在加载实时智能评论与划词标注…