Jumio发布基于AWS的实时特征存储架构,助力欺诈检测与成本优化
摘要:Jumio构建了一个基于AWS的实时特征存储架构,通过整合Amazon SageMaker Feature Store、Amazon Managed Service for Apache Flink和Amazon Kinesis Data Streams,实现了毫秒级延迟的特征服务。该架构不仅解决了数据重复、特征工程不一致和部署延迟等问题,还显著提升了欺诈检测的效率,并为公司每年节省约12万美元的运营成本。
Jumio发布基于AWS的实时特征存储架构,助力欺诈检测与成本优化
Jumio是一家身份验证服务提供商,其核心业务依赖于实时机器学习(ML)模型进行欺诈检测。为了应对特征工程和部署中的碎片化问题,Jumio构建了一个基于AWS的实时特征存储架构。该架构整合了Amazon SageMaker Feature Store、Amazon Managed Service for Apache Flink和Amazon Kinesis Data Streams,解决了以下关键挑战:
主要挑战
- 数据重复:各团队维护独立的离线特征存储,导致数据冗余和特征定义不一致。
- 手动部署:团队需手动将离线训练的特征重新实现到生产代码中,增加了错误风险。
- 延迟问题:欺诈检测需要即时访问特征,包括上游模型的输出。
- 事件处理延迟:某些事件类型可能延迟到达或以不规则模式出现。
技术架构
Jumio的实时特征存储架构采用流式优先设计,分为三个主要部分:
- 数据管道:事件通过Amazon Kinesis Data Streams进入,并由Apache Flink应用程序处理和丰富数据,然后直接写入Amazon SageMaker Feature Store。
- 实时特征存储:Amazon SageMaker Feature Store提供内存中存储,支持低延迟模型推理。
- 离线特征存储:事件通过Amazon Data Firehose流入Amazon S3,并存储为Apache Iceberg表,用于模型训练和分析。
性能与成本优化
- 延迟:实时特征存储的延迟低于100毫秒,满足欺诈检测的SLA要求。
- 成本节约:通过优化内存存储,Jumio每年节省约12万美元的运营成本。
实施建议
- 流式优先设计:确保特征实时可用。
- 集中化特征定义:支持跨团队的一致性和可重用性。
- 分层存储策略:平衡延迟与成本。
- 监控:持续监控特征存储的健康状况和延迟。
- 跨职能协作:促进后端、ML和数据工程团队之间的协作。
行业影响与开发者建议
- 对AI行业的启示:Jumio的案例展示了如何通过优化特征存储架构提升AI模型的实时性和准确性,为其他企业提供了宝贵的参考。
- 对开发者的建议:开发者应关注特征工程和存储的集中化管理,以提升模型开发和部署效率。同时,利用云服务(如AWS)提供的工具,可以有效降低运营成本并提高系统可靠性。
结论
Jumio通过构建基于AWS的实时特征存储架构,不仅提升了欺诈检测的效率,还实现了显著的运营成本节约。这一架构为需要低延迟预测的AI应用提供了新的解决方案。
—— 完 ——消息来源:AWS Machine Learning Blog (2026-08-18)
主题标签: #Jumio #实时特征存储 #AWS #机器学习 #欺诈检测
编辑部与事实核查说明:本篇专刊由智客前沿资讯管线根据官方技术公告、学术论文及开源工程文档整理编译,经算法实体核验与人工编辑审校后发布。若发现技术事实纰漏,欢迎依据勘误方针或一键向编辑部发送勘误反馈。
社区整体评论区