| 数据类型 | 描述 | 特点 | 可靠性要求 | 可靠性设计保障 |
| 图片数据 | 场景图、小图 | 存储在分布式KV中 实时产生,数据规模大 以1万路系统计算,每天数据量在:10T 量级,一年数据在3P 量级 | 99.9999% 以上? | |
| 消息型数据 | 解析得到的过人记录 消息型数据 | 存储在消息队列中 实时产生,数据规模大 以1万路系统计算,每秒10000qps 过人记录峰值,每天数据量在200G量级 | HA 要求下 任意单台机器故障 消息不丢失 服务可用 | Kafka 多机 主从备份策略 |
| 结构化数据库 | 档案信息 标签/属性 轨迹的时空信息等 | 列数多,数据稀疏,一亿档案,1000列(不同属性/标签) 抓拍的结构化数据(时间,地点,人), 以1w路计算,每天1亿记录 一年300亿记录 | HA 要求下 任意单台机器故障 数据不丢失 服务可用 | 数据库分片+主从备份策略 |
| meta信息 | 保存在KV和Clickhouse中 实时产生,数据规模大 以1万路系统计算,每秒10000qps 人脸相关数据每天全量聚合更新,按照2亿档案60天估算有200~500GB存储 人体相关数据每小时为单位聚合更新 | HA 要求下 任意单台机器故障 数据不丢失 服务可用 | 分布式KV存储 和Clickhouse存储 通过多副本保证不会因单点故障导致数据丢失 | |
| 非结构化特征库 | 特征 | |||
| 自研索引 | 特征ann索引 | 针对人体检索场景定制的特征ann索引, 作用是在保证检索的算法性能的同时,把计算和存储的访问量减少了2个量级 并且支持实时大吞吐的的更新和低延迟的查询 以1万路系统计算,每秒10000qps的插入qps, 查询1k路7天的延迟在0.5s以内 | HA 要求下 任意单台机器故障 数据不丢失 服务可用 | 分布式KV存储 通过多副本保证不会因单点故障导致数据丢失 |
| 业务数据库 | 人像库等业务数据库 | 文档型数据 |
常用中间件选型
Comments 0
Sign in to comment and like
← More postsThat’s all for now. Thanks for reading.
No comments yet.