数据类型 描述 特点 可靠性要求 可靠性设计保障
图片数据 场景图、小图 存储在分布式KV中 实时产生,数据规模大 以1万路系统计算,每天数据量在:10T 量级,一年数据在3P 量级 99.9999% 以上?
消息型数据 解析得到的过人记录 消息型数据 存储在消息队列中 实时产生,数据规模大 以1万路系统计算,每秒10000qps 过人记录峰值,每天数据量在200G量级 HA 要求下 任意单台机器故障 消息不丢失 服务可用 Kafka 多机 主从备份策略
结构化数据库 档案信息 标签/属性 轨迹的时空信息等 列数多,数据稀疏,一亿档案,1000列(不同属性/标签) 抓拍的结构化数据(时间,地点,人), 以1w路计算,每天1亿记录 一年300亿记录 HA 要求下 任意单台机器故障 数据不丢失 服务可用 数据库分片+主从备份策略
meta信息 保存在KV和Clickhouse中 实时产生,数据规模大 以1万路系统计算,每秒10000qps 人脸相关数据每天全量聚合更新,按照2亿档案60天估算有200~500GB存储 人体相关数据每小时为单位聚合更新 HA 要求下 任意单台机器故障 数据不丢失 服务可用 分布式KV存储 和Clickhouse存储 通过多副本保证不会因单点故障导致数据丢失
非结构化特征库 特征
自研索引 特征ann索引 针对人体检索场景定制的特征ann索引, 作用是在保证检索的算法性能的同时,把计算和存储的访问量减少了2个量级 并且支持实时大吞吐的的更新和低延迟的查询 以1万路系统计算,每秒10000qps的插入qps, 查询1k路7天的延迟在0.5s以内 HA 要求下 任意单台机器故障 数据不丢失 服务可用 分布式KV存储 通过多副本保证不会因单点故障导致数据丢失
业务数据库 人像库等业务数据库 文档型数据

消息队列(kafka)

KV 数据存储-索引(RocksKV)

列式数据存储-索引(CH)

全文数据存储-索引(ES)

ES&CH

文档型数据存储-索引(Mongo)