
如何在高可搜索性下存储庞大键值对数据?
通常,海量键值对数据需要存储在表格化的关系型数据库中。但是,随着数据量的增加,搜索效率会急剧下降。本文介绍了一种表结构,可以有效地存储和搜索键值对数据。
表结构
主表:
rel_id (int): 关系记录 ID obj_id (int): 对象 ID prop_id (int): 属性 ID val_type (int): 值类型对象描述表:
obj_id (int): 对象 ID obj_desc (string): 对象描述属性描述表:
prop_id (int): 属性 ID prop_desc (string): 属性描述值类型表:
rel_id (int): 关系记录 ID val_???? (对应类型的字段): 值例如,值为 42 的长度属性存储为:
主表:1,1,1,2 属性描述表:1,"长度" 值是整数的表:1,42搜索
通过在主表上创建索引,可以快速查找与给定对象 ID 和属性 ID 关联的键值对。可以通过连接值类型表检索特定类型的值。
优点
无限可扩展:可以使用多个值类型表来处理不同类型的值。 高搜索效率:索引允许快速查找数据。 可随时间变化:属性和值可以随着时间的推移而添加或删除。缺点
单值存储:每个键值对只能存储单个值。 复杂性:需要多个表来存储数据。对比维基数据
维基数据使用 JSON 来存储属性值,这可能会影响搜索效率。相比之下,本文介绍的表结构通过将属性和值存储在独立的表中,优化了搜索性能。
