1000W到5000W,value的值要保持一致性
如果要用数据库什么的，其实value的值是有存的地方了，所以要另找一个数据库来保证这个唯一性应该会有轻便的方法，所以求问
跪求推荐方案
如果要用数据库什么的，其实value的值是有存的地方了，所以要另找一个数据库来保证这个唯一性应该会有轻便的方法，所以求问
跪求推荐方案
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 4911 days ago, the information mentioned may be changed or developed.
 |
1
我当时3kw采用的方法是对value进行hash，把hash值写入memcache。每次有新数据，hash后在memcache里面验证唯一性。
|
1 |
DaniloSamMay 25, 2013
2
第一反应是DOM属性，想着千万级的，妈的页面得多大
后来反应过来是我二逼了 |
 |
ipconfigerMay 25, 2013
3
数据库不是有唯一性索引的么？
|
 |
5
@xhat
我也想到过memcached，但是memcached不是高可用的，挂了一个node，那个node上的memchached对应的数据怎么被验证唯一性呢？ @ipconfiger 已经存了，但不在一个表里，如果直接读表，脚要遍历好几个表，或者再做一个数据库，二者都不是我想要的 |
 |
7
把所有VALUE DUPLICATE到ISAM引擎中，千万级耗费空间很少，而且专门一个线程插入效率非常高
|
 |
9
Bloom Filter 可以非常快[O(1)]进行唯一性检查，但是由于hash的缺陷无法做到100%
http://www.cnblogs.com/heaad/archive/2011/01/02/1924195.html Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。 |
|
10
|
|
12
|
 |
lunnyMay 26, 2013
14
leveldb
|
 |
bingeMay 26, 2013
15
很感兴趣通常会用在什么情况的？求指教：）
|
Select Language