May 2011 and Before Part II

• MangoDB doc


• Foursqure: 使用 MongoDB Replica Sets 的三种架构
  在原有的 Master/Slave 机制上添加一台 arbiter;
  一个 Primary 用于写，多个 Secondary 用于读和一个 Secondary 用于备份；
  MongoDB 经典配置，上层是 Auto-Sharding, 每个 Sharding 结点 又是一个 Replica Sets。
  


• tullyliu:内存占完后的,插入性能完全处于不可预测的状态,甚至会时快时慢,这个实在太无法接受了//@NinGoo：在@realzyy 的测试中，mongodb数据超过内存需要用到磁盘的时候，写入性能会有很大的下降，这是mmap的方式可以预期的。问题在于，每隔10s左右会有一个几乎跌到0的波动，原因尚待查证。




• redis 运维的一些知识点


• TimYang：1台机启动了2个Redis端口，另外两台机来测试写100字节，1台client跑到7万/秒, 一台client跑到9万/秒，加起来这台服务器每秒跑了16万次, 99.9%请求小于1ms。


• Redis指令中文手册


• Redis 容量及使用规划


• TimYang：squid以文件操作为主，主要目的是静态化，当年开发时操作系统虚拟内存概念也没成熟。而Redis整个架构就是内存模型，所以如果app只使用操作系统内存，让操作系统来决定哪些是冷门的再swap，设计上是最自然的 //@童剑:主要看作者实现的如何了，Squid 不也是自己实现对象从内存到磁盘的交换吗，也挺好的。//@TimYang：再说下Redis数据需要全部放在RAM的问题，一个系统中热点数据的访问占总量一般小于20%，如果RAM要为这大部分冷门数据买单则是一种极大浪费。Redis VM设计思想就是把冷门数据交换到磁盘上，为热点数据腾出更多RAM空间。不过Redis绕过OS自己实现一套虚拟内存也具争议性。


• TimYang：嗯，我的问题，强设了一下 echo 1 > /proc/sys/net/ipv4/tcp_tw_reuse phpredis 每秒也能跑个1万多次 //@淘一啸:回复@淘叔度:多谢指点，一直没有认真研究状态图中的异常情况。不知道有没有方法能够通过程序来逐个验证。 //@淘叔度:我之前写过的一篇文章供参考：http://t.cn/hGjHeL//@TimYang：Which PHP Library to use with Redis? The Benchmark, 赢家是phpredis http://t.cn/hGlxWf。


• yangwm：一个不错的redis presentation, http://t.cn/hGvsSl


• TimYang:The (Redis) cluster project is currently not ready: even if we have a pretty clear design, and many networking level code for gossip and failure detection, it will take some more month to be released, and more time to be a stable release. 这就是用C开发分布式网络程//@摇摆巴赫：redis 作者新博客提出presharding的临时解决方案,早在这篇博客之前，杨教授 @TimYang 也提出过MPSS也正是这个想法，hash is easy,rehash is hard，我们可能每天都碰到类似的问题 here's the simple solution , http://t.cn/h5G4nQ


• iammutex：深入Redis内部-Redis 源码讲解 http://t.cn/h5dG1r 非常好的讲 Redis 内部实现及源码的文章～原文：http://t.cn/htpyGq


• ackbillow：通过快照方式做replication在master数据量大时，整个过程会遇到一些问题，同时每次连接都才需要完整的一个快照。//@丹臣：今天配置了redis replication复制环境，redis salve异常挂掉，因为master有许多变更没有接收到，当slave重启后，会与master进行一次全同步，来保障数据的一致性。我实验的数据量很小，同步相当快。


• 丹臣：@内涵帝，hset，减少了key储存的个数，在实际使用过程中，同一个key多个value值本来就要序列化的，一个key也只存一次的，并且value变长了，这样所需要的hash table管理结构就会减少，自然管理消耗的memory就会减少。本次测试用例是，数据长度太小，条数太多，导致管理空间成本很大//@丹臣：在有内存的情况下，redis每秒可以达到5w次tps get key[10bytes] value[10bytes]，但19148251万object*(10bytes key length+10bytes value length)/1024/1024=365M,而redis-master用了3.3G的内存，管理结构成本相当大。http://t.cn/h1njF8


• TimYang：更快的io设备写snapshot，其他都不是瓶颈。另外重启加载速度跟cpu相关。//@Birkoff：对@timyang 说：请教一下TimYang，Redis不开启VM的情况下，性能更多的取决于？1：更高频率的CPU 2：更大的CPU L2Cache 3：更快的内存？如何才能最大限度的发挥多核CPU的特性，提高Redis的处理能力？



• TimYang：虽然LinkedIn经常发垃圾邮件，但是对其技术还是挺尊敬，Kafka, LinkedIn开源的pubsub的消息队列系统，其news feed也跑在这个系统上。 http://t.cn/hbjQIb。