Map Reduce

如果把研发工作比做 Map Reduce 过程,那么 leader 的职责便是扮演 master worker 的工作,按照worker的配置和属性,合理分配任务;对于worker的挂掉,需要实现容错能力,同时也应该有当总任务量变大的时候,通过扩展就能保持生产效率不下降的能力。

同时要能够提供一个完备的沟通方式、有时候是通过成员共享数据,有时候是通过成员的实质交流。信息要以最高的效率传递、加码和解码。

提前部署服务:

  • map服务层:接收输入数据,产出“分”的数据,集群部署M=1W个实例

  • reduce服务层:接受“合”的数据,产出最终数据,集群部署R=1W个实例

数据是移动的:

  • 跨进程移动:数据从数据库和缓存里,转移到service层,到web-server层,到client层

  • 同进程移动:数据从model层,转移到control层,转移到view层

分层架构演进”的核心原则与方法:

  • 让上游更高效的获取与处理数据,复用

  • 让下游能屏蔽数据的获取细节,封装

Last updated