Map Reduce
如果把研发工作比做 Map Reduce 过程,那么 leader 的职责便是扮演 master worker 的工作,按照worker的配置和属性,合理分配任务;对于worker的挂掉,需要实现容错能力,同时也应该有当总任务量变大的时候,通过扩展就能保持生产效率不下降的能力。
同时要能够提供一个完备的沟通方式、有时候是通过成员共享数据,有时候是通过成员的实质交流。信息要以最高的效率传递、加码和解码。
提前部署服务:
map服务层:接收输入数据,产出“分”的数据,集群部署M=1W个实例
reduce服务层:接受“合”的数据,产出最终数据,集群部署R=1W个实例
数据是移动的:
跨进程移动:数据从数据库和缓存里,转移到service层,到web-server层,到client层
同进程移动:数据从model层,转移到control层,转移到view层
分层架构演进”的核心原则与方法:
让上游更高效的获取与处理数据,复用
让下游能屏蔽数据的获取细节,封装
Last updated