BI 层的应用有面向运营的,面向商家的,会涉及用户的浏览日志,在PC上的一些行为,比如是用户浏览了一些什么商品,点击了一些什么商品,对数据的消费也有二种方式,一种是实时消费,一种是离线消费,这种方式会在每天的凌晨进行一次统计,会有一天的延时,比如是 今天上线的活动,可能明天才知道这个活动的效果,因为我们研发了一套实时的数据研发系统,因此任何需要实时消费的数据报告,只要订阅就可以了。
分布式的调度是整个大数据平台的核心,在大数据平台处于一个指挥的作用,比如是任务管理,任务监控和任务日志,我们研发了一套分布式的系统,里面有二种角色。Master主要是负责任务的管理,任务的分配,任务的执行,任何的Master挂掉,都不会影响我们系统的运营。