背景:大文件向海量机器分发,由于多台机器共用一个CBS集群,造成CBS系统突发流量太大需要打散,当前下载限速能够限制住传输过程中的速度,但是对于分发启动时刻的流量冲击无效,因此希望平台能支持各目标机器在启动下载文件前随机等待一段时间,以便将流量打散。
GSE反馈底层Agent不方便做任务延迟启动,最终需要由Job调度层来支持。
初步计划是以滚动批次并行的形态来支持,启动打散的粒度是按批次打散,同一批次内随机等待一段时间后多个机器同时启动,如果分为N批,效果是把启动时的并发降低为1/N,N是有限制的,由配置参数决定,默认最大200。
背景:大文件向海量机器分发,由于多台机器共用一个CBS集群,造成CBS系统突发流量太大需要打散,当前下载限速能够限制住传输过程中的速度,但是对于分发启动时刻的流量冲击无效,因此希望平台能支持各目标机器在启动下载文件前随机等待一段时间,以便将流量打散。
GSE反馈底层Agent不方便做任务延迟启动,最终需要由Job调度层来支持。
初步计划是以滚动批次并行的形态来支持,启动打散的粒度是按批次打散,同一批次内随机等待一段时间后多个机器同时启动,如果分为N批,效果是把启动时的并发降低为1/N,N是有限制的,由配置参数决定,默认最大200。