2021-12-31 11:10:32 +08:00
2021-12-31 11:10:32 +08:00

yarn-client和yarn-cluster区别

  • yarn-clientdriver运行在本地客户端,负责调度Application,会与yarn集群产生大量的网络通信,从而导致网卡流量激增。好处是,执行时可以在本地看到所有的log,便于调试。所以一般用于测试环境。
  • yarn-clusterdriver运行在NodeManager,每次运行都是随机分配到NM机器上去,不会有网卡流量激增的问题。缺点就是本地提交后看不到log,只能通过yarn application-logs application_id命令来查看。比较麻烦
S
Description
No description provided
Readme
21 KiB