协助减少distcp操作的执行时间

作者: SHOU宅大可爱
发布时间: 2024-01-03 04:40:03 (4月前)
转自：

2 条回复

0#
回复此人
庸人自扰 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 调整distcp性能时我通常会看到三件事; </p> <UL> <LI> 用于distcp操作的映射器数 </LI> </UL> <P> '-m'选项允许您指定使用的地图任务的数量，可以说的最大同时副本数。尝试运行副本几次并逐渐增加此数字，以查看哪种方法最适合您的方案。 </p> <UL> <LI> 战略动态 </LI> </UL> <P> 您可以使用“-strategy dynamic”标志运行DistCp作业，该标志将“动态”调整地图大小，使得更快或响应更快的节点能够比较慢或繁忙的节点复制更多数据。您可以在DistCp手册中阅读更多相关信息。 </p> <UL> <LI> 带宽 </LI> </UL> <P> 看起来你已经尝试过'-bandwidth'选项，但我想在这里提一下它，因为它绝对是一个重要的因素。如果您的网络允许，请尝试进一步增加此功能。 </p> </DIV>

编辑

登录后才能参与评论