使用Go SDK进行云数据流的并行性问题

作者: 甲基蓝
发布时间: 2024-03-25 05:52:02 (2月前)
转自：

2 条回复

0#
回复此人
撩心 | 2019-08-31 10-32

<div class =“post-text”itemprop =“text”> <P> 许多MapReduce类型管道的高级运行器融合了可以在内存中一起运行的阶段。 Apache Beam和Dataflow也不例外。 </p> <P> 这里发生的是你的管道的三个步骤被融合，并发生在同一台机器上。此外，Go SDK目前不支持拆分 <code> Read </code> 不幸的是，变换。 </p> <P> 要在第三个转换中实现并行性，您可以 <EM> 打破 </EM> 之间的融合 <code> Read </code> 和 <code> ProcessLines </code> 。你可以这样做，你的线上添加一个随机键，和a <code> GroupByKey </code> 转变。 </p> <P> 在Python中，它将是： </p> <pre> <code> (p | beam.ReadFromText(...) | CountLines() | beam.Map(lambda x: (random.randint(0, 1000), x)) | beam.GroupByKey() | beam.FlatMap(lambda k, v: v) # Discard the key, and return the values | ProcessLines()) </code> </pre> <P> 这将允许您并行化 <code> ProcessLines </code> 。 </p> </DIV>

编辑

登录后才能参与评论