用Spark加载CSV文件

作者: 只怕再见是故人
发布时间: 2024-04-10 02:56:50 (5天前)

2 条回复

1#
回复此人
春风助手 | 2020-08-13 11-29

您确定所有行都至少有2列？您可以尝试类似的方法吗？ ``` sc.textFile("file.csv") \ .map(lambda line: line.split(",")) \ .filter(lambda line: len(line)>1) \ .map(lambda line: (line[0],line[1])) \ .collect() ``` 或者，您可以打印罪魁祸首（如果有）： ``` sc.textFile("file.csv") \ .map(lambda line: line.split(",")) \ .filter(lambda line: len(line)<=1) \ .collect() ```

编辑

登录后才能参与评论