文件结构如下：
| A | B | C | D | E | F | G | H | I | J |
| xx | xx | xx | xx | xx | xx | xx | xx | xx | xx |
| xx | xx | xx | xx | xx | xx | xx | xx | xx | xx |
求助： Go 读取 2W 条记录的 CSV、EXCEL 文件，根据记录前 4 列（A B C D）去重，怎么实现效率比较高。
fatbear001 · Aug 8, 2019 · 2906 viewsThis topic created in 2654 days ago, the information mentioned may be changed or developed.
 |
rrfengAug 8, 2019
1
awk '!a[$2$2$3$4]++' file.csv
自己设 -F 分隔符。 2w 条要啥效率 |
 |
2
@rrfeng 额，在 go 程序中怎么实现啊？
|
 |
SuperMildAug 8, 2019
3
2 万条……效率最高的就是你自己写起来最熟练最快的方法。
|
|
4
@SuperMild 现在想的是循环添加进 map 中。。
|
|
SuperMildAug 8, 2019
5
@fatbear001 直接写吧，很可能马上就搞定了。
|
|
rrfengAug 8, 2019
6
|
 |
8bitAug 8, 2019 via Android
8
不先估算下重复率吗？
|
 |
9
写一周，程序最后跑下来就是 1 分钟
写半天，程序最后跑下来就是 3 分钟 |
2 |
VegetableAug 8, 2019
10
随便写了一个基于前 4 个元素拼接字符串和 map[string]struct{}去重的例子,在只有 4 列整数时,2w 行耗时 29ms.我觉得这玩意再怎么效率低也没有纠结的必要.
还是赶紧写吧 |
 |
no1xsyzyAug 8, 2019
11
拜托 2w 就是 Python 效率也够的，可能拿 brainfuck 写效率都不是问题
|
 |
reusAug 8, 2019
12
2 万行随便写啊
|
 |
rockyou12Aug 8, 2019
13
2w 你随便写都很快啦
|
Select Language