V2EX › goodryb 的所有回复 › 第 284 页 / 共 285 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 276 277 278 279 280 281 282 283 284 285

❮

❯

2015 年 10 月 18 日

回复了 snopy 创建的主题 › 程序员 › 如何快速从 TB 级别的数据中过滤出有用数据

@binux if 的问题你要问楼主，我直接 copy 过来的。写上也几乎不影响不到楼主问题的处理效率
既然现在是讨论效率的问题，当然是要减少不利因素，如果你觉得没影响，也可以不用管

2015 年 10 月 18 日

回复了 snopy 创建的主题 › 程序员 › 如何快速从 TB 级别的数据中过滤出有用数据

@ryd994 从我个人实际操作来看，影响还是挺大的，我是指用 shell 来处理，我当时也没有记录数据，所以现在只是说个人感受

2015 年 10 月 18 日

回复了 xspoco 创建的主题 › 宽带症候群 › V2 有没有杭州移动宽带 20M 以上的用户？

@xspoco 20M 的 50M 的我都问了

2015 年 10 月 16 日

回复了 xspoco 创建的主题 › 宽带症候群 › V2 有没有杭州移动宽带 20M 以上的用户？

居然还有对等的，问了好几次都是不对等的，同杭州

2015 年 10 月 16 日

回复了 snopy 创建的主题 › 程序员 › 如何快速从 TB 级别的数据中过滤出有用数据

你这能快就见鬼了，哈哈
for x in $my_conf
do
echo $x >>$my_log
awk -F "|" '{if ($24 =="8" && $25 == "162") print $0}' $x >>$my_log
done
你知道一次 IO 要耗时多久吗？
居然还要分两次写进去

就算你没有大数据处理经验，难道就不能分割，然后并行处理吗？

一台机器慢就不能多用几台机器吗？

好吧，我之前处理过几百 GB 级别的，分在 12 台机器上 8 核机器上，然后并发 8 个进程

用 shell 来处理，核心还是要减少 IO

2015 年 10 月 12 日

回复了 KnightNic 创建的主题 › macOS › Mac 用 chrome 看视频 CPU 狂飙，温度狂高

@chairuosen 里面的 chrome 扩展不提供了吗？

2015 年 10 月 12 日

回复了 Showfom 创建的主题 › 分享发现 › 浏览器里运行 Windows 1.0.1

根本不会用

2015 年 10 月 9 日

回复了 coymail 创建的主题 › macOS › 升级 El Capitan 后，窗口无故失去焦点

楼主的问题解决了，我也遇到了同样的问题，妈的，都不能好好输入了

2015 年 10 月 9 日

回复了 atao 创建的主题 › Apple › Apple 官网天才吧每天几点开放预约？

基本都是走 taobao ，自己根本预约不上