@xinyewdz 作者其实有expiration，只是时间比较长，他们争论之处在于commit 的 hook是否需要，也就是一致性需不需要保证。

实在忍不住要回复了。。。。。。。
“cache 本来就是性能和数据正确性之间的妥协”，这个是错误的，他似乎认为用到cache就一定会引起inconsistency，参见CPU和OS kernel里的cache。
什么叫“其实就是代替数据库”，难道我加了一层封装，下层数据库就没了？？
cache本身只是概念，怎么做其实是实现层面的东西。

我支持楼主的做法，其实可以考虑这样的，就是 commit 之后，将原cache里对应KV清空，而不是update。这个取决你们场景里，新数据马上被访问的概率多大。

楼主同事要么是调书袋理解不到位，要么是为了反对而反对。

@RangerWolf
是的，如果你们有自己分割逻辑，需要自己定义SessionReader，不过很简单，读懂LineReader，仿照写，花不了多少功夫，写完后对这些认识会更进一步。

如果block设置为64M，那么每个block就是64M，除了最后一个block可能不满64M，
block是不会考虑一行几行的，行或session概念是业务层面，hdfs是不会涉及的。
那么怎么在map阶段怎么处理行或session的边界问题，实际上由reader来处理的。
代码参考：
org.apache.hadoop.mapred.LineRecordReader.LineReader

简要来说，如果一行跨越了block，比如一行10个字节，前4个字节在第N个block，后6个在N+1个block里面，reader来处理，怎么处理？
因为reader是per block，就是一个block一个（准确的说是一个split一个），
第N个reader会留下最后4个字节不读，第N+1个reader会网络读取第N个block末尾一部分数据，足以包含那4个字节就行了。
到底是前面不读后面读， 还是前面读，后面不读，其实都行，在reader里面实现一种就行了。

本人有hadoop应用和hadoop本身开发不少经验，不会有错的。

linux的workspace确实是我在公司的最大助手。
第一屏：ssh到开发服务器集群
第二屏：ssh到生产服务器集群
第三屏：邮件
第四屏：旺旺或虚拟机里旺旺。

好处就是3,4屏的东西跳出来我也看不见，想看的时候再看，免得不断被打扰。

答：有用。
多年前，偶在一个组里，里面大堆涉及处理数据的规则，绝大部分是商业规则，“商业”意味着不停的修改。
ok，情况出现了，为了修改点一点小规则（“商业无小事”），动辄要牵动一大堆东西，作为开发人员很是不爽（也承认系统架构也有问题，但是系统都是逐步演化的），但是“商业无小事”，没有办法。后来我就想把这块独立出来，怎么做呢？我想到就是设计几个简单语法规则，自动生成代码或者runtime直接执行，如果成熟了，甚至不需要开发人参与就可以做了，开发人员不就解放了吗。后来，，，，就没有后来了。因为本科编译器（因为考研）完全在混。

现在重修这门课程了，觉得确实可以这么搞，而且也有能力make it happen。

另外，如1楼所说很对。
现在知道了把比如C语言变成汇编的过程，以及简单编译优化原理等，再看一些代码，确实视角有些不同。不过道行还不够，还在修行。

@Registering 辞职，考GRE，考TOEFL，然后申请，然后录取，然后.....

@Registering 是啊，有好坏也是看人看情况的。
1,假设A，B本科毕业，A加入一个不怎么样的公司，B读研，如果A混的一般般的话，B读研后有可能起点比A高，比如一下子加入比较核心的team，虽然此时B工作经验不如A，但是环境好的真是，B进步是很快的。不出2年，B就会在A之上。
2,真实的例子，一个跟我同届的，人家本科出来混，我小硕毕业后来到公司A，他跳槽到A，然后就是人家一直比我牛。

这里其实隐含很多其他因素，比如能力，决心和运气，例子2,人家就是和我一起读研，后来多半也比我牛。还有例子1,如果A混个startup公司，运气一上市，顿时业界风云人物，多少个master和phd都没用。

时间就是资本，投资对自己（可能）收益最大的，努力争取最好结果而已。

对于一个 985本科 + 985研究生 + BAT的“A“工作5年，现在继续在美帝CS Master程序员说说：
文凭有用么？有，应届如果学历好，敲门砖好些，相对容易进大公司；
早出来2年和读研2年，对于有决心的程序员来说，早出来2年经验赚的比在学校多；
如果我在lz情况，
1,先找工作，如果工作”好“，先工作。怎么定义”好“，就是能不能增加技术的深度或广度。
2,如果对读研还有点兴趣，在找工作不如意的情况下，可以读研。可以2年多后提高敲门砖档次，但是就程序员经验来说肯定不如工作。

另外个人经历，工作之后，才彻底醒悟，读书还是很有用的，但是这个东西没法靠别人说服，必须在工作中才逐步认识到。我现在(工作后)k书程度比上个(工作前)研究生，甩了N条街。
lz万一读研之心不死，也可以工作几年在回校园，到时关于”为什么读书“的想法肯定不一样。
当然，到时房子，车子，孩子，老婆热炕头，还有决心回校园么?呵呵，只能到时候lz问lz自己了。

lz没说清楚使用场景，是一次性传很多文件？还是频繁修改，每次文件不大？
前者一般rsync scp就ok了，反正次数不多，linux下rsync scp很方便，windows对应客户端找找。
后者还是建议git svn等，作为开发人员，没版本管理说不过去。

@xdeng rsync本身就有压缩选项。

显然是收进来啊。不管从个人成长还是公司利益来说都是这样的选择最优。
公司利显而易见。对个人有以下：
a,首先进来不一定在一个组，很多大公司确实是这样的，面试的人和最后工作team不一样。
b,就算在在一个team，一般进来马上不会比你职位高，不过暂时终归是暂时。
c，如果你是team leader，其实和“技术性”牛人是没啥大冲突的。IT公司里主管技术一般管理一堆牛人的情况多了去了。
d,如果你是技术性leader，和牛人一起也利大于弊，共同提高team实力和利益对这个team都好。
e，现在的IT公司不再是传统的封闭式企业，不是说挡一挡就可以保住自己的位置。你这次没被这个人超越，终会在下次被人超越。提高自己的核心实力才是王道。
f，相应的，你自己是牛人后，你可能被某个人“私心”被锯掉，但终会找到自己的位子的。

好吧，我来回答这个问题，本人国内本科SE，国内研究生SE,工作几年后来US有读一个Master，是CS。
从国内来看，“SE”和CS分开的院系，但是个人觉得“基础课程”区别不大，CS相对来说更理论点。
从US来说，貌似没见到SE独立一个院系的，当然我没仔细研究，枫叶国哪个学校有独立的SE院系？发个link来看看？
从我个人出发，我喜欢coding，所以更喜欢把基础搞的牢固，所以我个人更愿意CS。另外在国外，因为是比较自由选课（至少研究生是这样），所以实际的方向是由自己把握的。真心觉得啥啥方向影响不大。
最终决定自己做什么的还是自己的想法，特别是在国外。

楼主不错！非科班，搞后台开发是要点时间准备的。
至于linux后台和iOS，我个人觉得都还不错，
因为本人linux后台类开发几年了，偶小伙伴也不少搞iOS的，个人对2者都有好感。
具体怎么选，偶不好说，只说说几点感想：
1，后台类开发确实不新了，但是可见的未来肯定还需要大量人才，不管互联网公司还是其他跟互联网相关公司，很少不涉及服务端的。个人认为真正后台类开发相对门槛高（待遇也不低），搞好确实靠内功。
2，iOS很火，只要apple继续给力，这个市场还会繁荣。
3，选linux后台和iOS对你近期肯定有影响，可能长远来看，可能影响不大。技术是相通的，lz保持自学的精神最为重要。
4，可不可以靠兴趣吃饭，我目前经历回答：可以。一直喜欢coding，以此赚钱，没觉得兴趣减弱。

看的出lz是喜欢折腾的人，对此只说一个字：赞！。

debug本质不就是找出实际运行和预期不一样的点么（以及不一样的原因）。
那么你就在你怀疑的函数后面，或是主要函数前面或后面print一些数据，然后看是否和预期一致，如果不一致，再进一步深入。
你想想debug工具，如gdb一般怎么用？还不是找主要点，watch或print一些关注的变量什么的

英语喜欢定语后置，“you will be sending to/from your servers”作定语

一楼回答很对；
关键要动手起来，《Unix环境高级编程》搞不懂，无非是C语言和OS（linux／Uinx）一些基础概念不清楚；
那么可以用找相对简单的书籍搞起。比如《Advanced_Linux_Programming》，如果C不行的话，找个C教程。
有一点个人经验：就是不要试图一次什么都搞清楚，先保证有进步就行，可以用考虑多次，还要有耐心。

个人觉得针对这样情况，其实有如下思路：
1,如果一个很前卫很潮的东西，比如目前电视棒，如果是随便一个杂牌的东西， 那么怎么可能比Google Apple等做的要更好？所以声称多么多么好，直接不用理。
2，如果声称Apple等产品（当然是谎称），那么既然是大牌子，怎么可能网络上没有信息？所以声称是某大牌的产品，很容易网络上核实，比如官方网站。

另外，从电视或电话这样传统媒体的推销，有问题的可能性显然要比网络大，所以，宁可信其有，也不要信其无。

当然，如果迷了心窍，神仙也拦不住。保持冷静，不贪便宜，为上。

个人推荐mint下的CINNAMON
以前用过fedora和archlinux的Gnome3
mint下的CINNAMON更象是一个G2和G3的混合体，兼有G2的风格和G3的某些最新元素。
CINNAMON比如有G3动态workspace，但不像G3那么激进。