• 请不要在回答技术问题时复制粘贴 AI 生成的内容
ufo22940268
V2EX  ›  程序员

各位 spark 上用的语言是 Python 还是 scala

  •  
  •   ufo22940268 ·
    ufo22940268 · Nov 28, 2017 · 22821 views
    This topic created in 3267 days ago, the information mentioned may be changed or developed.

    我们用的是 Python,但是 python 上还是少了一些功能,比如说 udaf

    想问下大家用的是哪个语言,有没有必要从 python 切换到 scala

    Supplement 1  ·  Dec 7, 2017
    用了一段时间 scala 之后觉得对我来说从 python 切换到 scala 是明智的决定
    35 replies  •  2020-03-11 15:03:14 +08:00
    echo1937
    echo1937
    Nov 28, 2017 via iPhone
    1
    用的 Java,学习 Scala 的成本有点高
    tinybaby365
    tinybaby365
    Nov 28, 2017 via iPhone
    2
    Scala,越用越喜欢
    ihainan
    ihainan
    Nov 28, 2017 via Android
    3
    Scala。
    anjunecha
    anjunecha
    Nov 28, 2017 via iPhone
    4
    python 和 java 都有,想学 Scala
    kuroismith
    kuroismith
    Nov 28, 2017
    5
    我们用的 kotlin, scala 学习成本太高了
    kotlin 非常容易上手, 写起来至少有 scala 8 成体验
    teloti
    teloti
    Nov 28, 2017 via iPhone
    6
    python+spark 有性能问题,java 和 Scala 靠谱一些,Scala 是 spark 标配
    knightdf
    knightdf
    Nov 28, 2017
    7
    必须 scala, 再怎么也得 java,不会选择 python
    burnex
    burnex
    Nov 28, 2017
    8
    网上看大家都用 scala,就用的 scala
    lianxiaoyi
    lianxiaoyi
    Nov 28, 2017
    9
    python 最简单。。。所以用的 python。。。。。
    wusuopuBUPT
    wusuopuBUPT
    Nov 28, 2017
    10
    Scala,可以用最新的 feature
    bnbvb
    bnbvb
    Nov 28, 2017
    11
    python 可以,听了前两天 java 迭代计划,新的 feature 出的会比以前快多了,而就新公布的语法糖来看,会跟 scala 之类的语言越长越像(chao de kuai),学习 scala 动力不足了。
    90928yao
    90928yao
    Nov 28, 2017
    12
    @kuroismith kotlin 还是用的 JAVARDD 把,还是有点蹩脚把
    bramblex
    bramblex
    Nov 28, 2017❤️1
    13
    被 Haskell 虐过的表示...
    楼上说学 scala 学习成本高?
    ufo22940268
    ufo22940268
    OP
    Nov 28, 2017 via iPhone
    14
    @bnbvb 能不能发个链接给我
    bigknife
    bigknife
    Nov 28, 2017❤️1
    15
    首选 Scala !

    如果把 Scala 当作 Better Java 其实学起来并不难,仅仅是一些语法上的变换,一旦学会了 Scala 的语法以后,再也不想写 Java 代码了,然后真的理解了为什么那么多人说 Java 非常啰嗦!

    如果把编程范式一起也变了(命令式 -> 函数式),那还是有一定难度的,关键是思想的改变,推荐 Scala 的红宝书《 Functional Programming in Scala 》,https://www.manning.com/books/functional-programming-in-scala 网上也有英文的 pdf 版本,国内有一个翻译版,英文好的同学建议看英文版,因为有些东西翻译过来后,感觉怪怪的,不容英文容易懂。

    另外我们团队有一个分享视频集合,对大家学习 Scala 有帮助:
    ?spm=a2hzp.8244740.0.0&f=51304613 如果大家发现里面有什么错误可以跟我交流:bigknife AT outlook.com
    bigknife
    bigknife
    Nov 28, 2017
    16
    @bramblex 学会 Haskell,走遍天下都不怕,上通 Scala,下探 Rust
    hwsdien
    hwsdien
    Nov 28, 2017
    17
    scala
    wilsonwen
    wilsonwen
    Nov 28, 2017 via Android
    18
    人生苦短,我用 scala
    Todd_Leo
    Todd_Leo
    Nov 28, 2017
    19
    写了几年 Scala 之后再写 Python 感觉动态类型语言随时都是心惊肉跳...
    linuxchild
    linuxchild
    Nov 28, 2017
    20
    最近开始写 spark,前两天看同时写了一下午 Scala,然后发现有点问题,和我之前写的 python 程序做一下对比,发现 py 2 行就搞定了,他有一些崩溃……

    不过我还是开始学习 Scala 了
    90928yao
    90928yao
    Nov 28, 2017
    21
    @linuxchild scala 那 2 行肯定也可以。。。
    linuxchild
    linuxchild
    Nov 28, 2017
    22
    @90928yao 发现打错字了,应该是 看同事。

    哈哈,数了数,好像也没超过 10 行。

    没接触过 Scala 和 Java 还是觉得好复杂啊 Orz
    lszxlong
    lszxlong
    Nov 28, 2017
    23
    必须 scala,好像 scala 语言排名下降了..
    90928yao
    90928yao
    Nov 28, 2017
    24
    @linuxchild 感觉 scala 算是最复杂的语言之一了
    secondwtq
    secondwtq
    Nov 28, 2017
    25
    @bigknife 学会 Haskell 还真不一定能通 Scala ...
    https://zhuanlan.zhihu.com/p/27610478 来看这个
    owenliang
    owenliang
    Nov 28, 2017 via Android
    26
    大数据生态基本不离开 jvm,逼你上船。
    bnbvb
    bnbvb
    Nov 28, 2017
    27
    bnbvb
    bnbvb
    Nov 28, 2017
    28
    Comdex
    Comdex
    Nov 28, 2017
    29
    java
    SlipStupig
    SlipStupig
    Nov 28, 2017
    30
    python 跑 spark 巨难用,前段时间用 spark 读写 es, python 连 API 都没有
    gyf304
    gyf304
    Nov 29, 2017
    31
    scala. scala 比 python 效率高 如果要用 graphX 的话只能用 scala
    lzhCoooder
    lzhCoooder
    Nov 29, 2017
    32
    pyspark 阉割版啊
    xiaoshenke
    xiaoshenke
    Nov 29, 2017
    33
    有什么区别,不还是 spark。。。。。。。。。
    swordspoet
    swordspoet
    Apr 17, 2019
    34
    Scala 给人的感觉就是这也可以,那也可以。
    ivanchou
    ivanchou
    Mar 11, 2020
    35
    楼主能讲讲 Scala 相比于 python 的优势在哪里么?同时为什么 pass 掉了 java。在我看来写 spark 程序,scala、java 都跑在 jvm 上,差别会很大?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   874 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 64ms · UTC 23:46 · PVG 07:46 · LAX 15:46 · JFK 18:46
    ♥ Do have faith in what you're doing.