findbrick

v 友们做大数据处理的多吗,想问下你们做大数据的无聊不?

  •  
  •   findbrick · Aug 4, 2017 · 8833 views
    This topic created in 3391 days ago, the information mentioned may be changed or developed.

    反正本人已经做了半年了,感觉挺枯燥的,主要是 java + spark, 有时候也用 py 爬数据。

    32 replies  •  2018-05-24 21:35:07 +08:00
    Morriaty
    Morriaty
    Aug 4, 2017
    1
    无聊不至于,就是真正懂算法的不多,公司里号称大数据部门,其实大部分人都是写 sql 的。

    更多的时候,就是自己一个人在瞎摸,就像解一道数学题,从太阳上山到太阳下山,都没解出来,难受。
    xiaoshenke
    xiaoshenke
    Aug 4, 2017
    2
    跑个题,写过 android,写过 java web,都写得差不多腻了。看来我不适合做程序员。
    jason2017
    jason2017
    Aug 4, 2017
    3
    顺便请假题主一个问题,java 写 spark 机器学习应用的时候,用 mllib 多还是 ml 多?哪一个方便点?
    deadEgg
    deadEgg
    Aug 4, 2017
    4
    @jason2017 试试 BigDL
    zhangli199212
    zhangli199212
    Aug 4, 2017
    5
    @Morriaty 一看就是券商类似的
    findbrick
    findbrick
    OP
    Aug 4, 2017
    6
    @jason2017 mllib
    findbrick
    findbrick
    OP
    Aug 4, 2017
    7
    @zhangli199212 是金融行业 非券商
    findbrick
    findbrick
    OP
    Aug 4, 2017
    8
    @Morriaty 有道理 主要还是自己摸索 算法确实是硬伤
    sshpandas
    sshpandas
    Aug 4, 2017
    9
    不无聊,因为经常换项目做,接触的行业不一样,问题也不一样。
    staticor
    staticor
    Aug 4, 2017
    10
    不无聊, 自己喜欢和业务打交道, 现在一半时间做仓库一半时间做分析
    findbrick
    findbrick
    OP
    Aug 4, 2017
    11
    @sshpandas 羡慕经常换项目
    @staticor 基本都是仓库+分析 一起做
    sicongwang
    sicongwang
    Aug 4, 2017
    12
    楼主大数据是不是不算忙, 待遇也比开发高, 想转, 求指教
    af463419014
    af463419014
    Aug 4, 2017❤️1
    13
    我这里所有的需求总结起来主要有以下 3 种:
    sum(x)
    count(id)
    count(distinct id)
    lszv1
    lszv1
    Aug 4, 2017
    14
    @xiaoshenke 给钱就继续干下去咯
    airqj
    airqj
    Aug 4, 2017
    15
    @jason2017 ml 基于 DataFrame
    人家文档都说 mllib 进入维护状态了
    Delete
    Delete
    Aug 4, 2017
    16
    2-3 年安卓转大数据开发,一本 hadoop 权威指南 看得很累了。。。
    sicongwang
    sicongwang
    Aug 4, 2017
    17
    @af463419014 需求真的有这么简单吗, 那大数据的工作做起来岂不是没有什么业务的压力?
    badttt
    badttt
    Aug 4, 2017 via iPhone
    18
    sql 写得想吐,你说呢
    jason2017
    jason2017
    Aug 4, 2017
    19
    @airqj 是的,但是网上现在关于 ml 的中文资料还是不多,不过,也是迟早要用 ml 的。
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    Aug 4, 2017
    20
    @sicongwang
    这工作只是看起来很简单而已
    Aksura
    Aksura
    Aug 4, 2017
    21
    还好吧,其实主要的还是数据仓库那一套。不过数据本身类型更得更多样、时效性要求更高、加上 ML 的玩法,还是有搞头的。
    lzhCoooder
    lzhCoooder
    Aug 4, 2017
    22
    同感觉挺无聊的,下次换工作准备转开发
    airqj
    airqj
    Aug 5, 2017 via Android
    23
    @jason2017 例子源码就是最好的文档
    要想理解算法可以用 scikit-learn 啊
    pathbox
    pathbox
    Aug 5, 2017 via iPhone
    24
    何为大数据
    eyp82
    eyp82
    Aug 5, 2017
    25
    其实现在大部分的所谓大数据岗位跟以前的数据仓库运维没多大区别. 写有限的几行代码 或者脚本, 配置一下 data pipeline, 搞搞 map, reduce 之类有限的几个算子(现在的 spark 还稍微多一些), 用现成的 ML 库灌点数据训练一下, 发现效果跟预期不符然后东搞搞西搞搞, 调调优(还没有方法论支撑,全自己或网上找的黑魔法), 弄点大家都知道的结论放 ppt 上吹嘘一下大数据多么神妙... 论创造性比不上正宗的软件开发, 只是最近流行, 所以看起来高大上一点而已.

    我编不下去了, 我坦白就是想赚铜币, 大家别拍.
    bbx
    bbx
    Aug 5, 2017
    26
    如果觉得简单,那是数据量太小,系统太简单
    jason2017
    jason2017
    Aug 5, 2017
    27
    @eyp82
    瞎说什么大实话
    lcj2class
    lcj2class
    Aug 6, 2017 via Android
    28
    可以多去了解整个系统。
    比如 ETL 流程,工作流调度框架,血缘关系分析
    findbrick
    findbrick
    OP
    Aug 6, 2017 via iPhone
    29
    @af463419014
    这就有些初级了吧
    FollowHeart
    FollowHeart
    Aug 10, 2017
    30
    @pathbox 就是以前人口中的统计 /滑稽
    pathbox
    pathbox
    Aug 10, 2017 via iPhone
    31
    @FollowHeart 哈哈
    peterpan235
    peterpan235
    May 24, 2018
    32
    所以呢?做前端后台每天写一些重复的业务代码不无聊?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1386 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 58ms · UTC 16:52 · PVG 00:52 · LAX 08:52 · JFK 11:52
    ♥ Do have faith in what you're doing.