爱意满满的作品展示区。
graetdk
23.27D

我分析了 42 万字的歌词,为了搞清楚民谣歌手们在唱些什么

  •  
  •   graetdk · Feb 7, 2017 · 12373 views
    This topic created in 3563 days ago, the information mentioned may be changed or developed.

    写了一个爬虫,然后做了一些数据分析

    文章链接: http://www.wdk.pw/1221.html

    当然,我也发在我的微信公众号了,欢迎关注:

    73 replies  •  2017-02-09 15:23:43 +08:00
    jy02201949
    jy02201949
    Feb 7, 2017
    1
    反光镜什么时候成民谣的歌手了,这不正儿八经的摇滚乐队么
    graetdk
    graetdk
    OP
    Feb 7, 2017
    2
    @jy02201949 文章里有说明,我选了很多各种类型的做参考
    jy02201949
    jy02201949
    Feb 7, 2017
    3
    @graetdk #2 看到了,我孙海英也入选了
    killerv
    killerv
    Feb 7, 2017
    4
    有意思
    killsting
    killsting
    Feb 7, 2017 via iPhone
    5
    還蠻有趣。
    DearTanker
    DearTanker
    Feb 7, 2017
    6
    有意思
    mdaocao
    mdaocao
    Feb 7, 2017
    7
    除了结论分析。。。建议把更直观的数据放出来
    graetdk
    graetdk
    OP
    Feb 7, 2017
    8
    @mdaocao 主要读者是不懂技术的普通人,所以文章里说的都是结论和分析,数据和代码我在考虑完善一下再开源出来
    jiangzhuo
    jiangzhuo
    Feb 7, 2017
    9
    "本次分析使用的是腾讯文智和哈工大社会计算与信息检索研究中心的自然语言处理模块,同时也在测试的时候使用了百度 AI 的自然语言处理,效果不好。"
    我哈工大还是很牛逼的
    graetdk
    graetdk
    OP
    Feb 7, 2017
    10
    @jiangzhuo 几年前就用过了,很厉害
    itqls
    itqls
    Feb 7, 2017
    11
    如果把民谣拟人化,那应该是一个喜欢南方的北京小伙子,觉得世界很操蛋,但骂归骂,到底是对生活有希望的,憧憬着明天,在春天感到快乐,在冬天感到孤独,没有女朋友,但有几个纠缠不清的前女友,经常和她们见面,见面的地方可能是成都,昆明,南京,上海,武汉。。。。。
    -----
    哈哈这句有意思
    mdaocao
    mdaocao
    Feb 7, 2017
    12
    @graetdk 可是,这是 v2 阿... 而且直观的结论,不需要什么技术吧。。。

    就比如那个 权重的词表,可惜不全...
    Sharuru
    Sharuru
    Feb 7, 2017
    13
    还挺有趣的。
    graetdk
    graetdk
    OP
    Feb 7, 2017❤️1
    14
    @mdaocao 下次发 V2 注意一下偏技术实现一点~
    allen0125
    allen0125
    Feb 7, 2017 via Android
    15
    看了一遍之后感觉很棒啊
    mdaocao
    mdaocao
    Feb 7, 2017
    16
    @graetdk 哈,谢谢,谢谢。

    其实我很想看到底从第一个词,到第 100 个词,到底都是些啥
    malagebidi
    malagebidi
    Feb 7, 2017 via iPhone
    17
    会分析其他类型的歌吗😄
    graetdk
    graetdk
    OP
    Feb 7, 2017
    18
    @malagebidi 比如说?
    yaoxuwang
    yaoxuwang
    Feb 7, 2017
    19
    哈哈哈,好玩。同听民谣的来握个爪
    malagebidi
    malagebidi
    Feb 7, 2017 via iPhone
    20
    @graetdk 摇滚歌曲(主要我蛮迷五月天,其他一众台湾摇滚还挺多的),华语情歌
    starvedcat
    starvedcat
    Feb 7, 2017
    21
    和其他风格的歌词对比一下?
    JackyBao
    JackyBao
    Feb 7, 2017
    22
    有点意思
    Fechin
    Fechin
    Feb 7, 2017
    23
    「我拿青春赌下个月 5 号」已笑。
    nareix
    nareix
    Feb 7, 2017
    24
    谢天笑的正面情绪居然高于汪峰!!
    graetdk
    graetdk
    OP
    Feb 7, 2017
    25
    @nareix 我猜是谢天笑的情绪很多时候并不是用歌词本身来表达的
    nareix
    nareix
    Feb 7, 2017
    26
    @graetdk 歌词也有表达,没有明显负面的词汇,但情绪上非常负面。。
    torbrowserbridge
    torbrowserbridge
    Feb 7, 2017
    27
    黄易小编也被吸引了
    graetdk
    graetdk
    OP
    Feb 7, 2017
    28
    @nareix 这个只能期待以后人工智能能够处理音频中的情绪了
    kaneg
    kaneg
    Feb 7, 2017 via iPhone❤️1
    30
    这个分析很有趣,只是简单的用分词来提取情绪是有局限性的,因为词语只有在上下文才能体现其真正的意义,比如,“不要退缩”,“不高兴”,如果只提取退缩和高兴则与歌手表达的意思完全相反
    lavande
    lavande
    Feb 7, 2017❤️2
    31
    数数春末南方的城市唱了多少个“心慌”。。。。
    zhouxuchen
    zhouxuchen
    Feb 7, 2017 via iPhone
    32
    楼主的文章被别人被转到虎扑步行街了,不知道有没有得到楼主同意
    https://bbs.hupu.com/18424818.html
    fffflyfish
    fffflyfish
    Feb 7, 2017
    33
    lz ,类似这种项目都是有监督的机器学习进行分类的吧?请问您用的语料库是什么?正好最近在看 nlp 的东西,无奈英文类似 movie_reviews 等语料库
    graetdk
    graetdk
    OP
    Feb 7, 2017
    34
    @fffflyfish 我直接用的腾讯文智和哈工大的接口,语料库和机器学习不断优化都是他们做的事,也很感谢这些基础工作,我们这些底子薄一些的才能做出想做的东西
    graetdk
    graetdk
    OP
    Feb 7, 2017
    35
    @zhouxuchen 不知道这件事,不过他注明了微博,我觉得没啥。不过虎扑流量真是大啊,我擦
    cfans1993
    cfans1993
    Feb 7, 2017
    36
    好玩
    trythebest
    trythebest
    Feb 7, 2017
    37
    不错 支持!
    iyaozhen
    iyaozhen
    Feb 7, 2017 via Android
    38
    支持楼主,朋友圈已经开始火起来了
    davidqw
    davidqw
    Feb 7, 2017
    39
    厉害了我的哥,帮转到音乐圈去
    Rorysky
    Rorysky
    Feb 7, 2017
    40
    @jiangzhuo 语义分析,老本行了,当年 windows 刚进来,自带中文输入法就是和哈工大合作的,记得好像直到 windows 7 ?
    bluecrow
    bluecrow
    Feb 7, 2017 via iPhone
    41
    “似曾相识”四个字已经够了。数据分析也就图个乐呵。
    eyp82
    eyp82
    Feb 8, 2017
    42
    看了你的文章, 我感觉楼主的代码应该没什么出奇的, 就是用 Python 和相应的库爬数据然后分析一下而已, 估计 V 站很多同学都能做. 但是这创意真是非常的讨巧, 一般程序员想不到这些; 另外楼主文章写得也是读起来很舒服, 总之大写的服字. 综上我建议楼主是不是往网站运营方面发展一下? 估计比你做程序员更有前途啊..
    eyp82
    eyp82
    Feb 8, 2017
    43
    另外感觉现在语义分析的方向应该是深度学习, 单独分析词汇会比较牵强. 比如你文章里说永远是积极的词汇, 其实不然. 比如"我为什么永远这么苦逼", "永远也没有明天" 之类, 不同的组合, 则情绪大变. 又比如, 如果一首写失恋的歌, 如果有诸如"我微笑着目送你离开"之类句子, 看起来十分阳光, 实际要表达的意思是很苦涩和灰暗的. 这也是语言的令人着迷之处.
    graetdk
    graetdk
    OP
    Feb 8, 2017
    44
    @eyp82 我在自己创业,目前的工作主要是做产品,还真没有写代码,不过写代码一直是我的兴趣
    IdJoel
    IdJoel
    Feb 8, 2017
    45
    可恶啊!!!! 把我的十三名字改回来!!!!!!!!!!!!!!!!!! 是尧尧尧尧尧尧尧尧尧尧尧尧尧!!!!!!!!
    g0thic
    g0thic
    Feb 8, 2017
    46
    jr 你好
    KyrieJoshua
    KyrieJoshua
    Feb 8, 2017
    47
    厉害了…李志的正面情绪最低完全没毛病~
    est
    est
    Feb 8, 2017
    48
    歌手们最喜欢的城市——郑州。。。。。

    这是说明郑州人多乐队多么。。
    murmur
    murmur
    Feb 8, 2017
    49
    有意义么?最后分析出来春夏秋冬的各 1/4
    别人分析个古诗词排个词频搞出个自动作诗软件
    你这个分析出来啥都没有啊
    murmur
    murmur
    Feb 8, 2017
    50
    另外我感觉你的分析结论或者数据有错,民谣本身小清新都偏苦情歌,哪里有那么乐观的情绪
    乐观情绪你分析小沈阳啥还差不多。。
    anibear
    anibear
    Feb 8, 2017
    51
    不愧为三克 感觉那个图标里他在说 睡你麻痹 起来 high ~
    graetdk
    graetdk
    OP
    Feb 8, 2017
    52
    @IdJoel 对不起!(鞠躬 我当时输入法看走眼了
    Wongzigii
    Wongzigii
    Feb 8, 2017
    53
    jr 你好
    xiaoxiuaoliang
    xiaoxiuaoliang
    Feb 8, 2017
    54
    杰作~ 朋友圈已出现
    wintercoder
    wintercoder
    Feb 8, 2017
    55
    喜马拉雅 FM 公众号转了,不过有说明来源,然后朋友圈就见到这个了..
    enenaaa
    enenaaa
    Feb 8, 2017
    56
    这个分析挖掘太流于表面了
    luoer
    luoer
    Feb 8, 2017
    57
    楼主 介意把爬虫源码 share 一下么
    IdJoel
    IdJoel
    Feb 8, 2017
    58
    @graetdk 快改回来 ~~~~
    graetdk
    graetdk
    OP
    Feb 8, 2017
    59
    @luoer 太丑陋了,还想完善一下
    SourceMan
    SourceMan
    Feb 8, 2017
    60
    taresky
    taresky
    Feb 8, 2017
    61
    真棒
    hcymk2
    hcymk2
    Feb 8, 2017
    62
    对牛弹琴
    imcocc
    imcocc
    Feb 8, 2017 via iPhone
    63
    在技术认同楼主,可情感上,你还是不懂民谣,更别说小众民谣了。
    crazycabbage
    crazycabbage
    Feb 8, 2017 via Android
    64
    感觉这就统计了一下词频,要往下的话估计就是输入一首歌词判断是那个歌手的风格,但感觉没啥用
    gongbaodd
    gongbaodd
    Feb 8, 2017
    65
    有意思
    zke1e
    zke1e
    Feb 8, 2017
    66
    很有意思,楼主很有想法。
    murmur
    murmur
    Feb 8, 2017 via Android
    67
    @enenaaa 我以前也做过情感分析,后来我同学提醒我一句,新闻本身都是不加情绪的报道,哪里也有什么情感?
    一下打醒了
    中文最大的特点就是没特点,我可以笑着骂你全家,何况还有各种敏感词要规避,单从词语分辨情绪 too young
    enenaaa
    enenaaa
    Feb 8, 2017
    68
    @murmur 有同感。 我甚至激进地认为基于统计的自然语言处理没有出路, 中文处理从 mmseg 分词开始就已经走歪了。
    lazypu
    lazypu
    Feb 8, 2017
    69
    最终沦为讨论 "什么是民谣"
    27149
    27149
    Feb 8, 2017
    70
    如果把民谣拟人化,那应该是一个喜欢南方的北京小伙子,觉得世界很操蛋,但骂归骂,到底是对生活有希望的,憧憬着明天,在春天感到快乐,在冬天感到孤独,没有女朋友,但有几个纠缠不清的前女友,经常和她们见面,见面的地方可能是成都,昆明,南京,上海,武汉。。。。。

    —— ld0905 ​​​​(英式没品笑话)
    iSlow
    iSlow
    Feb 8, 2017
    71
    喜欢多一点民谣和摇滚的对比
    tangdw
    tangdw
    Feb 8, 2017
    72
    分析一下民谣曲子的规律,听说下一个人工智能就是作曲了
    trythebest
    trythebest
    Feb 9, 2017
    73
    朋友圈已火 只用两天
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4092 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 104ms · UTC 09:39 · PVG 17:39 · LAX 01:39 · JFK 04:39
    ♥ Do have faith in what you're doing.