• 请不要在回答技术问题时复制粘贴 AI 生成的内容
xoxo419
V2EX  ›  程序员

有这样的爬虫么, 可以爬英文的文档中的单词并统计每个单词在文档出现的次数?

  •  
  •   xoxo419 · Jun 20, 2018 · 5256 views
    This topic created in 3065 days ago, the information mentioned may be changed or developed.
    18 replies  •  2018-06-20 17:10:37 +08:00
    ChangQin
    ChangQin
    Jun 20, 2018
    1
    有,go 程序设计语言前几节就有这个 demo
    jiezhi
    jiezhi
    Jun 20, 2018
    2
    python 入门里也有这个 demo 吧
    xy2401
    xy2401
    Jun 20, 2018
    3
    mark。我之前想统计 比如 spring 文档里面 的高频词汇,感觉需求类似
    yuanfnadi
    yuanfnadi
    Jun 20, 2018 via iPhone
    4
    Java 入门时候写过类似 demo
    lhx2008
    lhx2008
    Jun 20, 2018 via Android
    5
    读进来切一下,python 可以用 counter,java 可以用 stream
    NaVient
    NaVient
    Jun 20, 2018
    6
    python --> from collections import Counter
    qilishasha
    qilishasha
    Jun 20, 2018
    7
    数组长度数组长度
    kingname
    kingname
    Jun 20, 2018
    8
    laoyuan
    laoyuan
    Jun 20, 2018
    9
    手写原生
    simapple
    simapple
    Jun 20, 2018
    10
    nltk
    soho176
    soho176
    Jun 20, 2018
    11
    是准备统计最近十年高考英语卷,出现频率高的单词吗?
    fengche361
    fengche361
    Jun 20, 2018
    12
    爬取+分词+wordcount ?
    yuriko
    yuriko
    Jun 20, 2018
    13
    第一反应是 MapReduce 的范例……
    hyi
    hyi
    Jun 20, 2018
    14
    学 python 时写过一个统计英文 txt 单词词频的 python 小脚本,用的是 nltk 库,你可以参考下思路,https://github.com/Hangyi/parse_words_frequency
    jyf
    jyf
    Jun 20, 2018
    15
    主流的爬虫一般都会统计词频 因为有个流行的算法 TF-IDF 就是拿词频作为计算基础的
    woscaizi
    woscaizi
    Jun 20, 2018
    16
    写过一个类似的东西,是统计小说中 2 到 5 字的词语出现的次数,没有考虑是否是有意义的词的情况
    https://github.com/pandaTED/zhihuSpider/blob/master/src/main/java/cn/panda/hello/Hello.java
    Tink
    Tink
    Jun 20, 2018 via iPhone
    17
    这点功能不如手写
    geying
    geying
    Jun 20, 2018
    18
    @yuriko +1
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   930 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 20:49 · PVG 04:49 · LAX 12:49 · JFK 15:49
    ♥ Do have faith in what you're doing.