• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Bumon
V2EX  ›  程序员

有什么敏感词数据源推荐吗

  •  
  •   Bumon ·
    bumony · Jun 4, 2024 · 4047 views
    This topic created in 889 days ago, the information mentioned may be changed or developed.

    或者有什么好的获取敏感词的方法,想了个爬取海量评论做语义初筛再标注,但感觉不太优雅,不知道 v 友们有没有更好的想法带来点启发

    12 replies  •  2024-06-18 10:17:06 +08:00
    sEz3br0Ozxa989XX
    sEz3br0Ozxa989XX
    Jun 4, 2024
    1
    freshgoose
    freshgoose
    Jun 4, 2024
    2
    github 上有人收集了很多
    shiluanzzz
    shiluanzzz
    Jun 4, 2024
    3
    p 主没明确说敏感词是哪些 zz ?还是通用的
    https://platform.openai.com/docs/guides/moderation/overview openai 的这个过滤的 api 可以试试?
    vivisidea
    vivisidea
    Jun 4, 2024
    4
    现在已经不流行用敏感词了,直接上 NLP 模型分类,bert 啥的
    Lshl56B4vDqdixwK
    Lshl56B4vDqdixwK
    Jun 4, 2024
    5
    国新办清查词单?
    qviqvi
    qviqvi
    Jun 4, 2024
    6
    最好国家出一个标准,不然不好处理
    wangjh0802
    wangjh0802
    Jun 5, 2024
    7
    @qviqvi 这东西还能有标准? 哈哈哈哈哈哈哈哈哈
    duzhuo
    duzhuo
    Jun 5, 2024
    8
    @qviqvi 这就好像在说把你的 G 点告诉我。。。。
    maladaxia
    maladaxia
    Jun 5, 2024
    9
    @duzhuo 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7
    azarasi
    azarasi
    Jun 5, 2024
    10
    什么是敏感词本身就是敏感的
    ray2023
    ray2023
    Jun 5, 2024
    11
    https://github.com/cjh0613/tencent-sensitive-words, 之前有个项目用的这个, 但是还是需要自己去维护一下, 因为有些词并不符合自己的规则
    Bumon
    Bumon
    OP
    Jun 18, 2024
    12
    @shiluanzzz 政治类的能很容易得到,但歧视类等比较容易模糊词意但又会有的就有点难获取到,谢谢你的链接

    @Hayashikawa 这种算是第三方服务了,我这边有需求是自己维护一份来着

    @freshgoose yesyes ,有在交友网找到一些公开的词库,在 v 发帖也是想看看有没有更丰富的源
    @vivisidea 哥们说的这个也有在做,但就,还是需要维护一份词库 hhh
    @qviqvi 国家确实也有标准,但是标准只有分类没有内容,具体内容还得自己维护
    @ray2023 谢谢老哥的分享

    谢谢各位 v 友的分享!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1667 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 16:18 · PVG 00:18 · LAX 08:18 · JFK 11:18
    ♥ Do have faith in what you're doing.