socialAnimal
V2EX  ›  问与答

关于 AI 对人类的威胁

  •  
  •   socialAnimal · 14 days ago · 1870 views

    现在网络上对 AI 威胁论的讨论几乎到了毛骨悚然的地步。其中不乏那些头部人工智能公司的研究员,说什么 AI 末日、若干年内 AI 会消灭所有人类等等。对此我实在理解不了。 现在的 AI 基本就是围绕大语言模型展开的,这种主要处理文本的概率模型它怎么来威胁人类呢?模型没有记忆功能,只能进行一问一答,即使现在能做一些复杂任务,也只是靠在外层套了一个 Agent 壳子来辅助而已。 它到底怎么来消灭人类?至少说说威胁的途径和可行性吧?似乎都在说 AI 会威胁人类生存,但都没说具体威胁手段有哪些。

    13 replies  •  2026-09-14 11:46:15 +08:00
    passive
        1
    passive  
       14 days ago via Android
    说到记忆,我的短期记忆可能还不如模型的 context 大,长期记忆需要微调模型或者我自己,刻到 ROM 的权重里。小时候每次“熟读并背诵”就是一次微调的过程。
    qilme
        2
    qilme  
       14 days ago via Android
    如果只把它当成下一 token 预测器,那确实啥也干不了,发明 coding agent 之前大概也想不到如此能干吧。所以可以没有条件就创造条件,说不定之后有人发明超高性能的端侧模型,然后用蠕虫病毒式的 agent 传播到每一台电脑上,让 agent 可以永久自动运行。
    Thesara
        3
    Thesara  
       14 days ago
    你可以看一下今天 anthropic 发的
    phrack
        4
    phrack  
       14 days ago
    有屁的威胁

    我愿意在 polymarket/区块链赌博

    现在给你 100 万,5 年后人类灭亡你不用还钱,你跟我都死了

    人类不灭亡你得还我 500 万

    我相信会有人开这个赌博的
    socialAnimal
        5
    socialAnimal  
    OP
       14 days ago
    @Thesara 我感觉他们说的很可怕,但我理解不了。
    shiny
        6
    shiny  
    PRO
       14 days ago
    威胁来自于授权使用物理资源。比如把使用武器的判断交给 AI 。
    Maxwe11
        7
    Maxwe11  
       14 days ago
    如果我办了一家 AI 企业,但是还没上市,不过现在外界估值过万亿美金,只要一上市就能赚来十辈子都花不掉的钱,我也整天叨叨叨 AI 太厉害了,我的 AI 今天自己攻破了我自己的防守,其他人都是抄我家的 AI,其他人的 AI 企业都没有道德必须都禁掉,我的 AI 今天已经发现了新的线索,物理界大一统理论即将被我的 AI 所攻破。

    如果我做空了 AI,那我会说,现在的 AI 都是垃圾,远远没有宣传的那么厉害,现在大规模投资的企业估值极度高估,马上就会一地鸡毛。

    威胁不威胁,取决于我是靠威胁赚钱,还是靠做空赚钱。
    413420
        8
    413420  
       14 days ago
    推荐你仔细阅读 anthropic 发布的威胁报告,此时此刻,许多人都在这么做
    yidinghe
        9
    yidinghe  
    PRO
       14 days ago
    “似乎都在说 AI 会威胁人类生存,但都没说具体威胁手段有哪些。” 因为料不到。A\ 披露有人尝试用 AI 研究生化武器来着。
    june4
        10
    june4  
       14 days ago
    合成新病毒什么的,目前门槛还有点高,但未来也不一定,万一象 3d 打印一样在家也能搞了呢
    FaustY
        11
    FaustY  
       14 days ago
    参考动漫《心理测量者》,核弹连意识也没有,但也能毁灭人类。
    火药能放烟花也能搞屠杀。
    工具的危险在于它的破坏力上限,现实世界,AI 连可怜的机器人三原则都不能 100% 遵守,底线总能被越狱不是 。
    datocp
        12
    datocp  
       14 days ago
    新闻里有宇树机器人,按定位应该是个街头机器人巡警,能跳能跑,外国用它来驱赶街头野生动物。小时候那电影叫啥来着,终结者。一看送外卖都被抢了。
    一直以为机器人的手部不行,可是人家的机器人能在工厂里做衣服。。。

    人类以后是不是智商比不过 AI ,体力活干不过机器人,还靠什么赚钱生存。还要被机器人抓捕。科幻片都成现实了。以后无家可归的人组成反机器人反 AI 同盟嘛,专门搞破坏。。。
    pa4swordforget
        13
    pa4swordforget  
       12 days ago
    真要这么厉害,他们还用融资呢,直接让 ai 去赚钱不就好了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2588 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 07:01 · PVG 15:01 · LAX 00:01 · JFK 03:01
    ♥ Do have faith in what you're doing.