今天看到 opencode 发版了, 才注意到这个三天前的 PR: https://github.com/anomalyco/opencode/pull/40977
PR 里的讨论现在还不多，但是已经有偏离技术和翻译本身的迹象了。 不过抛开其他因素不谈，我也自始至终都觉得这是个糟糕的翻译。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
 |
1
fang2hou 14h 4m ago  33
如果之前是 token ，那词元强行加入感觉有点不太好，看了眼原来是令牌，那还真不如改词元。
|
 |
2
GyroZeppeli13 14h 4m ago 2
比起 token 我更想知道 transformer 怎么翻译。
|
 |
3
zed1018 14h 1m ago 1
说实话，令牌也没好到哪里去，甚至更差。因为 llm token ，和 authentication token 并不是一码事。后者叫令牌没错，前者就不行了。
|
 |
4
cowcomic 13h 59m ago 1
要不就直接保留 token ，别翻译
如果一定要翻译，那我觉得“词元”比“令牌”强（仅限描述分词结果这种场景） |
 |
5
Erona OP @fang2hou 你说的也没错。
但原来的「令牌」可以理解成机翻或是粗翻，也并不无大碍。真要细翻的话，一个更好的方案显然是直接用 Token ，而是不是这个幽默的「词元」。 |
 |
6
longaiwp 13h 57m ago
所以呢？要么别有翻译，不然肯定比令牌这个翻译好，又想着扣帽子了？
|
 |
7
dumbass 13h 56m ago
  闹麻了 |
|
8
longaiwp 13h 56m ago 9
无趣，原来已经带了立场来的，还以为真想讨论呢。。。
|
 |
9
GoogleQi 13h 55m ago
习惯了 token ，就不会叫词元，好复杂的两个字，看不懂啥意思😂
|
 |
10
7gugu 13h 55m ago 4
词元这个翻译很合理，PR 的做的解释也很对。“令牌”就是 API 领域的一个专有翻译，跟 LLM 领域代表的分词不是同一个概念，使用“令牌”作为翻译确实不合适。
|
 |
11
isbase PRO 可以再去提一个 PR 改回来。
|
 |
12
irrigate2554 13h 53m ago
翻译的很好，官方也合并了，点赞，希望其他工具也跟进
|
 |
13
yiqiao 13h 52m ago
@GyroZeppeli13 #2 现在 token 不就是词元吗
不同场景下的 token 中文会有不一样的翻译；以前 access token 叫访问令牌； llm token 叫大模型词元 @Erona #5 现在官方都是 xxx 词元（ Token ），怕别人看不懂。在中文翻译下不如也跟着官方的来 LLM 词元（ Token ）#逃 |
 |
14
taotaodaddy 13h 48m ago 5
先不说好不好
这个语境下令牌是错的，词元是对的 |
 |
15
haojiuweijian1 13h 47m ago 7
@dumbass 很不理解使用中文特别简中的能毫无负担的说出这三个字，挺可笑的。好像这样说出来就能把黄皮扒掉一样
|
 |
16
credo123 13h 47m ago 1
不要搞语言壁垒，这是很操蛋的。
词元这个词我觉得就挺好的，不搞 AI 的人，看一眼连蒙带猜的也能领会点意思。 |
 |
17
yiranw09 13h 47m ago 2
@GyroZeppeli13 变形金刚！
|
 |
18
wy315700 13h 46m ago
如果 token 叫词元
那么 元神会花落谁家呢 |
 |
19
sharpy 13h 45m ago 1
词元我觉得从翻译的角度来说信达雅至少是信的
|
 |
20
tanxnative 13h 45m ago 1
@GyroZeppeli13 变态器!
|
|
21
Erona OP 1
@yiqiao 如果是大势所趋的话，那真的就是早晚的事情（悲
其实很多词大概都必要去翻译，至于 Token 要不要翻译，当前「词元」这个词好不好，应该已经被讨论了很多了。 这个事情给我的感觉就是，首先我觉得它是属于没必要翻译的词，并且我觉得「词元」这个翻译很糟糕，然后这个词已经在慢慢地到处渗透。 可能让我意外的是这个词的接受度比我想象中的高，并不是大部分人都这么反感。 |
|
22
dumbass 13h 40m ago
@haojiuweijian1 bro thought he's white
 |
 |
23
tomyark123 13h 39m ago
挺好的。github 反贼怎么那么多
|
 |
24
nuk 13h 39m ago
不是应该直接叫词吗，以前的 lex 不是就叫分词
|
 |
25
LuJimin 13h 39m ago 1
要么不翻译，假如要翻译的话目前没有见到其他更好的说法了，词元肯定算不上糟糕的翻译
|
 |
26
chendy 13h 39m ago 1
放在一众 IT 领域的抽象翻译里，词元已经是顶中顶了
|
 |
27
lmmlwen 13h 37m ago
所以我一直用易语言，美国人亡我之心不死
|
 |
28
haukuen 13h 36m ago 12
词元这翻译还糟糕啊，我觉得是堪比「基因」这种级别的好翻译
|
 |
29
ATKLLL 13h 35m ago
为了反倒而反对
|
|
30
credo123 13h 31m ago 1
@Erona 你是建立在你是从业者角度上讲的。
类似海外英语国家里的法律条文一样，非从业者很难理解或者压根理解不了那些单词和句子。这就算语言壁垒了。 国内汉语一直传承下来的，就是要让普罗大众看到某些新词，新句子，最起码连蒙带猜能知道是什么意思。尽可能的减少语言壁垒。这是汉语的极大优势。 你可以翻翻国内那一堆的法律从业者和大 V 。他们是多么希望中国的法律条文和英文一样，能建立强大的语言壁垒，那他们就值钱太多了，话语权就大很多了。 你不看看现在国内的公检法都那么烂，如果有强大的语言壁垒，我认为会更烂。 |
 |
31
jpyl0423 13h 31m ago
这有什么吵的，自己再提交个 pr 不就完了
|
 |
32
lel020 13h 27m ago
我是支持词元的， 或者说我支持一个大手用生造词强行统一这个 token 在大模型中的称呼，
首先明显比令牌好，然后等大家接受普及了就比 token 强， 现在进入 opencode 就是开源社区接受词元的一小步， |
 |
33
Felldeadbird 13h 26m ago
词元我觉得还是不错的翻译。
如果你音译的话，叫什么好？是透肯？ |
 |
34
PolarBears 13h 25m ago
看了下更改,是把[令牌]改成[词元]而不是[token]改[词元],只能说词元总比令牌强
|
|
35
tomyark123 13h 25m ago
@lmmlwen 再串草死
|
 |
36
0xnycth 13h 25m ago
词元是好的翻译，表达清楚、含义明确，这个词可以很好的概括 token 在 AI 领域的意思。
|
 |
37
kylinC 13h 24m ago 4
反对词元不如先反对鲁棒性
|
 |
38
KagurazakaNyaa 13h 24m ago 5
词元这个词非常合适啊，编译原理里面不是就把 token 翻译成词元吗，这翻译年纪比 transformer 大了，而且编译原理里面的 token 和现在大语言模型里的 token 用的是同一个涵义，那么自然应该翻译成同一个译文
|
 |
39
weixind 13h 23m ago 4
多大点事，应该找个日本人提 PR ，美国人合并。就没那么多奇奇怪怪的质疑了。
|
 |
40
Cu635 13h 21m ago
@Erona #21
怎么可能是“没必要翻译的词”？可以说这个词语是“必须有个翻译，但不是必须用这个翻译”才对。 为什么说“这个词必须有个翻译”？因为这个操蛋的英语，明明那个控制权限、流量用的“令牌”，和现在大模型这里的“词元”是俩东西，但非得都叫“token”，这才给予了“有个翻译”的必要性。哦，你说大模型的“token”也是用来控制用量、收取费用的？那就应该看一下这个概念的来源：大模型的 token ，是算法本身就要进行的分词，是先在技术上有了“token”这个东西，再用它来作为用量统计和收费指标，是个自然过程；而控制权限、流量用的“token”，则是“为了权限控制，人为加上去的一个东西”，是人为加上去的。因此这俩还是不一样。 有了这个，再看“词元”这个翻译，还是挺靠谱的，这个翻译恰恰是植根于“分词”这个技术过程的。 “必须有个翻译”是上面讨论的，而“有了翻译不一定必须使用”，这就是对交流的语言习惯的妥协了。 |
 |
41
BuffDog 13h 20m ago
不如直接叫字
|
 |
42
M9jB6pg65 13h 20m ago
@Erona Token 绝对是有必要翻译的词。 因为面向普罗大众时，Token 不是作为专业术语被使用，而是作为计量单位在使用。 作为对照的 ounce 翻译成"盎司"也是不好但必要的翻译。 至于"词元"是不是个好翻译， 我只能说至少比“投肯”这种音译强
|
 |
43
zhywang 13h 19m ago
词元这个翻译很好，信达雅基本都能占
计算机领域比它糟糕的翻译多了去了，什么句柄、套接字、堆栈... |
 |
44
yidinghe PRO token for authentication -> 令牌
token for LLM processing -> 词元 在界面上，二者的表达并不难区分，所以错误的翻译应该纠正。 |
 |
45
frankilla 13h 19m ago
我觉得翻译的很恰当。
|
 |
46
niubilewodev 13h 18m ago
如果是把 token 翻译成“词元”，我会觉得没必要。
但点进 PR 一看，哦豁，之前被翻译成“令牌”了，那还是改成“词元”吧。 |
 |
47
William337 13h 14m ago
就用 token ，词元是什么鬼
|
|
48
Erona OP @credo123 从这个角度讲的话，LLM 中的 token 它大概或许应该有一个中文译名。
然而当前的问题是，使用 opencode 的中文用户，有多少人日常交流就使用「词元」而不是「 Token 」? 它的不适点在于你平时用的是「 Token 」但是工具上写的是「词元」，这种写作「词元」读作「 Token 」才更加不符合中文习惯吧。 |
 |
49
Desdemor 13h 12m ago
|
|
50
tomyark123 13h 9m ago
@Desdemor 我账号被封了，不然我去说下。魔怔人太多了
|
 |
51
Meursau1T 13h 5m ago 8
有些人觉得 token 没必要翻译，理由是这个概念是计算机专业术语。这显然低估了 token 的使用范围。不像 transformer 之类的词，token 是计量单位，只要给 AI 付费，就一定会用到，跟度、立方没什么区别。所以 transformer 可以不翻译，v2ex 可以不翻译，很多计算机词汇都可以不翻译，但 token 必须翻译。
现在 workbuddy 就已经有很多用户了，都是计算机领域外的人。可以预见，未来一定有更多非专业人士使用 AI ，给 AI 付费。这种情况下，翻译一下付费的计量单位，简直是天经地义。 坚持继续使用 Token ，不做任何翻译的人，不如多去享受享受不带翻译的医学词汇，学习下 pneumonia meningitis bronchitis 都是些什么意思。 |
 |
52
nc 13h 5m ago 1
丢人显眼，每次这种技术无关的小事都有国人在 issue 下喷粪，简中翻译成词元没问题，这就是简中官方钦定的翻译。
https://zh.wikipedia.org/zh-cn/%E8%AF%8D%E5%85%83 |
 |
53
wakarimasen 12h 59m ago via Android 1
我早就说应该翻译成丁〇片巳冂，方能彰显我们中国字博大精深
|
 |
54
sodesga 12h 56m ago
国内的都翻译，国外的你也不能支配人家要求翻译，真要翻译的太多了，翻不过来。
|
|
55
credo123 12h 55m ago
@Erona 我日常使用交流什么的，像你说的，都是用的 token 。
工具上写词元还是 token ，本质上对我们这种业内人来说是完全无所谓的。 但不排除有客户或者生活里其他非业内人员使用词元和我交流。交流过程中，对方是很理解词元的意思的。 词元嘛，词的元素？词的单元？ 词的最小单位吧？！ 这就是我赞同词元这种翻译的原因，很多人连蒙带猜的理解下来后，大差不差。汉语里表示最小构成单位的惯用后缀——单元、基元、神经元。词元==词的最小单元。 这就是我们汉语的魅力啊。 计算机里操蛋的翻译很多， 1. 句柄 2. 套接字 3. 缺省 你回想下当年刚接触计算机的时候，看下如上词汇不发蒙嘛？！不得查查是什么意思。还有很多。 我们是过来人了，但我们不要无意识里带上傲慢。 |
 |
56
cheese 12h 54m ago 1
不翻译挺好的，如果必须有中文翻译，词元也挺好的，很准确啊
|
 |
57
gtouck 12h 52m ago
@GyroZeppeli13 变形金刚
|
 |
58
xing7673 12h 51m ago
@haojiuweijian1 自恨到这种程度的为啥会关注简体中文的翻译呢，真的很奇怪这 [类人] 的心理
|
 |
59
Awes0me 12h 50m ago
这个翻译没问题，但是看着恶心也是真的，主要是那群人上串下跳的
|
 |
60
ndxxx 12h 46m ago
词元这个翻译真的很好, 但是没有特殊场景的话 token 完全不用翻译成中文
"词元"这个中文翻译被一个威权国家的官媒大肆报道过, 这就是这个词语的原罪 就像华为生态里, 也有一些小家电从客观上来说质量还行(哪怕是贴牌的), 但和这家公司沾边了, 那就别想得到粉丝以外的认可了😁 |
 |
61
keyu1103 12h 46m ago 1
token 翻译成词元，我个人认为非常信雅达了
完美契合了在 transformer 架构下面，不是一个词 或者一个字 作为最小单元，而是另一种概念。 无法接受 token 翻译成词元的，都是一些用 ai 的老鸟了，特别是能看到这个 pr 的肯定已经接受 token 这个词很长时间了，所以这里的讨论是有幸存者偏差的。 词元这个词，我每次给新人介绍大模型，我都会特意强调一下 token 翻译过来是词元，词元 比 token 好理解太多了 |
 |
62
Tink 12h 35m ago
我觉得这个词元翻译的很好啊，为什么幽默呢？
|
 |
63
badrigtpatbas247 12h 34m ago via Android
硬找画面感
|
 |
64
ybybwdwd 12h 33m ago
很好的翻译，不要为了反而反
|
 |
65
vipfts 12h 33m ago
我记得我看过北大的自然语言处理的课，计算机处理自然语言的最小单位就是词元啊，为什么你们反映这么大？你们没学过还是我记错了？
|
 |
66
Nzelites 12h 32m ago
词元这词翻译的还好吧 早晚得有一个中午翻译的，你有啥建议吗？
|
|
67
Tink 12h 31m ago
这词翻译的不比什么鲁棒性要好
|
 |
68
xFrye 12h 30m ago
要么就直接不翻译保留 token 这个说法，要是选择翻译就应该选个准确点的词，很明显令牌这个翻译是错的，提这个 pr 一点毛病都没有
|
|
69
badrigtpatbas247 12h 27m ago via Android
token 翻译成什么都行，它不会出现常用词汇中的。
|
 |
70
ZYXDemo 12h 25m ago
词元挺好的啊，不然呢？
|
 |
71
laikicka 12h 22m ago
那强制要求国内大模型和 agent/Hermes 统一用中文命名吧，什么 kimi ，deepseek ，glm 全部换成中文
|
 |
72
lianginx 12h 22m ago
还真是，上古时代那些计算机词汇好多都是瞎翻译
|
 |
73
CHTRCT 12h 18m ago
用原生术语一直是最省事的。
|
 |
74
realpg 12h 15m ago 2
有些人就是外国的月亮比较圆 跪久了就站不起来了
你说把 token 替换成次元我说这是脱裤子放屁 令牌换成词元，这是巨大的进步 |
 |
75
ASHYWHISPER 12h 14m ago via iPhone
为了翻译而翻译
|
|
76
Erona OP @credo123 你说的非常有道理。对于非业内人士，可能的确需要一个恰如其分的词。客观地说，在这点上「词元」基本合格。
不过大家也都知道 token 并不一定就是个词，所以「词元」这个词或多或少还是有不够精确，让人些难受。（非抬杠，只是聊一下感受） 不过非要较真的话，把 tokenizer 译作分词器兴许也是同样地不恰当。但是我们（至少是我）早就自然地接受了它。 你提到的那几个经典幽默翻译确实操蛋，所以我都倾向直接使用 handle, socket, default 。然后这就造成了我之前提到的写作 XX 读作 XX 的问题了。 所以这些术语我仍然倾向于不翻译，但这确实对非业内人士不友好。 不过无论最终怎样，每个人也只能去接受罢了。 |
 |
77
unused 12h 4m ago
比 token 好多了。Token 一个词不同语境有不同的意思，单拿出来谁也不知道是啥。
|
 |
78
jetsung 12h 2m ago
词元，一说出来就知道在说与大模型相关的。比“令牌”好多了。Token 的话，如果在固定语境，联系上下文，可能没有歧义，但单独“拎”出来，那就是有歧义了。相比来说，这个是专有名词。更容易理解。当然，非原生语言的翻译，肯定没有原生的“token”更能让人合眼。比如当年的 Google -> 谷歌
|
 |
79
hellodudu86 12h 1m ago
“词元”不是比“令牌”信达雅多了吗？
|
 |
80
GDSR 11h 58m ago via Android
鉴定为反华反共反魔怔了
|
 |
81
jsq2627 11h 56m ago
支持翻译 token ，一个模糊的词用在各种领域，还都是不一样的意思，完全是英语的糟粕。
|
 |
82
bitnerd 11h 50m ago
我儿子都知道“爸爸的爸爸是爷爷”的摇摇车里需要投进去 token
|
 |
83
icyalala 11h 44m ago
'令牌'在这里是个明显错误, '词元'也只是勉强好一些的翻译
你输入图片生成视频，那'词元‘是什么东西呢？你让普通人怎么理解呢？ |
 |
84
zhw2590582 11h 40m ago
开始也觉得不太好，但现在我觉得“词元”也挺好，可能要有一个适应过程吧
|
 |
85
justsomac 11h 36m ago
“词元”挺好的，词义准确，也挺好听，很多人觉得不好或者不翻译更好，主要是使用习惯问题。至于有些人因翻译被官媒承认就厌恶一个词的，真不知道怎么喷了…
|
 |
86
VirgilMing 11h 32m ago
令牌是错的，这个没什么好讲的
词元我是觉得只在 text 到 text 模型才对，多模态总有不对的地方 |
 |
87
calcoe 11h 32m ago
官方都合并了你反对个啥劲，"糟糕的翻译"，那么请问糟糕在哪？你所认为好的翻译又是什么？就因为官媒宣传了"词元"这个翻译就无脑反对是吧，谁还不懂你们思路啊🤣👉🤡
|
 |
88
iamjerry 10h 49m ago
我以为反对修改的，应该是台湾或者香港那边的人。
结果没想到.. |
 |
89
zhengqiang64 10h 46m ago
@Erona 你觉得 token 熟悉自然是觉得 token 好。但实际上很多大爷大妈根本说不好这个词，哪怕是 AI 两个字，很多年纪大的人都发音不好。简体中文的意义是普适化，目的是让所有中国人都能理解。突然冒出一个英文来，那不利于教育，不利于普世。
|
 |
90
icanfork 10h 44m ago
 这个 PR 有啥问题。 |
 |
91
cxshou 10h 41m ago
@KagurazakaNyaa 编译教材里面用的单词翻译更多点。LLM 的 token 和编译的 token 还是有区别的，编译里面的更容易理解
|
 |
94
catazshadow 10h 39m ago via Android 2
token 足够好是因为这就是个能够代表所有意义的符号，包括图像和声音
词元一出来，那图元和音元呢？多模态就当不存在是吧 |
|
95
icanfork 10h 38m ago
@noahhhh 是呀，就单纯的 diff 来看，这个 PR 完全是合理的、恰当的。如果 OP 觉得"词元"恶心，他应该是继续开一个 PR ，用上面评论的论据去让官方合并进去。而不应该质疑这个 PR 的合理性。
|
 |
96
Nyeshuai 10h 38m ago via iPhone
opencode 是个什么高不可攀的东西吗？你是所有者吗，是什么语言学翻译界大拿吗？人家作者高兴就合，不爽就换语言用。
|
|
97
catazshadow 10h 37m ago via Android
所以说翻的垃圾，硬硬在技术领域搞政治
|
|
98
zhengqiang64 10h 34m ago
虽然大家都习惯了 token ，但我觉得 token 这个词用在 LLM 上，极其糟糕！完全可以自造词，或是用缩写，比如像 http api 常用的 jwt 一样，而不是用了一个毫无关联的单词滥用。这行为无疑是破坏了学习体系，容易让年轻人在技术交流上产生误会。原本用于身份校验的 token 现在只能改名变成了 apiKey ，简直荒唐。
|
|
99
zhengqiang64 10h 33m ago
@catazshadow 你这都能联想到政治？你的皮太黄了，扒了吧
|
|
100
catazshadow 10h 26m ago
@zhengqiang64 “话语权”三个字都冒出来了你还觉得这不是政治？
|
Select Language