现在大概有三组共 100 多个标签,用来对多段文本进行分类,是应该设置三个 prompt 分三次进行生成,还是用一个长 prompt ?
另外现在通用型 LLMs 好像对标签工作都不太完美,经常出现标出其他不在字典的标签,或是标签过多之后分类效果不佳。
有没有朋友在做相关工作有经验的,可以分享下方法嘛
另外现在通用型 LLMs 好像对标签工作都不太完美,经常出现标出其他不在字典的标签,或是标签过多之后分类效果不佳。
有没有朋友在做相关工作有经验的,可以分享下方法嘛
|
1
标签分类是大模型的老本行,你只要把标签整理好,让它在标签库里选择,正确率比人高
模型用 gemini-exp-1206 ,目前最强大的模型,200 万 token 上下文,一次完成不会有问题 |
|
june4Jan 6, 2025
2
让模型随便自由标,比如标出 1000 个不在字典的标签,然后你把这些多出来的标签设置一个映射到你的 100 个标签,这个映射是一次性的,可以手工完成或 ai 也行。
|
|
3
@mumbler #1 我现在用的是 Qwen2.5 110B ,文本太多用商用收费模型成本太高了。现在 Prompt 用列表给出了所有标签,但发现效果不是太好(比如说不在给定字典里的标签)。您说的标签整理好,是有什么格式会好一些?
|