假设：
1 ）有三个相似的物品（之前不知道这三个物品是否相似），A，B，C
2 ）互联网中大家总是在同一个主题下讨论 A，B，C
我如何通过分析互联网中的信息，最终获得这三个物品是相似，有类似的编程模型吗，希望大佬赐教，感谢
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2064 days ago, the information mentioned may be changed or developed.
 |
raycoolMar 16, 2021
1
万物皆可 embedding
|
 |
HuLeiYMar 16, 2021
2
楼上说的在理 最近也在想这个
|
 |
3
word2vec 很容易很干扰，而得出的结果离设想的差别太大
|
 |
gladuoMar 16, 2021
5
基本的，对大量文档切词（实体识别）统计 共现 就可以了
|
|
gladuoMar 16, 2021
6
有监督的话（如果有一些 doc，里面标了 A B 以及 A B 是相似的），这个任务也许可以看做一个类 Corefrence 的任务，也有一些常规做法，mention 的识别 + coref 的分类判定；
总体而言 NLP 的任务强依赖于数据和场景，微小的场景和 performance 要求变化，可能合适的方案完全不同 |
 |
ljpCNMar 17, 2021 via iPhone
7
transformer 吗 bert 吗
|
|
ljpCNMar 17, 2021 via iPhone
8
attention 机制似乎符合你说的“不是漫无目的地学习”，可以去了解一下 bert
|
|
ljpCNMar 17, 2021 via iPhone
9
attention 机制似乎符合你说的“不是漫无目的地学习”，可以去了解一下 BERT
|
|
ljpCNMar 17, 2021 via iPhone
10
怎么相同内容连发了。。
|
 |
DoctorCatMar 17, 2021
11
SimHash
|
 |
kaijuMar 17, 2021
12
语言学中有一个 distributional hypothesis，是说如果两个词它们出现的 context 相似，那么它们的意思一般也相似
这个也是 word2vec 和更古老的 brown cluster 之类的东西的理论基础。 但是需要注意的是相似不代表一样。比如说代表月份的几个词 January, Feburary, etc, 它们出现的 context 相似，意思相似，但含义不是一样的。 |
 |
mumblerMar 17, 2021 via Android
13
首先要有足够大的语料，用需要分析的词汇，计算相互之间的词向量距离，最后统计每个词向量最近的词，那就是相关的，阈值需要不断调
|
 |
yzbytheseaMar 17, 2021
14
这不是 top modeling 吗？有很多算法啊，LDA，LTSM 等等
word vector 感觉只能做一个 feature engineering 吧 |
|
yzbytheseaMar 17, 2021
15
topic modeling*
|
|
16
|
 |
RingoTCMar 17, 2021
17
@Braisdom 这大概是因为 word2vec 学到了共现关系，因为共现关系是比 semantic 更好学的。如果不想让 word2vec 学到这种共现关系，直接把 A 、B 、C 用统一特殊字符替代掉，或许会有效。
|
|
18
@RingoTC 你的想法倒是一个好想法。
如果将 A，B，C 进行唯一性 hash 处理，在所有文档中可以通过固定的规则检索，通过周围的词进行预测，只获取符合规则的的词。 |
Select Language