基于BERT的嵌入式文本主题模型研究

主题模型能够从海量文本数据中挖掘语义丰富的主题词，在文本分析的相关任务中发挥着重要作用。传统LDA主题模型在使用词袋模型表示文本时，无法建模词语之间的语义和序列关系，并且忽略了停用词与低频词。嵌入式主题模型（ETM）虽然使用Word2Vec模型来表示文本词向量解决上述问题，但在处理不同语境下的多义词时，通常将其表示为同一向量，无法体现词语的上下文语义差异。针对上述问题，设计了一种基于BERT的嵌入式主题模型BERT-ETM进行主题挖掘，在国内外通用数据集和《软件工程》领域文本语料上验证了所提方法的有效性。实验结果表明，该方法能克服传统主题模型存在的不足，主题一致性、多样性明显提升，在建模一词多义问题时表现优异，尤其是结合中文分词的WoBERT-ETM，能够挖掘出高质量、细粒度的主题词，对大规模文本十分有效。