基于doc2vec和TF-IDF的相似文本识别

随着第三次科技革命的推进,计算机技术飞速发展,其中人工智能的发展则受到特别的关注,主要应用领域则是文本,图像,语音等领域,人工智能的发展主要分为两个阶段,分别是传统机器学习阶段和深度学习阶段,在传统机器学习中,我们多使用统计的方式来解决机器学习问题,这个情况在深度学习出现以后逐渐发生变化,在深度学习中,我们多使用神经网络来解决我们遇到的问题,深度学习的方法有着拟合能力强的特点,非常适合于如今数据量爆炸般增长的特点,而由于计算机算力的飞速发展,深度学习的训练缓慢的特点也得到了改善,这使得如今深度学习越来越多地出现在工业界和学术界。我们本文主要探讨的就是深度学习在自然语言处理方面的应用,我们通过使用doc2vec的方式和模型融合的方式来获取文本的向量表示,并将这种向量表示应用于相似文本的分类。