摘要本周聚焦自然语言处理NLP领域中的词表示技术深入探讨词向量Word Embeddings如何成为深度学习理解语言的基石。与图像数据不同语言以离散符号形式存在神经网络无法直接从单词字面中提取语义因此必须将词语转化为可运算的向量形式。学习内容涵盖独热编码One-hot Encoding的固有缺陷、词向量如何在高维空间中构建语义邻近关系、Word2Vec 与 GloVe 两大经典词向量模型的核心原理以及词向量在情感分类、语义相似度计算等任务中的实际应用。此外还讨论了词向量中的社会偏见问题揭示语言建模不仅是技术挑战更与数据分布和社会语境紧密交织。AbstractThis weeks study centers on natural language processing and word representation techniques. Words exist as discrete symbols, so neural networks rely on vector representations to capture semantic meanings and linguistic relationships. The report examines the shortcomings of one-hot encoding, the geometric intuition behind embedding spaces, and the foundational ideas of Word2Vec and GloVe. It also discusses applications in sentiment analysis and semantic similarity, while emphasizing that learned representations can inadvertently encode social biases present in training data.1 从符号到向量语言建模的必然之路在自然语言处理中词语本质上是抽象的符号标记无法像图像像素那样直接输入神经网络进行数值运算。若仅以单词索引或编号来表示语言国王与王后之间、汽车与火车之间的语义关联便会完全丢失——模型看到的只是两个毫无关系的整数。独热表示是最朴素的词编码方案为每个词分配一个维度对应位置置 1其余置 0。这种方法直观且易于实现但存在两大致命问题一是任意两个词的向量都是正交的完全无法体现语义相似度二是词汇量动辄数十万向量维度极高造成严重的维度灾难。正因如此深度学习需要一种既紧凑又富含语义信息的表示方式让模型能从词与词的共现模式中自动归纳语言规律。2 词向量用语义空间重新定义词语词向量的核心思想是将每个词语映射到一个低维的连续向量空间中使语义上接近的词在空间位置上也彼此靠近。这样一来模型不仅能识别词的身份还能通过向量之间的距离和方向感知语义的异同。一个经典的例子是向量空间中国王减去男人加上女人结果会非常接近王后。这说明词向量能够捕捉到语言中的类比关系。巴黎与法国的向量差和东京与日本的向量差在某种维度上也呈现出相似的结构。词向量的魅力正在于此——它将抽象的语义关系转化为具体的几何结构。这种连续化的表示方式为神经网络处理文本铺平了道路也推动了 NLP 从规则匹配时代迈向语义建模时代。3 Word2Vec从上下文中学语义Word2Vec 是词向量发展史上的里程碑式工作。其核心假设可以用一句话概括词的意义由它周围的词决定。如果两个词经常出现在相似的上下文环境中那么它们的语义也应该相近向量表示自然也应该接近。Word2Vec 主要有两种训练范式一种是 Skip-gram即给定中心词来预测周围的上下文词另一种是 CBOWContinuous Bag of Words即根据上下文词来预测中心词。无论哪种范式模型都是通过不断调整词向量参数使预测任务的损失最小化。Word2Vec 的革命性在于它不再依赖人工定义的语义特征而是从海量文本的共现规律中自动挖掘语义结构。这种分布语义学的思路深刻影响了后续整个 NLP 领域的发展方向。4 GloVe融合全局统计与局部上下文GloVeGlobal Vectors for Word Representation是另一款极具影响力的词向量模型。与 Word2Vec 聚焦局部窗口的预测任务不同GloVe 更强调利用语料库中全局的词共现统计信息。GloVe 的做法是先构建一个词共现矩阵记录每个词与其他词在语料中共同出现的频率然后通过矩阵分解的思想学习词向量使其能够拟合这些共现概率的比值关系。这样学到的词向量既保留了局部上下文的细微差别又融入了全局语料的统计结构。从这个角度看词向量学习的本质是在为语言建立一套压缩后的语义坐标系——每个维度都对应着某种潜在的语义特征。5 词向量的应用价值词向量极大地提升了各类 NLP 任务的性能。在情感分析任务中模型可以借助词向量轻松捕捉优秀糟糕满意失望等词的情感倾向而无需人工构建情感词典在文本相似度计算中将句子中所有词向量求和或取平均就能得到句子的向量表示进而衡量两段文本的语义接近程度。除此之外词向量还广泛应用于命名实体识别、机器翻译、问答系统、文本生成等几乎所有 NLP 子领域。作为一种通用的语言输入层词向量相比独热编码参数量更少、泛化能力更强让模型能够更好地处理从未见过的词语组合。6 词向量的偏见技术之外的反思词向量虽然强大却也可能成为社会偏见的载体。由于训练语料来自真实世界的文本数据其中不可避免地包含着各种性别、种族、地域等方面的刻板印象而词向量会忠实地将这些偏见学习并编码下来。例如某些职业名称可能与特定性别产生不合理的强关联某些地域名称可能带有负面的语义倾向。这提醒我们AI 模型并非客观中立的观察者而是训练数据的一面镜子——数据中存在的结构性不平等会在模型中被放大和延续。因此在使用词向量时除了关注模型性能还必须重视去偏Debiasing技术的研究与应用。这不仅是一个技术问题更是一个关乎公平与责任的社会议题。总结本周系统学习了自然语言处理中词表示的核心方法。独热编码作为基础方案简单直观但无法表达语义相似性且维度灾难严重词向量通过连续空间的几何结构编码语义关系使神经网络真正具备了理解语言的能力。Word2Vec 从局部上下文预测出发GloVe 从全局共现统计入手二者共同奠定了现代词表示学习的基石。