词表扩充（Vocabulary Expansion）：在现有LLM中插入新语言Token并对齐嵌入空间的策略 大家好，今天我们来深入探讨一个在大型语言模型（LLM）领域非常关键且具有挑战性的课题：词表扩充（Vocabulary Expansion），以及如何在扩充词表的同时，有效地对齐新加入的Token与现有Token的嵌入空间。 为什么需要词表扩充？ LLM的性能很大程度上依赖于其词表（Vocabulary），也就是模型能够理解和生成的Token集合。一个好的词表应该具备以下特点： 覆盖率广： 能够覆盖尽可能多的语言现象，减少未知词（Unknown Words, UNK）的出现。 粒度合适： Token的长度应该适中，既能捕捉语义信息，又能避免词表过大。 编码效率高： 能用较少的Token表示相同的文本，提高模型效率。 然而，现有的LLM的词表通常是基于特定数据集训练得到的，可能存在以下局限性： 缺乏特定领域的词汇： 例如，一个通用LLM可能缺乏医学、法律或金融领域的专业术语。 缺乏低资源语言的词汇： 很多LLM主要面向英语等高资源语言，对其他语言的支持不足。 无法处理新兴词汇： 语 …
继续阅读“词表扩充（Vocabulary Expansion）：在现有LLM中插入新语言Token并对齐嵌入空间的策略”