分词技术的基本概念分词是自然语言处理，NLP，的基础任务之一，指将连续的文本序列切分为具有独立语义的词汇单元，以中文为例，由于词语之间没有明显的分隔符，如空格，，分词的难度远高于英文，我爱自然语言处理，需要正确切分为，我，爱，自然语言，处理，，而非，我，爱，自然，语言，处理，等错误组合，准确分词是后续文本分析、情感识别、机器翻译等任...。