如何使用spacy_langdeect包中的LanguageDetector()？

问题描述

我正在尝试使用spacy_langdeect程序包，我能找到的唯一示例代码是(https://spacy.io/universe/project/spacy-langdetect)：

import spacy
from spacy_langdetect import LanguageDetector
nlp = spacy.load("en_core_web_sm")
nlp.add_pipe(LanguageDetector(), name='language_detector', last=True)
text = 'This is an english text.'
doc = nlp(text)
print(doc._.language)

引发错误：nlp.add_pipe现在采用已注册组件工厂的字符串名称，而不是可调用的组件。

因此我尝试使用以下代码添加到我的NLP管道

language_detector = LanguageDetector()
nlp.add_pipe("language_detector")

但这会给出错误：找不到语言英语(En)的‘Language_Detector’的工厂。当Spacy使用未在当前语言类上注册的自定义组件名调用nlp.create_pipe时，通常会发生这种情况。如果你使用的是变形金刚，一定要安装"空间变形金刚"。如果您使用的是定制组件，请确保添加了修饰符@Language.component(对于函数组件)或@Language.factory(对于类组件)。 可用工厂：ATTRIBUTE_RULER、tok2vec、Merge_noun_Chunks、Merge_Entities、Merge_Subtokens、Token_Splitter、parser、Beam_parser、Entity_Linker、ner、Beam_ner、Entity_ruler、lemmatzer、tag、ogologizer、senter、senencizer、extcat、extcat_MultiLabel、en.lemmatzer

我不完全了解如何添加它，因为它不是真正的自定义组件。

---

解决方案

对于非内置组件(如LanguageDetector)，在将其添加到nlp管道之前，您必须将其包装到一个函数中。在您的示例中，您可以执行以下操作：

import spacy
from spacy.language import Language
from spacy_langdetect import LanguageDetector

def get_lang_detector(nlp, name):
    return LanguageDetector()

nlp = spacy.load("en_core_web_sm")
Language.factory("language_detector", func=get_lang_detector)
nlp.add_pipe('language_detector', last=True)
text = 'This is an english text.'
doc = nlp(text)
print(doc._.language)

内置组件(如标签器、解析器、NER等)参见：https://spacy.io/usage/processing-pipelines