我正在使用 nltk 的默认标记器来获取单词的 POS 标记,但我没有得到预期的结果:
>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want a watch"))
[('I', 'PRP'), ('want', 'VBP'), ('a', 'DT'), ('watch', 'NN')]
>>> nltk.pos_tag(nltk.tokenize.word_tokenize("Lets watch a movie"))
[('Lets', 'NNS'), ('watch', 'VBP'), ('a', 'DT'), ('movie', 'NN')]
正如您在上面看到的,pos_tag 函数正确地标记了单词 watch。但在下面的情况下:
>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want to read a book"))
[('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('read', 'VB'), ('a', 'DT'), ('book', 'NN')]
>>> nltk.pos_tag(nltk.tokenize.word_tokenize("I want to book a ticket"))
[('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('book', 'NN'), ('a', 'DT'), ('ticket', 'NN')]
它错误地预测了单词 book 的标签。 我知道我们可以构建一个自定义标注器,但我不希望只为一个词从头开始构建一个标注器。我希望提高单词 book 标记器的准确性。我提到了这个answer但最新版本似乎没有 nltk.tag._POS_TAGGER 方法。
是否有任何可能的解决方法?
请您参考如下方法:
NLTK pos_tag 使用 PerceptronTagger默认情况下。但是您可以使用其他标记器,它们已经在各自的数据集上接受过训练。
在下面的例子中,treebank pos tagger被使用:
import nltk
tagger = nltk.data.load('taggers/maxent_treebank_pos_tagger/english.pickle')
t = tagger.tag(nltk.tokenize.word_tokenize("I want to book a ticket"))
print(t)
# [('I', 'PRP'), ('want', 'VBP'), ('to', 'TO'), ('book', 'VB'), ('a', 'DT'), ('ticket', 'NN')]
# ^^ rightly tagged as verb
如果您仍然没有得到想要的结果,您可以更换标记器。
人们还可以在语料库上评估标注器以了解预期的准确性:
>>> corpus = nltk.corpus.treebank.tagged_sents()
>>> tagger.evaluate(corpus)
0.9956891414041082
