句法（Syntactic）分析是NLP的經(jīng)典任務(wù)

Syntactic tasks: Word level

Word level的句法分析任務(wù)有：形態(tài)分析、分詞、序列標注

形態(tài)分析：Morphological analysis，指將一個詞的詞根（stem）和詞綴（prefix & suffix）提取出來的任務(wù)

分詞：Word segmentation or Tokenization，不同的語言分詞方法不一樣。對于中文、日文等語言，語句由字符的序列組成，因此詞的形態(tài)化比較簡單，分詞一般指將文本中的字的序列分割成詞的序列。此外，中文分詞的歧義性較強。而對于英文，沒有所謂的“分詞”，對應(yīng)的任務(wù)叫做Tokenization，指將文本序列切成由token組成的序列，如Wendy's -> Wendy + 's。Tokenization可以概括為按照特定需求，把文本切分成一個字符串序列（其元素一般稱為token，或者叫詞語）。

根據(jù)不同的需求，tokenization有不同的分割粒度：

字粒度：I have a apple -> I / h / a / v / e / a / a / p / p / l / e

詞粒度：I have a apple -> I / have / a / apple

subword粒度：I have a new GPU. -> ['i', 'have', 'a', 'new', 'gp', '##u', '.']

詞性標注：Part-of-speech(POS)，將詞在句子中扮演的角色進行標注，如動詞、名詞等。因為一詞多義的存在，這個過程也存在歧義性。具體的tag可以參考：Universal POS tags，更細粒度的tag(Spacy)

Syntactic tasks: Sentence level任務(wù)很多，其中Dependency parsing 和 Constituent parsing 比較常見。

成分句法分析：Constituent parsing，找到一句話中的層次短語結(jié)構(gòu)

依存句法分析：Dependency parsing，這種句法結(jié)構(gòu)通過詞之間的兩兩關(guān)系組成一句話的結(jié)構(gòu)。這些關(guān)系包含：主語、賓語、修飾語等等，每個詞修飾一句話中的另一個唯一的詞（除了root節(jié)點，如下圖中的bought）。

CCG parsing，組合范疇句法分析，形式為一種高度詞匯化的句法

CCG supertagging：在組合句法分析中，給每個詞打標簽

Syntactic chunking：把一個句子，切成比較大的短語塊

編輯：黃飛

?