XPath(XML Path Language)是一門在XML文檔中查找信息的語言。

XPath 可用來在XML文檔中對(duì)元素和屬性進(jìn)行遍歷。

XPath 是 W3C XSLT 標(biāo)準(zhǔn)的主要元素，并且 XQuery 和 XPointer 都構(gòu)建于 XPath 表達(dá)之上。

官方網(wǎng)址：http://lxml.de 官方文檔：http://lxml.de/api/index.html

注：XQuery 是用于 XML 數(shù)據(jù)查詢的語言（類似SQL查詢數(shù)據(jù)庫(kù)中的數(shù)據(jù)）

注：XPointer 由統(tǒng)一資源定位地址（URL）中#號(hào)之后的描述組成，類似于HTML中的錨點(diǎn)鏈接

python中如何安裝使用XPath:

①: 安裝 lxml 庫(kù)。

②: from lxml import etree

③: Selector = etree.HTML(網(wǎng)頁源代碼)

④: Selector.xpath(xpath選取規(guī)則)

1. 準(zhǔn)備工作：

• 要使用XPath首先要先安裝lxml庫(kù)：

pip install lxml

2. XPath選取節(jié)點(diǎn)規(guī)則

• XPath 運(yùn)算符

3. 解析案例：

• 首先創(chuàng)建一個(gè)html文件：my.html 用于測(cè)試XPath的解析效果

我的常用鏈接

• 百度
• 京東
• 搜狐
• 新浪
• 淘寶

• 使用XPath解析說明

# 導(dǎo)入模塊
from lxml import etree

# 讀取html文件信息（在真實(shí)代碼中是爬取的網(wǎng)頁信息）
f = open("./my.html",'r',encoding="utf-8")
content = f.read()
f.close()

# 解析HTML文檔，返回根節(jié)點(diǎn)對(duì)象
html = etree.HTML(content)
#print(html)  # 

# 獲取網(wǎng)頁中所有標(biāo)簽并遍歷輸出標(biāo)簽名
result = html.xpath("http://*")
for t in result:
    print(t.tag,end=" ")
#[html head title body h3 ul li a li a ... ... td]
print()

# 獲取節(jié)點(diǎn)
result = html.xpath("http://li") # 獲取所有l(wèi)i節(jié)點(diǎn)
result = html.xpath("http://li/a") # 獲取所有l(wèi)i節(jié)點(diǎn)下的所有直接a子節(jié)點(diǎn)
result = html.xpath("http://ul//a") # 效果同上（ul下所有子孫節(jié)點(diǎn)）
result = html.xpath("http://a/..") #獲取所有a節(jié)點(diǎn)的父節(jié)點(diǎn)
print(result)

# 獲取屬性和文本內(nèi)容
result = html.xpath("http://li/a/@href") #獲取所有l(wèi)i下所有直接子a節(jié)點(diǎn)的href屬性值
result = html.xpath("http://li/a/text()") #獲取所有l(wèi)i下所有直接子a節(jié)點(diǎn)內(nèi)的文本內(nèi)容
print(result) #['百度', '京東', '搜狐', '新浪', '淘寶']

result = html.xpath("http://li/a[@class]/text()") #獲取所有l(wèi)i下所有直接含有class屬性子a節(jié)點(diǎn)內(nèi)的文本內(nèi)容
print(result) #['百度', '搜狐', '新浪']

#獲取所有l(wèi)i下所有直接含有class屬性值為aa的子a節(jié)點(diǎn)內(nèi)的文本內(nèi)容
result = html.xpath("http://li/a[@class='aa']/text()") 
print(result) #['搜狐', '新浪']

#獲取class屬性值中含有shop的li節(jié)點(diǎn)下所有直接a子節(jié)點(diǎn)內(nèi)的文本內(nèi)容
result = html.xpath("http://li[contains(@class,'shop')]/a/text()") 
print(result) #['搜狐', '新浪']


# 按序選擇
result = html.xpath("http://li[1]/a/text()") # 獲取每組li中的第一個(gè)li節(jié)點(diǎn)里面的a的文本
result = html.xpath("http://li[last()]/a/text()") # 獲取每組li中最后一個(gè)li節(jié)點(diǎn)里面的a的文本
result = html.xpath("http://li[position()<3]/a/text()") # 獲取每組li中前兩個(gè)li節(jié)點(diǎn)里面的a的文本
result = html.xpath("http://li[last()-2]/a/text()") # 獲取每組li中倒數(shù)第三個(gè)li節(jié)點(diǎn)里面的a的文本
print(result) 

print("--"*30)
# 節(jié)點(diǎn)軸選擇
result = html.xpath("http://li[1]/ancestor::*") # 獲取li的所有祖先節(jié)點(diǎn)
result = html.xpath("http://li[1]/ancestor::ul") # 獲取li的所有祖先中的ul節(jié)點(diǎn)
result = html.xpath("http://li[1]/a/attribute::*") # 獲取li中a節(jié)點(diǎn)的所有屬性值
result = html.xpath("http://li/child::a[@) #獲取li子節(jié)點(diǎn)中屬性href值的a節(jié)點(diǎn)
result = html.xpath("http://body/descendant::a") # 獲取body中的所有子孫節(jié)點(diǎn)a
print(result) 

result = html.xpath("http://li[3]") #獲取li中的第三個(gè)節(jié)點(diǎn)    
result = html.xpath("http://li[3]/following::li") #獲取第三個(gè)li節(jié)點(diǎn)之后所有l(wèi)i節(jié)點(diǎn)
result = html.xpath("http://li[3]/following-sibling::*") #獲取第三個(gè)li節(jié)點(diǎn)之后所有同級(jí)li節(jié)點(diǎn)
for v in result:
    print(v.find("a").text)

• 解析案例

# 導(dǎo)入模塊
from lxml import etree

# 讀取html文件信息（在真實(shí)代碼中是爬取的網(wǎng)頁信息）
f = open("./my.html",'r')
content = f.read()
f.close()

# 解析HTML文檔，返回根節(jié)點(diǎn)對(duì)象
html = etree.HTML(content)

# 1. 獲取id屬性為hid的h3節(jié)點(diǎn)中的文本內(nèi)容
print(html.xpath("http://h3[@id='hid']/text()")) #['我的常用鏈接']


# 2. 獲取li中所有超級(jí)鏈接a的信息
result = html.xpath("http://li/a")
for t in result:
    # 通過xapth()二次解析結(jié)果
    #print(t.xpath("text()")[0], ':', t.xpath("@href")[0])

    # 效果同上，使用節(jié)點(diǎn)對(duì)象屬性方法解析
    print(t.text, ':', t.get("href"))

'''
#結(jié)果:
百度 : http://www.baidu.com
京東 : http://www.jd.com
搜狐 : http://www.sohu.com
新浪 : http://www.sina.com
淘寶 : http://www.taobao.com
'''

'''
HTML元素的屬性：
    tag：元素標(biāo)簽名
    text：標(biāo)簽中間的文本
HTML元素的方法：
    find()    查找一個(gè)匹配的元素
    findall() 查找所有匹配的元素    
    get(key, default=None) 獲取指定屬性值
    items（）獲取元素屬性，作為序列返回
    keys（）獲取屬性名稱列表
    value（）將元素屬性值作為字符串序列
'''


審核編輯：湯梓紅