不知道今年的春晚大家看了嗎？小編表示沒有看，而且是已經(jīng)很多年沒有完整的看過春晚了，關于看春晚的熱情都是小時候的事了。如今，距離第一屆春晚 1983 年，整整過去了 39年，看過那么多春晚，哪一年、哪些節(jié)目、哪些人你還留有深刻印象呢？接下來，通過 Python 數(shù)據(jù)分析。

在網(wǎng)上找了很久發(fā)現(xiàn)沒有關于春晚完整的數(shù)據(jù)，都是不連貫的，節(jié)目單表是每一年春晚上表演的節(jié)目，包括：節(jié)目類型、節(jié)目名、演員名這幾項數(shù)據(jù)。這里我們就使用Python 抓取這類表格數(shù)據(jù)，方法簡單，幾行代碼就能搞定，簡單的示例代碼如下：

#! -*- encoding:utf-8 -*- import requests import random # 要訪問的目標頁面 targetUrl = "http://httpbin.org/ip" # 要訪問的目標HTTPS頁面 # targetUrl = "https://httpbin.org/ip" # 代理服務器(產(chǎn)品官網(wǎng) www.16yun.cn) proxyHost = "t.16yun.cn" proxyPort = "31111" # 代理驗證信息 proxyUser = "username" proxyPass = "password" proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxyHost, "port" : proxyPort, "user" : proxyUser, "pass" : proxyPass, } # 設置 http和https訪問都是用HTTP代理 proxies = { "http" : proxyMeta, "https" : proxyMeta, } # 設置IP切換頭 tunnel = random.randint(1,10000) headers = {"Proxy-Tunnel": str(tunnel)} resp = requests.get(targetUrl, proxies=proxies, headers=headers) print resp.status_code print resp.text

抓取下來的數(shù)據(jù)都比較混亂，需要用 Python 清洗處理一下就可以分析，這些不是重點，重點是在獲取數(shù)據(jù)的過程中，目標網(wǎng)站有封反爬策略比如封ip，所以在訪問過程中我加了代理，代碼部分主要是關于如何使用動態(tài)轉(zhuǎn)發(fā)模式代理示例，在學習爬蟲中對代理有疑問的可以看下這里https://www.16yun.cn/。在獲取數(shù)據(jù)之后就可以直接進入分析環(huán)節(jié)，從中我們可以看到誰導演春晚次數(shù)最多？誰主持春晚次數(shù)最多？誰上春晚次數(shù)最多等數(shù)據(jù)。

?

若有收獲，就點個贊吧

審核編輯：鄢孟繁