99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

一些提升或加速日常數(shù)據(jù)分析工作的技巧

數(shù)據(jù)分析與開(kāi)發(fā) ? 來(lái)源:機(jī)器之心 ? 2020-08-27 15:08 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

本文列舉了一些提升或加速日常數(shù)據(jù)分析工作的技巧,包括:

1. Pandas Profiling 2. 使用 Cufflinks 和 Plotly 繪制 Pandas 數(shù)據(jù) 3. IPython 魔術(shù)命令 4. Jupyter 中的格式編排 5. Jupyter 快捷鍵 6. 在 Jupyter(或 IPython)中使一個(gè)單元同時(shí)有多個(gè)輸出 7. 為 Jupyter Notebook 即時(shí)創(chuàng)建幻燈片

1. Pandas Profiling

該工具效果明顯。下圖展示了調(diào)用 df.profile_report() 這一簡(jiǎn)單方法的結(jié)果:

使用該工具只需安裝和導(dǎo)入 Pandas Profiling 包。

本文不再詳述這一工具,如欲了解更多,請(qǐng)閱讀:https://towardsdatascience.com/exploring-your-data-with-just-1-line-of-python-4b35ce21a82d

2. 使用 Cufflinks 和 Plotly 繪制 Pandas 數(shù)據(jù)

「經(jīng)驗(yàn)豐富的」數(shù)據(jù)科學(xué)家或數(shù)據(jù)分析師大多對(duì) matplotlib 和 pandas 很熟悉。也就是說(shuō),你只需調(diào)用 .plot() 方法,即可快速繪制簡(jiǎn)單的 pd.DataFrame 或 pd.Series:

有點(diǎn)無(wú)聊?

這已經(jīng)很好了,不過(guò)是否可以繪制一個(gè)交互式、可縮放、可擴(kuò)展的全景圖呢?是時(shí)候讓 Cufflinks* *出馬了?。–ufflinks 基于 Plotly 做了進(jìn)一步的包裝。)

在環(huán)境中安裝 Cufflinks,只需在終端中運(yùn)行! pip install cufflinks --upgrade 即可。查看下圖:

效果好多了!

注意,上圖唯一改變的是 Cufflinks cf.go_offline() 的導(dǎo)入和設(shè)置,它將 .plot() 方法變?yōu)?.iplot()。

其他方法如 .scatter_matrix() 也可以提供非常棒的可視化結(jié)果:

需要做大量數(shù)據(jù)可視化工作的朋友,可以閱讀 Cufflinks 和 Plotly 的文檔,發(fā)現(xiàn)更多方法。

Cufflinks 文檔:https://plot.ly/ipython-notebooks/cufflinks/

Plotly 文檔:https://plot.ly/

3. IPython 魔術(shù)命令

IPython 的「魔術(shù)」是 IPython 基于 Python 標(biāo)準(zhǔn)語(yǔ)法的一系列提升。魔術(shù)命令包括兩種方法:行魔術(shù)命令(line magics):以 % 為前綴,在單個(gè)輸入行上運(yùn)行;單元格魔術(shù)命令(cell magics):以 %% 為前綴,在多個(gè)輸入行上運(yùn)行。下面列舉了 IPython 魔術(shù)命令提供的一些有用功能:

%lsmagic:找出全部命令

如果你只記得一個(gè)魔術(shù)命令,那必須得是這一個(gè)。執(zhí)行 %lsmagic 命令將提供所有可用魔術(shù)命令的列表:

%debug:交互式 debug

這可能是我最常使用的魔術(shù)命令了。

大部分?jǐn)?shù)據(jù)科學(xué)家都遇到過(guò)這種情況:執(zhí)行的代碼塊一直 break,你絕望地寫了 20 個(gè) print() 語(yǔ)句,想輸出每個(gè)變量的內(nèi)容。然后,當(dāng)你最終修復(fù)問(wèn)題后,你還得返回并再次刪除所有 print() 語(yǔ)句。

不過(guò)以后再也不用這樣了。遇到問(wèn)題后只需執(zhí)行 %debug 命令,即可執(zhí)行想要運(yùn)行的任意代碼部分:

上圖中發(fā)生了什么?

我們有一個(gè)函數(shù),它以列表為輸入,并對(duì)所有的偶數(shù)取平方值。

我們運(yùn)行函數(shù),但是出了些問(wèn)題。但是我們并不知道怎么回事!

對(duì)該函數(shù)使用%debug 命令。

讓調(diào)試器告訴我們 x 和 type(x) 的值。

問(wèn)題顯而易見(jiàn):我們把 6 作為字符串輸入到函數(shù)中了!

這對(duì)于更復(fù)雜的函數(shù)非常有用。

%store:在 notebook 之間傳遞變量

這個(gè)命令也很酷。假設(shè)你花了一些時(shí)間清洗 notebook 中的數(shù)據(jù),現(xiàn)在你想在另一個(gè) notebook 中測(cè)試一些功能,那么你是在同一個(gè) notebook 中實(shí)現(xiàn)該功能,還是保存數(shù)據(jù)并在另一個(gè) notebook 中加載數(shù)據(jù)呢?使用%store 命令后,這些操作都不需要!該命令將存儲(chǔ)變量,你可以在其他任意 notebook 中檢索該變量:

%store [variable] 存儲(chǔ)變量。

%store -r [variable] 讀取/檢索存儲(chǔ)變量。

%who:列出所有全局變量。

你是否遇到過(guò),為變量賦值后卻忘記變量名的情況?或者不小心刪掉了負(fù)責(zé)為變量賦值的單元格?使用%who 命令,你可以得到所有全局變量的列表:

%%time:計(jì)時(shí)魔法命令

使用該命令可以獲取所有計(jì)時(shí)信息。只需對(duì)任意可執(zhí)行代碼應(yīng)用%%time 命令,你就可以得到如下輸出:

%%writefile:向文件寫入單元格內(nèi)容

在 notebook 中寫復(fù)雜函數(shù)或類,且想將其保存到專屬文件中時(shí),該魔法命令非常有用。只需為函數(shù)或類的單元格添加 %%writefile 前綴和想要保存到的文件名即可:

如上所示,我們可以將創(chuàng)建的函數(shù)保存到 utils.py 文件中,然后就可以隨意導(dǎo)入了。在其他 notebook 中也可以這樣,只要與 utils.py 文件屬于同一個(gè)目錄即可。

4. Jupyter 中的格式編排

這個(gè)工具很酷!Jupyter 考慮到 markdown 中存在 HTML / CSS 格式。以下是我最經(jīng)常使用的功能:

藍(lán)色、時(shí)尚:

Thisisfancy!
紅色、輕微慌張:

This is baaaaad!
綠色、平靜:

This is gooood!
下圖展示了它們的運(yùn)行過(guò)程:

當(dāng)你想以 Notebook 格式呈現(xiàn)一些發(fā)現(xiàn)時(shí),這非常有用!

5. Jupyter 快捷鍵

想了解和學(xué)習(xí)鍵盤快捷鍵,你可以使用命令面板:Ctrl + Shift + P,獲取 notebook 所有功能的列表。下面選取了幾個(gè)最基礎(chǔ)的命令:

Esc:進(jìn)入命令模式。在命令模式內(nèi),你可以使用方向鍵在 notebook 內(nèi)進(jìn)行導(dǎo)航。

在命令模式內(nèi):

A 和 B:在當(dāng)前單元格上方(Above)或下方(Below)插入新的單元格。

M:當(dāng)前單元格轉(zhuǎn)入 Markdown 狀態(tài)。

Y:當(dāng)前單元格轉(zhuǎn)入 code 狀態(tài)。

D,D:刪除當(dāng)前單元格。

Enter:當(dāng)前單元格回到編輯模式。

在編輯模式內(nèi):

Shift + Tab:為你在當(dāng)前單元格中鍵入的對(duì)象提供文檔字符串(文檔),持續(xù)使用該快捷鍵,可循環(huán)使用文檔模式。

Ctrl + Shift + -:在光標(biāo)所在處分割當(dāng)前單元格。

Esc + F:查找并替換代碼(不包括輸出)。

Esc + O:切換單元格輸出。

選擇多個(gè)單元格:

Shift + Down 和 Shift + Up:選中下方或上方的單元格。

Shift + M:合并選中單元格。

注意,選中多個(gè)單元格后,你可以批量執(zhí)行刪除/復(fù)制/剪切/粘貼/運(yùn)行操作。

6. 在 Jupyter(或 IPython)中使一個(gè)單元同時(shí)有多個(gè)輸出

想展示 pandas DataFrame 的 .head() 和 .tail(),但由于創(chuàng)建運(yùn)行 .tail() 方法的額外代碼單元過(guò)于麻煩而不得不中途放棄,你是否有過(guò)這樣的經(jīng)歷?現(xiàn)在不用怕了,你可以使用以下代碼行展示你想展示的輸出:

from IPython.core.interactiveshell import InteractiveShellInteractiveShell.ast_node_interactivity = "all" 下圖展現(xiàn)了多個(gè)輸出的結(jié)果:

7. 為 Jupyter Notebook 即時(shí)創(chuàng)建幻燈片

使用 RISE,你可以僅通過(guò)一次按鍵將 Jupyter Notebook 即時(shí)轉(zhuǎn)變?yōu)榛脽羝?。而?notebook 仍然處于活躍狀態(tài),你可以在展示幻燈片的同時(shí)執(zhí)行實(shí)時(shí)編碼! 要想使用該工具,你只需通過(guò) conda 或 pip 安裝 RISE 即可。

conda install -c conda-forge rise 或者

pip install RISE

現(xiàn)在,你可以點(diǎn)擊新按鈕,為 notebook 創(chuàng)建不錯(cuò)的幻燈片了:

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 可視化
    +關(guān)注

    關(guān)注

    1

    文章

    1262

    瀏覽量

    21853
  • 數(shù)據(jù)分析
    +關(guān)注

    關(guān)注

    2

    文章

    1472

    瀏覽量

    35031
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4827

    瀏覽量

    86708

原文標(biāo)題:掌握這 7 個(gè) Python 技巧,數(shù)據(jù)分析不怕!

文章出處:【微信號(hào):DBDevs,微信公眾號(hào):數(shù)據(jù)分析與開(kāi)發(fā)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    智能焊接數(shù)據(jù)分析設(shè)備提升工業(yè)效率與精度

    如何通過(guò)數(shù)據(jù)采集、分析與應(yīng)用,實(shí)現(xiàn)對(duì)焊接過(guò)程的精確控制,從而提升工業(yè)生產(chǎn)的整體水平。 首先,智能焊接數(shù)據(jù)分析設(shè)備的核心在于其強(qiáng)大的數(shù)據(jù)
    的頭像 發(fā)表于 01-15 14:11 ?436次閱讀

    智能焊接數(shù)據(jù)分析設(shè)備提升制造精度與效率

    不穩(wěn)定、生產(chǎn)效率低等問(wèn)題。而智能焊接數(shù)據(jù)分析設(shè)備的應(yīng)用,則為解決這些問(wèn)題提供了新的思路和技術(shù)手段。本文將探討智能焊接數(shù)據(jù)分析設(shè)備如何通過(guò)數(shù)據(jù)采集、分析及應(yīng)用,
    的頭像 發(fā)表于 01-14 09:36 ?436次閱讀

    NeuroBlade攜手亞馬遜EC2 F2實(shí)例,加速數(shù)據(jù)分析

    數(shù)據(jù)分析加速領(lǐng)域的領(lǐng)航者NeuroBlade,近日宣布與亞馬遜云科技(AWS)最新推出的Amazon Elastic Compute Cloud (Amazon EC2) F2實(shí)例實(shí)現(xiàn)深度集成。這
    的頭像 發(fā)表于 12-31 11:37 ?539次閱讀

    Mathematica 在數(shù)據(jù)分析中的應(yīng)用

    數(shù)據(jù)分析是現(xiàn)代科學(xué)研究和商業(yè)決策中不可或缺的部分。隨著數(shù)據(jù)量的爆炸性增長(zhǎng),對(duì)數(shù)據(jù)分析工具的需求也在不斷增加。Mathematica,作為
    的頭像 發(fā)表于 12-26 15:41 ?705次閱讀

    絕緣電阻測(cè)試儀數(shù)據(jù)分析與處理

    絕緣電阻測(cè)試儀主要用于檢查電氣設(shè)備電氣線路對(duì)地及相間的絕緣電阻。將所測(cè)得的結(jié)果與有關(guān)數(shù)據(jù)比較,這是對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析判斷的重要方法。以下是對(duì)絕緣電阻測(cè)試儀的數(shù)據(jù)分析與處理方法的介紹:
    的頭像 發(fā)表于 12-10 15:00 ?900次閱讀

    數(shù)據(jù)可視化與數(shù)據(jù)分析的關(guān)系

    的含義。 數(shù)據(jù)分析的定義與作用 數(shù)據(jù)分析種使用統(tǒng)計(jì)和邏輯方法來(lái)分析數(shù)據(jù)集的過(guò)程,目的是發(fā)現(xiàn)模式、趨勢(shì)和關(guān)聯(lián)性。它包括
    的頭像 發(fā)表于 12-06 17:09 ?961次閱讀

    NVIDIA助力百度提升數(shù)據(jù)分析效能

    在現(xiàn)代商業(yè)環(huán)境中,數(shù)據(jù)分析已然成為企業(yè)獲取成功的關(guān)鍵所在。長(zhǎng)期以來(lái),百度廣告數(shù)據(jù)團(tuán)隊(duì)始終面臨著極為復(fù)雜的數(shù)據(jù)分析挑戰(zhàn),其需要為逾千名用戶提供在線廣告業(yè)務(wù)分析服務(wù),而這些用戶涵蓋策略工程
    的頭像 發(fā)表于 11-20 10:06 ?704次閱讀

    eda與傳統(tǒng)數(shù)據(jù)分析的區(qū)別

    EDA(Exploratory Data Analysis,探索性數(shù)據(jù)分析)與傳統(tǒng)數(shù)據(jù)分析之間存在顯著的差異。以下是兩者的主要區(qū)別: 分析目的和方法論 EDA 目的 :EDA的主要
    的頭像 發(fā)表于 11-13 10:52 ?882次閱讀

    為什么選擇eda進(jìn)行數(shù)據(jù)分析

    數(shù)據(jù)科學(xué)領(lǐng)域,數(shù)據(jù)分析個(gè)復(fù)雜且多步驟的過(guò)程,它涉及到數(shù)據(jù)的收集、清洗、探索、建模和解釋。在這些步驟中,探索性數(shù)據(jù)分析(EDA)扮演著至
    的頭像 發(fā)表于 11-13 10:41 ?754次閱讀

    raid 在大數(shù)據(jù)分析中的應(yīng)用

    的具體應(yīng)用: 、提高性能 并行讀寫 :RAID技術(shù)通過(guò)并行讀寫多個(gè)磁盤,可以顯著提高數(shù)據(jù)的讀寫速度。在大數(shù)據(jù)分析環(huán)境中,數(shù)據(jù)讀寫速度是影響分析
    的頭像 發(fā)表于 11-12 09:44 ?723次閱讀

    智能制造中的數(shù)據(jù)分析應(yīng)用

    隨著工業(yè)4.0的推進(jìn),智能制造已經(jīng)成為制造業(yè)轉(zhuǎn)型升級(jí)的關(guān)鍵。數(shù)據(jù)分析作為智能制造的核心驅(qū)動(dòng)力,正逐步改變傳統(tǒng)的生產(chǎn)方式,為企業(yè)帶來(lái)更高的效率和更大的競(jìng)爭(zhēng)力。 、數(shù)據(jù)分析在智能制造中的重要性 提高
    的頭像 發(fā)表于 11-07 09:56 ?876次閱讀

    數(shù)據(jù)分析在數(shù)字化中的作用

    在當(dāng)今這個(gè)信息爆炸的時(shí)代,數(shù)據(jù)無(wú)處不在。從個(gè)人的日常活動(dòng)到企業(yè)的商業(yè)決策,數(shù)據(jù)都在發(fā)揮著越來(lái)越重要的作用。數(shù)字化轉(zhuǎn)型,作為企業(yè)適應(yīng)這變化的關(guān)鍵策略,正逐漸成為各行各業(yè)的共識(shí)。 1.
    的頭像 發(fā)表于 10-27 17:35 ?1141次閱讀

    云計(jì)算在大數(shù)據(jù)分析中的應(yīng)用

    云計(jì)算在大數(shù)據(jù)分析中的應(yīng)用廣泛且深入,它為用戶提供了存儲(chǔ)、計(jì)算、分析和預(yù)測(cè)的強(qiáng)大能力。以下是對(duì)云計(jì)算在大數(shù)據(jù)分析中應(yīng)用的介紹: 、存儲(chǔ)和處理海量數(shù)
    的頭像 發(fā)表于 10-24 09:18 ?1116次閱讀

    使用AI大模型進(jìn)行數(shù)據(jù)分析的技巧

    使用AI大模型進(jìn)行數(shù)據(jù)分析的技巧涉及多個(gè)方面,以下是一些關(guān)鍵的步驟和注意事項(xiàng): 、明確任務(wù)目標(biāo)和需求 在使用AI大模型之前,首先要明確數(shù)據(jù)分析的任務(wù)目標(biāo),這將直接影響模型的選擇、
    的頭像 發(fā)表于 10-23 15:14 ?2758次閱讀

    IP 地址大數(shù)據(jù)分析如何進(jìn)行網(wǎng)絡(luò)優(yōu)化?

    、大數(shù)據(jù)分析在網(wǎng)絡(luò)優(yōu)化中的作用 1.流量分析數(shù)據(jù)分析可以對(duì)網(wǎng)絡(luò)中的流量進(jìn)行實(shí)時(shí)監(jiān)測(cè)和分析,了解網(wǎng)絡(luò)的使用情況和流量趨勢(shì)。通過(guò)對(duì)流量
    的頭像 發(fā)表于 10-09 15:32 ?571次閱讀
    IP 地址大<b class='flag-5'>數(shù)據(jù)分析</b>如何進(jìn)行網(wǎng)絡(luò)優(yōu)化?