99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

Photon情報搜集爬蟲的主要功能與安裝使用說明

python爬蟲知識分享 ? 來源:python爬蟲知識分享 ? 作者:python爬蟲知識分享 ? 2022-06-23 16:35 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

Photon是一個由s0md3v開源的情報搜集爬蟲,其主要功能有:

1.爬取鏈接(內(nèi)鏈、外鏈)。
2.爬取帶參數(shù)的鏈接,如(pythondict.com/test?id=2)。
3.文件(pdf, png, xml)。
4.密鑰(在前端代碼中不小心被釋放出來的)。
5.js文件和Endpoint(spring中比較重要的監(jiān)視器)
6.匹配自定義正則表達式的字符串。
7.子域名和DNS相關數(shù)據(jù)。

你可以用它來干很多事,比如爬圖片、找漏洞、找子域名、爬數(shù)據(jù)等等。

不僅如此,它甚至支持json格式 ,僅需要在輸入命令的時候加上json參數(shù):

python photon.py -u "http://example.com" --export=json

1、下載安裝

https://github.com/s0md3v/Photon/archive/refs/heads/master.zip

2、簡單使用

注意,使用的時候要在Photon文件夾下。比如我們隨便提取一個網(wǎng)站的URL試一下,在終端輸入以下命令:

python photon.py -u https://bk.tencent.com/

它會在當前目錄下產(chǎn)生一個你測試的域名的文件夾,比如在我這里是 bk.tencent.com:

結果如下:

pYYBAGK0JCWAGbHpAABO34wJ3lQ540.png

嘻嘻,讓我們看看里面有什么東西,有沒有程序員留下的小彩蛋,打開external.txt,這是該網(wǎng)站的外鏈的存放位置。可以看到,這里不僅僅是只有網(wǎng)站頁面,連CDN文件地址都會放在這里,所以external可能是個藏寶庫哦。


3、擴展

這個項目的價值,不僅在于能夠快速拉取你想要得到的數(shù)據(jù),還在于能夠構建一個牛逼轟轟的情報系統(tǒng)(如果你技術夠強的話)。因為它是能不斷延伸下去的,比如從外鏈出發(fā),你能找到很多和這個網(wǎng)站相關的訊息。

相比于搜索引擎搜索的結果,實際上這些信息更符合情報的要求。因為存在禁止搜索引擎爬取的 robot.txt, 所以不是網(wǎng)站的所有信息都能在搜索引擎搜索得到,而通過這個Photon,你可以順藤摸瓜找到那些隱藏在互聯(lián)網(wǎng)世界的它們。

審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 開源
    +關注

    關注

    3

    文章

    3691

    瀏覽量

    43851
  • python
    +關注

    關注

    56

    文章

    4827

    瀏覽量

    86819
  • 爬蟲
    +關注

    關注

    0

    文章

    83

    瀏覽量

    7517
  • photon
    +關注

    關注

    0

    文章

    33

    瀏覽量

    3785
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    直流負載箱的主要功能有哪些?

    直流負載箱是專門用于模擬和測試直流電源系統(tǒng)負載的設備,其主要功能包括以下幾點: 直流負載箱可以模擬各種不同類型的負載,如電阻、電感、電容等,以滿足不同應用場景的需求。通過調(diào)整負載箱的參數(shù),可以實現(xiàn)
    發(fā)表于 06-17 13:34

    繼電器的主要功能與應用

    、溫度繼電器等。 按工作原理分類 :電磁繼電器、靜態(tài)繼電器、固態(tài)繼電器等。 按用途分類 :保護繼電器、控制繼電器、信號繼電器等。 二、繼電器的主要功能 信號放大 :繼電器可以將微弱的信號放大到足以驅動其他設備的信號強度。
    的頭像 發(fā)表于 12-28 09:33 ?1411次閱讀

    變頻電源的主要功能及特點

    變頻電源的主要功能及特點 1. 引言 隨著現(xiàn)代工業(yè)自動化和智能化的發(fā)展,對電力供應的穩(wěn)定性和靈活性提出了更高的要求。變頻電源作為一種能夠提供可變頻率和電壓的電源設備,已經(jīng)成為工業(yè)自動化領域不可或缺
    的頭像 發(fā)表于 12-04 10:06 ?862次閱讀

    畫面分割器的主要功能

    主要功能 畫面分割器是一種視頻處理設備,它能夠將多個視頻信號分割成多個小畫面,并在一個顯示器上同時顯示。這種設備的出現(xiàn),極大地提高了視頻監(jiān)控系統(tǒng)的效率和靈活性。本文將詳細介紹畫面分割器的主要功能、工作原理、技
    的頭像 發(fā)表于 10-17 09:22 ?1931次閱讀

    負載管理器的主要功能

    負載管理器(Load Manager)是計算機系統(tǒng)中的一個關鍵組件,它負責分配和管理計算資源,以確保系統(tǒng)運行的效率和穩(wěn)定性。負載管理器的主要功能包括任務調(diào)度、資源分配、性能監(jiān)控、故障恢復等。以下
    的頭像 發(fā)表于 10-10 11:26 ?860次閱讀

    數(shù)字化智能工廠的主要功能組成

    數(shù)字化智能工廠是一種基于數(shù)字化技術和智能化系統(tǒng)的現(xiàn)代制造工廠,主要功能包括自動化生產(chǎn)設備、信息技術基礎設施、數(shù)據(jù)采集與分析系統(tǒng)、互聯(lián)互通技術、人工智能與機器學習、虛擬現(xiàn)實與增強現(xiàn)實、安全防護體系和綠色制造。
    的頭像 發(fā)表于 10-08 11:40 ?990次閱讀
    數(shù)字化智能工廠的<b class='flag-5'>主要功能</b>組成

    自動調(diào)壓器的主要功能有哪些

    和電網(wǎng)需求。以下是自動調(diào)壓器的主要功能及其解釋: 電壓穩(wěn)定 : 自動調(diào)壓器的主要功能是維持電壓的穩(wěn)定。在電力系統(tǒng)中,電壓的波動會影響設備的正常運行和電力質量。自動調(diào)壓器通過監(jiān)測電壓并實時調(diào)整,確保電壓在設定的范圍內(nèi)波動。 負載適應性 : 當電力系統(tǒng)的負載
    的頭像 發(fā)表于 09-29 11:13 ?1889次閱讀

    電機控制器主要功能有哪些?其組成有哪些?

    電機控制器是現(xiàn)代電氣系統(tǒng)中的關鍵組成部分,它負責控制和調(diào)節(jié)電機的運行狀態(tài),以滿足各種應用需求。電機控制器的主要功能包括啟動、停止、調(diào)速、保護和監(jiān)測等。 電機控制器的主要功能 啟動控制 :控制器能夠
    的頭像 發(fā)表于 09-27 14:50 ?2985次閱讀

    FPD link主要功能模塊

    電子發(fā)燒友網(wǎng)站提供《FPD link主要功能模塊.pdf》資料免費下載
    發(fā)表于 09-27 11:38 ?0次下載
    FPD link<b class='flag-5'>主要功能</b>模塊

    漏洞掃描的主要功能是什么

    漏洞掃描是一種網(wǎng)絡安全技術,用于識別計算機系統(tǒng)、網(wǎng)絡或應用程序中的安全漏洞。這些漏洞可能被惡意用戶利用來獲取未授權訪問、數(shù)據(jù)泄露或其他形式的攻擊。漏洞掃描的主要功能是幫助組織及時發(fā)現(xiàn)并修復這些安全
    的頭像 發(fā)表于 09-25 10:25 ?951次閱讀

    電子地圖的主要功能與應用

    電子地圖,即數(shù)字地圖,是利用計算機技術,以數(shù)字方式存儲和查閱的地圖。它不僅繼承了傳統(tǒng)紙質地圖的基本功能,還通過現(xiàn)代科技手段實現(xiàn)了諸多創(chuàng)新應用。以下是電子地圖的主要功能與應用: 一、主要功能 快速存取
    的頭像 發(fā)表于 09-12 11:18 ?4165次閱讀
    電子地圖的<b class='flag-5'>主要功能與</b>應用

    GUTOR不間斷電源的主要功能是什么?

    GUTOR不間斷電源的主要功能是什么?
    發(fā)表于 09-06 17:44

    微處理器的主要功能是什么

    微處理器(Microprocessor),作為計算機系統(tǒng)的核心部件,其主要功能對于整個計算機系統(tǒng)的運行至關重要。
    的頭像 發(fā)表于 08-22 11:48 ?3528次閱讀

    DMA控制器的主要功能有哪些

    DMA(Direct Memory Access)控制器是一種在系統(tǒng)內(nèi)部轉移數(shù)據(jù)的獨特外設,其主要功能是實現(xiàn)內(nèi)存與外設之間的直接數(shù)據(jù)傳輸,而無需CPU的頻繁干預。這種數(shù)據(jù)傳輸方式顯著提高了數(shù)據(jù)傳輸?shù)男屎退俣龋瑴p輕了CPU的負擔,使得CPU能夠更專注于執(zhí)行其他任務。
    的頭像 發(fā)表于 08-20 10:41 ?3092次閱讀

    RFID天線的工作原理和主要功能

    RFID(Radio Frequency Identification,無線射頻識別)天線作為RFID系統(tǒng)中的關鍵組件,其工作原理和主要功能對于整個系統(tǒng)的性能和穩(wěn)定性至關重要。以下是對RFID天線工作原理和主要功能的詳細闡述。
    的頭像 發(fā)表于 08-09 15:38 ?2747次閱讀