99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

如何用數(shù)學函數(shù)去理解機器學習的過程

倩倩 ? 來源:人人都是產(chǎn)品經(jīng)理 ? 2020-04-15 15:39 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近期也是在做項目的過程中發(fā)現(xiàn),其實AI產(chǎn)品經(jīng)理不需要深入研究每一種算法,能了解機器學習的過程,這其中用到哪些常用算法,分別使用與解決哪些問題和應用場景,并基于了解的知識,去更好的建立AI產(chǎn)品落地流程、把控項目進度、風險評估,這個才是最關鍵的地方,算法研究交給專業(yè)的算法工程師,各司其職,相互配合。

基于最近看的一些文章和書籍,本文將重點分享,如何用數(shù)學函數(shù)去理解機器學習的過程,以及用數(shù)學原理指導產(chǎn)品工作的一些思考。

一、機器學習的本質(zhì)

機器學習,即學習人類的分析、判斷、解決問題的能力。人的能力如何得來?通過長期的信息輸入,再經(jīng)過大腦思考,最后輸出對事物的判斷。

那么機器如何學習?通過大量的訓練數(shù)據(jù),學習找規(guī)律,找到問題的理想最優(yōu)解。所以,機器學習的本質(zhì)其實是函數(shù)預測,即f:x-》y。

圖片來源:網(wǎng)絡

中學時期,我們常解的數(shù)據(jù)問題之一便是:求解方程。已知坐標(x1,y1),(x2,y2)…(xn,yn)求解n元n次方程,再將新的x帶入方程對應的y。機器學習的過程可以類比方程求解過程:

樣本數(shù)據(jù):已知的坐標集D:(x1,y1),(x2,y2)…(xn,yn);

算法:即求解函數(shù)的方法;

模型訓練:最后求解的方程或函數(shù);

評估方法:將新的x帶入方程驗證函數(shù)“預測”是否正確。

與普通的函數(shù)不同的是,機器學習往往很難求解出完整的方程,通過各種手段求最接近理想情況下的未知項取值。以人臉識別為例,預測函數(shù)為:f:X(圖片臉部特征)—》Y(身份),其中f則是通過機器學習后,具有人臉識別能力的模型。使用不同的機器學習方法訓練的模型不同,即對應的函數(shù)形式也不同。

機器學習解決的常見四類問題:分類、聚類、排序和推薦。

(1)分類問題:一般包括二分類和多分類的問題,二分類即非黑即白,比如垃圾郵件過濾;多分類問題,即有多種類別的輸出結(jié)果,比如圖像識別。

(2)聚類問題:在一個集合中,將相似度高的對象組成多個類的過程叫聚類。比如一些新聞類的應用,將未標注的數(shù)據(jù)通過聚類算法來構(gòu)建主題。

(3)排序問題:根據(jù)相關度、重要度、匹配度等,讓用戶在海量的信息中找到想要的信息,常見的應用場景,如搜索引擎。

(4)推薦問題:典型的應用場景,電商行業(yè)的千人千面,根據(jù)用戶的購買、收藏等行為,分析用戶的喜好,實現(xiàn)精準營銷。

在理解了機器學習的本質(zhì)以及常見的問題類型后,下面將介紹機器學習的過程。

二、機器學習的過程

機器學習的過程主要分為三個步驟:樣本準備、算法選取、模型評估。

1. 樣本準備

機器學習,需要先學習才能預測判斷,樣本則是機器學習的信息輸入,樣本的質(zhì)量很大程度上決定了機器學習的效果。以人臉識別為例,其樣本是大量的人臉圖片。那么,大量的樣本如何獲???按數(shù)據(jù)來源分類,可分為內(nèi)部樣本和外部樣本。

(1)內(nèi)部樣本

內(nèi)部樣本數(shù)據(jù),一般可基于內(nèi)部已積累的樣本數(shù)據(jù),或通過對產(chǎn)品進行數(shù)據(jù)標注或者埋點,來收集更多維度的樣本數(shù)據(jù)。

(2)外部樣本

若數(shù)據(jù)的量級或豐富度不夠,則可能需要獲取一些外部樣本。比如通過搜索典型的大型公開數(shù)據(jù)集,或者數(shù)據(jù)爬取等方式,來獲取一些指定場景的新樣本。

2. 算法選取

在機器學習的過程中,找到接近理想模型(函數(shù))的方法即算法。機器學習的常用算法很多,不同的算法,解決的問題不同,適用的場景也不同。

如下圖,比如解決聚類問題,一般使用無監(jiān)督學習算法,分類問題,一般使用有監(jiān)督學習算法:支持向量機SVM、神經(jīng)網(wǎng)絡等,目前神經(jīng)網(wǎng)絡依然是研究熱點之一。

(1)神經(jīng)網(wǎng)絡原理

神經(jīng)網(wǎng)絡是一種模仿人類思考方式的模型,就像飛機模仿鳥的形態(tài)一樣,神經(jīng)網(wǎng)絡也借鑒了生物學的神經(jīng)元結(jié)構(gòu)。神經(jīng)元細胞主要由樹突、軸突和細胞體構(gòu)成,樹突用于接收信號并傳遞給細胞體,細胞體處理信號,軸突輸出信號。神經(jīng)網(wǎng)絡結(jié)構(gòu)與此類似,一個典型的單隱含層神經(jīng)網(wǎng)絡架構(gòu)如下圖:

圖片來源:網(wǎng)絡

輸入層:接收輸入數(shù)據(jù),如圖片、語音特征等;

隱藏層:承載數(shù)據(jù)特征運算;

輸出層:輸出計算的結(jié)果;

其本質(zhì)是,通過調(diào)整內(nèi)部大量處理單元的連接關系、激勵函數(shù)和權重值,實現(xiàn)對理想函數(shù)的逼近。

(2)深度學習

深度學習是神經(jīng)網(wǎng)絡的一種算法,目前在計算機視覺等領域應用十分廣泛,相比單隱藏層神經(jīng)網(wǎng)絡結(jié)構(gòu),深度學習神經(jīng)網(wǎng)絡是一種多隱藏層、多層感知器的學習結(jié)構(gòu)。如下圖所示,增加更多的隱藏層后,網(wǎng)絡能更深入得表示特征,以及具有更強的函數(shù)模擬能力,能獲得更好的分類能力。

圖片來源:網(wǎng)絡

深度學習三類經(jīng)典的神經(jīng)網(wǎng)絡分別是:深度神經(jīng)網(wǎng)絡DNN、卷積神經(jīng)網(wǎng)絡CNN、和循環(huán)神經(jīng)網(wǎng)絡RNN。其中DNN、CNN一般解決計算機視覺、圖像識別等分類問題,RNN適用于自然語言處理等問題。

基于大量的樣本、選取合適的算法進行模型訓練后,下一步則是對模型的預測效果進行評估。

3. 模型評估

模型評估一般可分為兩個階段:實驗階段和上線階段,在實驗階段能達到一定的使用標準指標,才能進入實際上線使用階段。

(1)實驗階段

為了評估模型的可用性,需要對模型的預測能力進行評價,其中很重要的一個評價指標就是準確率,即模型預測和標簽一致的樣本占所有樣本的比例。即選擇不同于訓練數(shù)據(jù)的,有標簽數(shù)據(jù)的測試集,輸入模型進行運算,計算預測的準確率,評估模型對于測試集的預測效果是否能模型可用指標。

(2)上線階段

在模型投入使用后,基于上線后的真實數(shù)據(jù)反饋,評估模型的能力,并基于新的反饋數(shù)據(jù),持續(xù)迭代優(yōu)化模型,提高或保持模型的泛化能力。

三、總結(jié)與思考

作為產(chǎn)品賦能的一個“工具”,產(chǎn)品化的整個流程可總結(jié)為:業(yè)務需求-》轉(zhuǎn)化為業(yè)務函數(shù)》樣本數(shù)據(jù)獲取-》選擇合適的算法-》模型訓練-》內(nèi)部評估-》上線驗證迭代。

其實這個過程,最底層的邏輯還是基于數(shù)學建模原理的思路來解決問題,也可用來指導一些日常產(chǎn)品工作中的問題。比如,《增長黑客》中的增長杠桿、北極星指標等方法,其本質(zhì)也是數(shù)據(jù)建模的原理。定義業(yè)務函數(shù)、確定影響因素、權重成本分析、判斷最優(yōu)解決方案,評估上線反饋形成閉環(huán)。

所有,很多問題表面看起來各式各樣、各不相同,但抽象出來可能就是一些學科問題,比如數(shù)學、物理、經(jīng)濟學等,聯(lián)想到我前段時間分享的一篇文章《透過《奇葩說》論點,看背后的多元思維模型》中提到的多元思維模型核心觀點——越往深層次思考,越能挖掘事物本質(zhì),越接近學科原理。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 算法
    +關注

    關注

    23

    文章

    4710

    瀏覽量

    95403
  • 機器學習
    +關注

    關注

    66

    文章

    8503

    瀏覽量

    134630
  • 數(shù)據(jù)集

    關注

    4

    文章

    1224

    瀏覽量

    25449
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    嵌入式AI技術之深度學習:數(shù)據(jù)樣本預處理過程中使用合適的特征變換對深度學習的意義

    ? 作者:蘇勇Andrew 使用神經(jīng)網(wǎng)絡實現(xiàn)機器學習,網(wǎng)絡的每個層都將對輸入的數(shù)據(jù)做一次抽象,多層神經(jīng)網(wǎng)絡構(gòu)成深度學習的框架,可以深度理解數(shù)據(jù)中所要表示的規(guī)律。從原理上看,使用深度
    的頭像 發(fā)表于 04-02 18:21 ?888次閱讀

    馬達控制上必要的知識 三角函數(shù)

    為了理解馬達控制技術,必須理解如下基礎學問。 (1) 數(shù)學:三角函數(shù),指數(shù)函數(shù),復數(shù)函數(shù),微分,
    發(fā)表于 03-18 12:23

    數(shù)學專業(yè)轉(zhuǎn)人工智能方向:考研/就業(yè)前景分析及大學四年學習路徑全揭秘

    隨著AI技術的不斷進步,專業(yè)人才的需求也日益增長。數(shù)學作為AI的基石,為機器學習、深度學習、數(shù)據(jù)分析等提供了理論基礎和工具,因此越來越多的數(shù)學
    的頭像 發(fā)表于 02-07 11:14 ?1118次閱讀
    <b class='flag-5'>數(shù)學</b>專業(yè)轉(zhuǎn)人工智能方向:考研/就業(yè)前景分析及大學四年<b class='flag-5'>學習</b>路徑全揭秘

    如何選擇云原生機器學習平臺

    當今,云原生機器學習平臺因其彈性擴展、高效部署、低成本運營等優(yōu)勢,逐漸成為企業(yè)構(gòu)建和部署機器學習應用的首選。然而,市場上的云原生機器
    的頭像 發(fā)表于 12-25 11:54 ?457次閱讀

    構(gòu)建云原生機器學習平臺流程

    構(gòu)建云原生機器學習平臺是一個復雜而系統(tǒng)的過程,涉及數(shù)據(jù)收集、處理、特征提取、模型訓練、評估、部署和監(jiān)控等多個環(huán)節(jié)。
    的頭像 發(fā)表于 12-14 10:34 ?435次閱讀

    ASR和機器學習的關系

    自動語音識別(ASR)技術的發(fā)展一直是人工智能領域的一個重要分支,它使得機器能夠理解和處理人類語言。隨著機器學習(ML)技術的迅猛發(fā)展,ASR系統(tǒng)的性能和準確性得到了顯著提升。 ASR
    的頭像 發(fā)表于 11-18 15:16 ?784次閱讀

    什么是機器學習?通過機器學習方法能解決哪些問題?

    來源:Master編程樹“機器學習”最初的研究動機是讓計算機系統(tǒng)具有人的學習能力以便實現(xiàn)人工智能。因為沒有學習能力的系統(tǒng)很難被認為是具有智能的。目前被廣泛采用的
    的頭像 發(fā)表于 11-16 01:07 ?965次閱讀
    什么是<b class='flag-5'>機器</b><b class='flag-5'>學習</b>?通過<b class='flag-5'>機器</b><b class='flag-5'>學習</b>方法能解決哪些問題?

    NPU與機器學習算法的關系

    在人工智能領域,機器學習算法是實現(xiàn)智能系統(tǒng)的核心。隨著數(shù)據(jù)量的激增和算法復雜度的提升,對計算資源的需求也在不斷增長。NPU作為一種專門為深度學習機器
    的頭像 發(fā)表于 11-15 09:19 ?1224次閱讀

    傅里葉變換的數(shù)學原理

    傅里葉變換的數(shù)學原理主要基于一種將函數(shù)分解為正弦和余弦函數(shù)(或復指數(shù)函數(shù))的線性組合的思想。以下是對傅里葉變換數(shù)學原理的介紹: 一、基本原理
    的頭像 發(fā)表于 11-14 09:27 ?1757次閱讀

    eda在機器學習中的應用

    機器學習項目中,數(shù)據(jù)預處理和理解是成功構(gòu)建模型的關鍵。探索性數(shù)據(jù)分析(EDA)是這一過程中不可或缺的一部分。 1. 數(shù)據(jù)清洗 數(shù)據(jù)清洗 是機器
    的頭像 發(fā)表于 11-13 10:42 ?904次閱讀

    【「時間序列與機器學習」閱讀體驗】時間序列的信息提取

    本章主講時間序列的信息提取,章節(jié)中有許多概念定義和數(shù)學公式,并配有Python代碼演示,細細品讀與理解動手演練,還是很開拓思維視野的。下面以筆記形式進行展開。 時間序列的信息提取是時間序列分析的一
    發(fā)表于 08-17 21:12

    【《時間序列與機器學習》閱讀體驗】+ 時間序列的信息提取

    提高機器學習模型效果與性能的過程。 而我對特征工程的理解就是從一堆數(shù)據(jù)里找出能表示這堆數(shù)據(jù)的最小數(shù)據(jù)集,而這個找出特征數(shù)據(jù)的過程就是信息提取
    發(fā)表于 08-14 18:00

    【「時間序列與機器學習」閱讀體驗】+ 簡單建議

    這本書以其系統(tǒng)性的框架和深入淺出的講解,為讀者繪制了一幅時間序列分析與機器學習融合應用的宏偉藍圖。作者不僅扎實地構(gòu)建了時間序列分析的基礎知識,更巧妙地展示了機器學習如何在這一領域發(fā)揮巨
    發(fā)表于 08-12 11:21

    【《時間序列與機器學習》閱讀體驗】+ 了解時間序列

    相等間隔的時間段內(nèi)依照給定的采樣率對某種潛在過程進行觀測的結(jié)果。時間序列數(shù)據(jù)本質(zhì)上反映的是某個或者某些隨機變量隨時間不斷變化的趨勢。 因此,時間序列可以簡單的理解為不同時刻采集的一串數(shù)據(jù),使用機器
    發(fā)表于 08-11 17:55

    【《大語言模型應用指南》閱讀體驗】+ 基礎篇

    的內(nèi)容,閱讀雖慢,但在這一學習過程中也掌握了許多新知識,為后續(xù)章節(jié)的閱讀打下基礎,這是一個快樂的學習過程。 基礎篇從人工智能的起源講起,提出了機器
    發(fā)表于 07-25 14:33