99精品伊人亚洲|最近国产中文炮友|九草在线视频支援|AV网站大全最新|美女黄片免费观看|国产精品资源视频|精彩无码视频一区|91大神在线后入|伊人终合在线播放|久草综合久久中文

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

SpringBoot利用ThreadPoolTaskExecutor批量插入百萬(wàn)級(jí)數(shù)據(jù)實(shí)測(cè)!

jf_ro2CN3Fa ? 來(lái)源:CSDN ? 作者:CSDN ? 2022-11-16 10:38 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群


前言

  • 開發(fā)目的: 提高百萬(wàn)級(jí)數(shù)據(jù)插入效率。
  • 采取方案: 利用ThreadPoolTaskExecutor多線程批量插入。
  • 采用技術(shù): springboot2.1.1+mybatisPlus3.0.6+swagger2.5.0+Lombok1.18.4+postgresql+ThreadPoolTaskExecutor等。

基于 Spring Boot + MyBatis Plus + Vue & Element 實(shí)現(xiàn)的后臺(tái)管理系統(tǒng) + 用戶小程序,支持 RBAC 動(dòng)態(tài)權(quán)限、多租戶、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能

  • 項(xiàng)目地址:https://gitee.com/zhijiantianya/ruoyi-vue-pro
  • 視頻教程:https://doc.iocoder.cn/video/

具體實(shí)現(xiàn)細(xì)節(jié)

application-dev.properties添加線程池配置信息

> 基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實(shí)現(xiàn)的后臺(tái)管理系統(tǒng) + 用戶小程序,支持 RBAC 動(dòng)態(tài)權(quán)限、多租戶、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能
>
> * 項(xiàng)目地址:
> * 視頻教程

# 異步線程配置
# 配置核心線程數(shù)
async.executor.thread.core_pool_size = 30
# 配置最大線程數(shù)
async.executor.thread.max_pool_size = 30
# 配置隊(duì)列大小
async.executor.thread.queue_capacity = 99988
# 配置線程池中的線程的名稱前綴
async.executor.thread.name.prefix = async-importDB-

spring容器注入線程池bean對(duì)象

@Configuration

@EnableAsync

@Slf4j

publicclassExecutorConfig{
@Value("${async.executor.thread.core_pool_size}")
privateintcorePoolSize;
@Value("${async.executor.thread.max_pool_size}")
privateintmaxPoolSize;
@Value("${async.executor.thread.queue_capacity}")
privateintqueueCapacity;
@Value("${async.executor.thread.name.prefix}")
privateStringnamePrefix;

@Bean(name="asyncServiceExecutor")
publicExecutorasyncServiceExecutor(){
log.warn("startasyncServiceExecutor");
//在這里修改
ThreadPoolTaskExecutorexecutor=newVisiableThreadPoolTaskExecutor();
//配置核心線程數(shù)
executor.setCorePoolSize(corePoolSize);
//配置最大線程數(shù)
executor.setMaxPoolSize(maxPoolSize);
//配置隊(duì)列大小
executor.setQueueCapacity(queueCapacity);
//配置線程池中的線程的名稱前綴
executor.setThreadNamePrefix(namePrefix);
// rejection-policy:當(dāng)pool已經(jīng)達(dá)到max size的時(shí)候,如何處理新任務(wù)
// CALLER_RUNS:不在新線程中執(zhí)行任務(wù),而是有調(diào)用者所在的線程來(lái)執(zhí)行
executor.setRejectedExecutionHandler(newThreadPoolExecutor.CallerRunsPolicy());
//執(zhí)行初始化
executor.initialize();
returnexecutor;
}
}

創(chuàng)建異步線程 業(yè)務(wù)類

@Service
@Slf4j
publicclassAsyncServiceImplimplementsAsyncService{
@Override
@Async("asyncServiceExecutor")
publicvoidexecuteAsync(ListlogOutputResults,LogOutputResultMapperlogOutputResultMapper,CountDownLatchcountDownLatch){
try{
log.warn("startexecuteAsync");
//異步線程要做的事情
logOutputResultMapper.addLogOutputResultBatch(logOutputResults);
log.warn("endexecuteAsync");
}finally{
countDownLatch.countDown();//很關(guān)鍵,無(wú)論上面程序是否異常必須執(zhí)行countDown,否則await無(wú)法釋放
}
}
}

創(chuàng)建多線程批量插入具體業(yè)務(wù)方法

@Override
publicinttestMultiThread(){
ListlogOutputResults=getTestData();
//測(cè)試每100條數(shù)據(jù)插入開一個(gè)線程
List>lists=ConvertHandler.splitList(logOutputResults,100);
CountDownLatchcountDownLatch=newCountDownLatch(lists.size());
for(ListlistSub:lists){
asyncService.executeAsync(listSub,logOutputResultMapper,countDownLatch);
}
try{
countDownLatch.await();//保證之前的所有的線程都執(zhí)行完成,才會(huì)走下面的;
//這樣就可以在下面拿到所有線程執(zhí)行完的集合結(jié)果
}catch(Exceptione){
log.error("阻塞異常:"+e.getMessage());
}
returnlogOutputResults.size();
}

模擬2000003 條數(shù)據(jù)進(jìn)行測(cè)試

4fc16cce-6555-11ed-8abf-dac502259ad0.png

多線程 測(cè)試 2000003 耗時(shí)如下:耗時(shí)1.67分鐘

4fe0a918-6555-11ed-8abf-dac502259ad0.png4fe8a71c-6555-11ed-8abf-dac502259ad0.png

本次開啟30個(gè)線程,截圖如下:

5003382a-6555-11ed-8abf-dac502259ad0.png

單線程測(cè)試2000003 耗時(shí)如下:耗時(shí)5.75分鐘

502a55e0-6555-11ed-8abf-dac502259ad0.png504a0548-6555-11ed-8abf-dac502259ad0.png

檢查多線程入庫(kù)的數(shù)據(jù),檢查是否存在重復(fù)入庫(kù)的問(wèn)題:

根據(jù)id分組,查看是否有id重復(fù)的數(shù)據(jù),通過(guò)sql語(yǔ)句檢查,沒(méi)有發(fā)現(xiàn)重復(fù)入庫(kù)的問(wèn)題

506e5010-6555-11ed-8abf-dac502259ad0.png

檢查數(shù)據(jù)完整性:通過(guò)sql語(yǔ)句查詢,多線程錄入數(shù)據(jù)完整

50798f48-6555-11ed-8abf-dac502259ad0.png

測(cè)試結(jié)果

不同線程數(shù)測(cè)試:

508bc816-6555-11ed-8abf-dac502259ad0.png50969b9c-6555-11ed-8abf-dac502259ad0.png

總結(jié)

通過(guò)以上測(cè)試案列,同樣是導(dǎo)入2000003 條數(shù)據(jù),多線程耗時(shí)1.67分鐘,單線程耗時(shí)5.75分鐘。通過(guò)對(duì)不同線程數(shù)的測(cè)試,發(fā)現(xiàn)不是線程數(shù)越多越好,具體多少合適,網(wǎng)上有一個(gè)不成文的算法

CPU核心數(shù)量*2 +2 個(gè)線程。

附:測(cè)試電腦配置

50c32c2a-6555-11ed-8abf-dac502259ad0.png

審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • SQL
    SQL
    +關(guān)注

    關(guān)注

    1

    文章

    783

    瀏覽量

    45158
  • 多線程
    +關(guān)注

    關(guān)注

    0

    文章

    279

    瀏覽量

    20445
  • spring
    +關(guān)注

    關(guān)注

    0

    文章

    340

    瀏覽量

    15081
  • SpringBoot
    +關(guān)注

    關(guān)注

    0

    文章

    175

    瀏覽量

    401

原文標(biāo)題:性能爆表:SpringBoot利用ThreadPoolTaskExecutor批量插入百萬(wàn)級(jí)數(shù)據(jù)實(shí)測(cè)!

文章出處:【微信號(hào):芋道源碼,微信公眾號(hào):芋道源碼】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    批量多品種生產(chǎn)困局破冰:選擇性波峰焊如何重塑柔性電子制造競(jìng)爭(zhēng)力

    基板在焊接時(shí)的變形和保護(hù)錫膏印刷貼片物料不被錫波沖走,根據(jù)實(shí)際應(yīng)用調(diào)查換線后,設(shè)備調(diào)試編程和參數(shù)設(shè)定大約需1小時(shí),調(diào)試完成后首件驗(yàn)證約2小時(shí),治具開發(fā)成本在2000-8000元/款,年投入超百萬(wàn)
    發(fā)表于 06-30 14:54

    如何區(qū)分usb-typec是插入電腦還是插入其他電源?

    使用的是01的板子,要做成在usb插入電腦時(shí),使用uvc相機(jī), usb插入電源時(shí)使用顯示屏播放 如何判斷設(shè)備是插入到電腦還是電源,是通過(guò)某個(gè)設(shè)備節(jié)點(diǎn)還是什么? 需要先運(yùn)行
    發(fā)表于 04-24 08:23

    樹莓派5 + Hailo AI加速器:工業(yè)級(jí)數(shù)數(shù)據(jù)處理實(shí)戰(zhàn),打通SQLite與機(jī)器學(xué)習(xí)全鏈路

    本文討論了在工業(yè)自動(dòng)化背景下,開發(fā)者利用樹莓派5和HailoAI加速器進(jìn)行工業(yè)級(jí)數(shù)數(shù)據(jù)處理實(shí)戰(zhàn),打通SQLite與機(jī)器學(xué)習(xí)全鏈路時(shí)遇到的問(wèn)題及解決方案。關(guān)鍵要點(diǎn)包括:1.開發(fā)者需求:構(gòu)建能從
    的頭像 發(fā)表于 03-25 09:22 ?519次閱讀
    樹莓派5 + Hailo AI加速器:工業(yè)<b class='flag-5'>級(jí)數(shù)</b>值<b class='flag-5'>數(shù)據(jù)</b>處理實(shí)戰(zhàn),打通SQLite與機(jī)器學(xué)習(xí)全鏈路

    插入式電磁流量計(jì)的應(yīng)用范圍要知道

    插入式電磁流量計(jì)的結(jié)構(gòu)比較簡(jiǎn)單,沒(méi)有可活動(dòng)部件,測(cè)量數(shù)值比較準(zhǔn)確,比其他安裝形式的電磁流量計(jì)體積小便于安裝。且插入式電磁流量計(jì)的應(yīng)用范圍一點(diǎn)不比管段式的少,接下來(lái)我們?cè)敿?xì)說(shuō)說(shuō)插入式電磁流量計(jì)
    的頭像 發(fā)表于 02-07 15:35 ?479次閱讀
    <b class='flag-5'>插入</b>式電磁流量計(jì)的應(yīng)用范圍要知道

    hyper v vmware,hyper v vmware的操作步驟,hyper-v批量管理工具的使用指南

    的健身數(shù)據(jù)和消費(fèi)數(shù)據(jù)進(jìn)行分析,為會(huì)員提供個(gè)性化的健身方案和服務(wù);在課程安排方面,批量虛擬機(jī)可以根據(jù)會(huì)員的需求和時(shí)間,合理安排課程,提高課程的利用率和滿意度;在健身
    的頭像 發(fā)表于 02-07 15:29 ?312次閱讀
    hyper v vmware,hyper v vmware的操作步驟,hyper-v<b class='flag-5'>批量</b>管理工具的使用指南

    hyper 下載,hyper 下載的操作步驟,hyper-v批量管理工具的使用指南

    ? ? 咨詢行業(yè)在市場(chǎng)調(diào)研、數(shù)據(jù)分析和戰(zhàn)略規(guī)劃等方面,需要處理大量的市場(chǎng)數(shù)據(jù)和行業(yè)數(shù)據(jù)。批量虛擬機(jī)為咨詢行業(yè)帶來(lái)了高效的數(shù)據(jù)處理和分析能力。
    的頭像 發(fā)表于 02-07 15:09 ?784次閱讀
    hyper 下載,hyper 下載的操作步驟,hyper-v<b class='flag-5'>批量</b>管理工具的使用指南

    hyper v網(wǎng)絡(luò),hyper v網(wǎng)絡(luò)的操作步驟,hyper-v批量管理工具的使用指南

    ? ? 航空航天行業(yè)在飛行器設(shè)計(jì)、飛行模擬和衛(wèi)星數(shù)據(jù)分析等方面,對(duì)計(jì)算資源的要求極高。批量虛擬機(jī)為航空航天行業(yè)提供了關(guān)鍵的技術(shù)支撐。在飛行器設(shè)計(jì)階段,工程師可以利用批量虛擬機(jī)進(jìn)行復(fù)雜的
    的頭像 發(fā)表于 02-07 14:51 ?450次閱讀
    hyper v網(wǎng)絡(luò),hyper v網(wǎng)絡(luò)的操作步驟,hyper-v<b class='flag-5'>批量</b>管理工具的使用指南

    工業(yè)現(xiàn)場(chǎng)數(shù)據(jù)實(shí)時(shí)采集:解鎖工業(yè)智能化轉(zhuǎn)型的關(guān)鍵

    在當(dāng)今工業(yè)智能化轉(zhuǎn)型的浪潮中,工業(yè)現(xiàn)場(chǎng)數(shù)據(jù)實(shí)時(shí)采集的重要性不言而喻。它猶如企業(yè)運(yùn)營(yíng)的 “慧眼”,為企業(yè)帶來(lái)全方位的顯著價(jià)值。
    的頭像 發(fā)表于 01-20 13:24 ?495次閱讀
    工業(yè)現(xiàn)場(chǎng)<b class='flag-5'>數(shù)據(jù)實(shí)</b>時(shí)采集:解鎖工業(yè)智能化轉(zhuǎn)型的關(guān)鍵

    ADS8674輸出數(shù)據(jù)有尖刺,實(shí)測(cè)時(shí)鐘時(shí)序和datasheet不符是怎么回事?

    14位ADC。使用verilog實(shí)現(xiàn)數(shù)據(jù)讀寫。SCLK時(shí)鐘7.5MHZ。CS和SDI按照data上操作。但實(shí)測(cè)ADC的SDO數(shù)據(jù)波形和data上不一致。data上說(shuō)一個(gè)讀寫周期(CS兩個(gè)高脈沖
    發(fā)表于 12-10 06:15

    電桿傾斜監(jiān)測(cè)裝置 桿塔傾斜監(jiān)測(cè)裝置 支持數(shù)據(jù)實(shí)時(shí)讀取 精確預(yù)警

    TLKS-PMG-QX電桿傾斜監(jiān)測(cè)裝置的核心組件是雙軸傾角傳感器,該傳感器能夠精確測(cè)量桿塔在縱向和橫向兩個(gè)方向的傾斜角度。傳感器持續(xù)進(jìn)行數(shù)據(jù)采集,并將這些數(shù)據(jù)實(shí)時(shí)傳輸至監(jiān)測(cè)主機(jī)。監(jiān)測(cè)主機(jī)配備了高性能通信模塊,支持包括3G、4G、光纖和WiFi在內(nèi)的多種傳輸方式,將處理后的
    的頭像 發(fā)表于 11-05 11:05 ?723次閱讀
    電桿傾斜監(jiān)測(cè)裝置 桿塔傾斜監(jiān)測(cè)裝置 支持<b class='flag-5'>數(shù)據(jù)實(shí)</b>時(shí)讀取 精確預(yù)警

    請(qǐng)問(wèn)PWM輸出的死區(qū)時(shí)間如何實(shí)測(cè)?

    有誰(shuí)知道,PWM輸出的死區(qū)時(shí)間如何實(shí)測(cè)?
    發(fā)表于 10-31 08:03

    智芯公司雙模分鐘級(jí)數(shù)據(jù)采集創(chuàng)新方案取得顯著成果

    近日,從國(guó)網(wǎng)安徽電力與國(guó)網(wǎng)山東電力的現(xiàn)場(chǎng)工作人員處分別獲得反饋,智芯公司的雙模分鐘級(jí)采集創(chuàng)新方案在山東與安徽兩省的試驗(yàn)驗(yàn)證中均取得了顯著成果。“在安徽省的試驗(yàn)驗(yàn)證中,首次實(shí)現(xiàn)分鐘級(jí)數(shù)據(jù)采集,成功率
    的頭像 發(fā)表于 10-25 11:43 ?1271次閱讀

    企業(yè)級(jí)數(shù)據(jù)庫(kù)的配置和管理要求匯總

    企業(yè)級(jí)數(shù)據(jù)庫(kù)配置需高性能硬件支撐,包括服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)及電源冗余,選用穩(wěn)定DBMS與操作系統(tǒng),注重索引與查詢優(yōu)化。管理上,強(qiáng)調(diào)數(shù)據(jù)安全,實(shí)施加密、訪問(wèn)控制與審計(jì);確保高可用,配置容錯(cuò)機(jī)制與備份恢復(fù);監(jiān)控調(diào)優(yōu)性能,規(guī)劃容量與擴(kuò)展性;追求易用性,簡(jiǎn)化日常管理與維護(hù),確保
    的頭像 發(fā)表于 09-27 10:50 ?497次閱讀

    DNA計(jì)算機(jī)研究取得突破性進(jìn)展:PB級(jí)數(shù)據(jù)存儲(chǔ)與高效處理

    8月29日,科學(xué)界傳來(lái)振奮人心的消息,一項(xiàng)革命性的研究成果為實(shí)現(xiàn)全功能DNA計(jì)算機(jī)奠定了堅(jiān)實(shí)基礎(chǔ)。研究團(tuán)隊(duì)成功開發(fā)出一種創(chuàng)新技術(shù),該技術(shù)不僅能在DNA中存儲(chǔ)驚人的PB級(jí)數(shù)據(jù),還能確保這些數(shù)據(jù)在數(shù)千乃至數(shù)百萬(wàn)年內(nèi)保持完好,同時(shí)實(shí)現(xiàn)
    的頭像 發(fā)表于 08-29 16:29 ?935次閱讀

    天拓四方:工業(yè)級(jí)數(shù)據(jù)采集網(wǎng)關(guān)核心功能解析與應(yīng)用價(jià)值

    在數(shù)字化轉(zhuǎn)型浪潮中,工業(yè)4.0與智能制造的概念日益深入人心,而這一切的基石在于高效、準(zhǔn)確的數(shù)據(jù)采集與處理能力。工業(yè)級(jí)數(shù)據(jù)采集網(wǎng)關(guān)作為連接現(xiàn)場(chǎng)設(shè)備與云端或數(shù)據(jù)中心的關(guān)鍵橋梁,扮演著至關(guān)重要的角色。本文
    的頭像 發(fā)表于 07-23 16:11 ?587次閱讀