• Spring Cloud Sleuth
• Zipkin
• 快速上手
  • 方式一、HTTP
  • 方式二、消息總線 RabbitMQ

隨著業(yè)務(wù)發(fā)展，系統(tǒng)拆分導(dǎo)致系統(tǒng)調(diào)用鏈路愈發(fā)復(fù)雜一個前端請求可能最終需要調(diào)用很多次后端服務(wù)才能完成，當(dāng)整個請求變慢或不可用時，我們是無法得知該請求是由某個或某些后端服務(wù)引起的，這時就需要解決如何快讀定位服務(wù)故障點，以對癥下藥。于是就有了分布式系統(tǒng)調(diào)用跟蹤的誕生。

現(xiàn)今業(yè)界分布式服務(wù)跟蹤的理論基礎(chǔ)主要來自于 Google 的一篇論文《Dapper, a Large-Scale Distributed Systems Tracing Infrastructure》，使用最為廣泛的開源實現(xiàn)是 Twitter 的 Zipkin，為了實現(xiàn)平臺無關(guān)、廠商無關(guān)的分布式服務(wù)跟蹤，CNCF 發(fā)布了布式服務(wù)跟蹤標(biāo)準(zhǔn) Open Tracing。國內(nèi)，淘寶的 “鷹眼”、京東的 “Hydra”、大眾點評的 “CAT”、新浪的 “Watchman”、唯品會的 “Microscope”、窩窩網(wǎng)的 “Tracing” 都是這樣的系統(tǒng)。

Dapper, a Large-Scale Distributed Systems Tracing Infrastructure:

https://research.google.com/pubs/pub36356.html

Spring Cloud Sleuth 也為我們提供了一套完整的解決方案。在本章中，我們將詳細(xì)介紹如何使用 Spring Cloud Sleuth + Zipkin 來為我們的微服務(wù)架構(gòu)增加分布式服務(wù)跟蹤的能力。

Spring Cloud Sleuth

一般的，一個分布式服務(wù)跟蹤系統(tǒng)主要由三部分構(gòu)成：

• 數(shù)據(jù)收集
• 數(shù)據(jù)存儲
• 數(shù)據(jù)展示

根據(jù)系統(tǒng)大小不同，每一部分的結(jié)構(gòu)又有一定變化。譬如，對于大規(guī)模分布式系統(tǒng)，數(shù)據(jù)存儲可分為實時數(shù)據(jù)和全量數(shù)據(jù)兩部分，實時數(shù)據(jù)用于故障排查（Trouble Shooting），全量數(shù)據(jù)用于系統(tǒng)優(yōu)化；數(shù)據(jù)收集除了支持平臺無關(guān)和開發(fā)語言無關(guān)系統(tǒng)的數(shù)據(jù)收集，還包括異步數(shù)據(jù)收集（需要跟蹤隊列中的消息，保證調(diào)用的連貫性），以及確保更小的侵入性；數(shù)據(jù)展示又涉及到數(shù)據(jù)挖掘和分析。雖然每一部分都可能變得很復(fù)雜，但基本原理都類似。

服務(wù)追蹤的追蹤單元是從客戶發(fā)起請求（request）抵達(dá)被追蹤系統(tǒng)的邊界開始，到被追蹤系統(tǒng)向客戶返回響應(yīng)（response）為止的過程，稱為一個 trace 。每個 trace 中會調(diào)用若干個服務(wù)，為了記錄調(diào)用了哪些服務(wù)，以及每次調(diào)用的消耗時間等信息，在每次調(diào)用服務(wù)時，埋入一個調(diào)用記錄，稱為一個 span 。這樣，若干個有序的 span 就組成了一個 trace。在系統(tǒng)向外界提供服務(wù)的過程中，會不斷地有請求和響應(yīng)發(fā)生，也就會不斷生成 trace，把這些帶有 span 的 trace 記錄下來，就可以描繪出一幅系統(tǒng)的服務(wù)拓?fù)鋱D。附帶上 span 中的響應(yīng)時間，以及請求成功與否等信息，就可以在發(fā)生問題的時候，找到異常的服務(wù)；根據(jù)歷史數(shù)據(jù)，還可以從系統(tǒng)整體層面分析出哪里性能差，定位性能優(yōu)化的目標(biāo)。

Spring Cloud Sleuth 為服務(wù)之間調(diào)用提供鏈路追蹤。通過 Sleuth 可以很清楚的了解到一個服務(wù)請求經(jīng)過了哪些服務(wù)，每個服務(wù)處理花費(fèi)了多長。從而讓我們可以很方便的理清各微服務(wù)間的調(diào)用關(guān)系。此外 Sleuth 可以幫助我們：

• 耗時分析 ：通過 Sleuth 可以很方便的了解到每個采樣請求的耗時，從而分析出哪些服務(wù)調(diào)用比較耗時；
• 可視化錯誤 ：對于程序未捕捉的異常，可以通過集成 Zipkin 服務(wù)界面上看到；
• 鏈路優(yōu)化 ：對于調(diào)用比較頻繁的服務(wù)，可以針對這些服務(wù)實施一些優(yōu)化措施。

Spring Cloud Sleuth 可以結(jié)合 Zipkin，將信息發(fā)送到 Zipkin，利用 Zipkin 的存儲來存儲信息，利用 Zipkin UI 來展示數(shù)據(jù)。

這是 Spring Cloud Sleuth 的概念圖：

基于 Spring Boot + MyBatis Plus + Vue & Element 實現(xiàn)的后臺管理系統(tǒng) + 用戶小程序，支持 RBAC 動態(tài)權(quán)限、多租戶、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能

• 項目地址：https://github.com/YunaiV/ruoyi-vue-pro
• 視頻教程：https://doc.iocoder.cn/video/

Zipkin

Zipkin 是 Twitter 的一個開源項目，它基于 Google Dapper 實現(xiàn)，它致力于收集服務(wù)的定時數(shù)據(jù)，以解決微服務(wù)架構(gòu)中的延遲問題，包括數(shù)據(jù)的收集、存儲、查找和展現(xiàn)。我們可以使用它來收集各個服務(wù)器上請求鏈路的跟蹤數(shù)據(jù)，并通過它提供的 REST API 接口來輔助我們查詢跟蹤數(shù)據(jù)以實現(xiàn)對分布式系統(tǒng)的監(jiān)控程序，從而及時地發(fā)現(xiàn)系統(tǒng)中出現(xiàn)的延遲升高問題并找出系統(tǒng)性能瓶頸的根源。除了面向開發(fā)的 API 接口之外，它也提供了方便的 UI 組件來幫助我們直觀的搜索跟蹤信息和分析請求鏈路明細(xì)，比如：可以查詢某段時間內(nèi)各用戶請求的處理時間等。

Zipkin 提供了可插拔數(shù)據(jù)存儲方式：In-Memory、MySQL、Cassandra 以及 Elasticsearch。接下來的測試為方便直接采用 In-Memory 方式進(jìn)行存儲，生產(chǎn)推薦 Elasticsearch。

上圖展示了 Zipkin 的基礎(chǔ)架構(gòu)，它主要由 4 個核心組件構(gòu)成：

• Collector ：收集器組件，它主要用于處理從外部系統(tǒng)發(fā)送過來的跟蹤信息，將這些信息轉(zhuǎn)換為 Zipkin 內(nèi)部處理的 Span 格式，以支持后續(xù)的存儲、分析、展示等功能。
• Storage ：存儲組件，它主要對處理收集器接收到的跟蹤信息，默認(rèn)會將這些信息存儲在內(nèi)存中，我們也可以修改此存儲策略，通過使用其他存儲組件將跟蹤信息存儲到數(shù)據(jù)庫中。
• RESTful API ：API 組件，它主要用來提供外部訪問接口。比如給客戶端展示跟蹤信息，或是外接系統(tǒng)訪問以實現(xiàn)監(jiān)控等。
• Web UI ：UI 組件，基于 API 組件實現(xiàn)的上層應(yīng)用。通過 UI 組件用戶可以方便而有直觀地查詢和分析跟蹤信息。

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現(xiàn)的后臺管理系統(tǒng) + 用戶小程序，支持 RBAC 動態(tài)權(quán)限、多租戶、數(shù)據(jù)權(quán)限、工作流、三方登錄、支付、短信、商城等功能

• 項目地址：https://github.com/YunaiV/yudao-cloud
• 視頻教程：https://doc.iocoder.cn/video/

快速上手

Zipkin 分為兩端，一個是 Zipkin 服務(wù)端，一個是 Zipkin 客戶端，客戶端也就是微服務(wù)的應(yīng)用。

客戶端會配置服務(wù)端的 URL 地址，一旦發(fā)生服務(wù)間的調(diào)用的時候，會被配置在微服務(wù)里面的 Sleuth 的監(jiān)聽器監(jiān)聽，并生成相應(yīng)的 Trace 和 Span 信息發(fā)送給服務(wù)端。發(fā)送的方式主要有兩種，一種是 HTTP 報文的方式，還有一種是消息總線的方式如 RabbitMQ。

不論哪種方式，我們都需要：

• 一個 Eureka 服務(wù)注冊中心，這里我們就用之前的eureka項目來當(dāng)注冊中心。
• 一個 Zipkin 服務(wù)端。
• 兩個微服務(wù)應(yīng)用，trace-a和trace-b，其中trace-a中有一個 REST 接口/trace-a，調(diào)用該接口后將觸發(fā)對trace-b應(yīng)用的調(diào)用。

方式一、HTTP

在 Spring Cloud Sleuth 中對 Zipkin 的整合進(jìn)行了自動化配置的封裝，所以我們可以很輕松的引入和使用它。

Zipkin 服務(wù)端

關(guān)于 Zipkin 的服務(wù)端，在使用 Spring Boot 2.x 版本后，官方就不推薦自行定制編譯了，反而是直接提供了編譯好的 jar 包來給我們使用，詳情請看 upgrade to Spring Boot 2.0 NoClassDefFoundError UndertowEmbeddedServletContainerFactory · Issue #1962 · openzipkin/zipkin · GitHub

并且以前的@EnableZipkinServer也已經(jīng)被打上了@Deprecated

If you decide to make a custom server, you accept responsibility for troubleshooting your build or configuration problems, even if such problems are a reaction to a change made by the OpenZipkin maintainers. In other words, custom servers are possible, but not supported.

EnableZipkinServer.javagithub.com/openzipkin/zipkin/blob/master/zipkin-server/src/main/java/zipkin/server/EnableZipkinServer.java

簡而言之就是：私自改包，后果自負(fù)。

所以官方提供了一鍵腳本：

curl-sSLhttps://zipkin.io/quickstart.sh|bash-s
java-jarzipkin.jar

如果用 Docker 的話，直接

dockerrun-d-p9411:9411openzipkin/zipkin

任一方式啟動后，訪問 http://localhost:9411/zipkin/ 就能看到如下界面，嗯還有漢化看起來不錯。

至此服務(wù)端就 OK 了。

微服務(wù)應(yīng)用

創(chuàng)建兩個基本的 Spring Boot 工程，名字分別為 trace-a 和 trace-b。

兩個工程的 pom.xml 均引入以下依賴坐標(biāo)：

<dependency>
<groupId>org.springframework.bootgroupId>
<artifactId>spring-boot-starter-webfluxartifactId>
dependency>
<dependency>
<groupId>org.springframework.cloudgroupId>
<artifactId>spring-cloud-starter-netflix-eureka-clientartifactId>
dependency>
<dependency>
<groupId>org.springframework.cloudgroupId>
<artifactId>spring-cloud-starter-sleuthartifactId>
dependency>
<dependency>
<groupId>org.springframework.cloudgroupId>
<artifactId>spring-cloud-starter-zipkinartifactId>
dependency>

兩者的配置文件也一樣（除了spring. application.name和server.port，自行修改）

spring:
application:
name:trace-a
sleuth:
web:
client:
enabled:true
sampler:
probability:1.0#將采樣比例設(shè)置為1.0，也就是全部都需要。默認(rèn)是0.1
zipkin:
base-url:http://localhost:9411/#指定了Zipkin服務(wù)器的地址
server:
port:8080
eureka:
client:
service-url:
defaultZone:http://localhost:7000/eureka/

Spring Cloud Sleuth 有一個 Sampler 策略，可以通過這個實現(xiàn)類來控制采樣算法。采樣器不會阻礙 span 相關(guān) id 的產(chǎn)生，但是會對導(dǎo)出以及附加事件標(biāo)簽的相關(guān)操作造成影響。Sleuth 默認(rèn)采樣算法的實現(xiàn)是 Reservoir sampling，具體的實現(xiàn)類是 PercentageBasedSampler，默認(rèn)的采樣比例為: 0.1(即 10%)。不過我們可以通過 spring.sleuth.sampler.percentage 來設(shè)置，所設(shè)置的值介于 0.0 到 1.0 之間，1.0 則表示全部采集。

trace-a 工程的啟動類如下：

@RestController
@SpringBootApplication
publicclassApplication{

publicstaticvoidmain(String[]args){
SpringApplication.run(Application.class,args);
}

@Autowired
privateLoadBalancerExchangeFilterFunctionlbFunction;

@Bean
publicWebClientwebClient(){
returnWebClient.builder().baseUrl("http://trace-b")
.filter(lbFunction)
.build();
}

@GetMapping("/trace-a")
publicMonotrace(){
System.out.println("===calltrace-a===");

returnwebClient().get()
.uri("/trace-b")
.retrieve()
.bodyToMono(String.class);
}

}

trace-b 工程的啟動類如下：

@RestController
@SpringBootApplication
publicclassApplication{

publicstaticvoidmain(String[]args){
SpringApplication.run(Application.class,args);
}

@GetMapping("/trace-b")
publicMonotrace(){
System.out.println("===calltrace-b===");

returnMono.just("Trace");
}

}

至此，一切就緒。Spring 應(yīng)用在監(jiān)測到 classpath 中有 Sleuth 和 Zipkin 后，會自動在 WebClient（或 RestTemplate）的調(diào)用過程中向 HTTP 請求注入追蹤信息，并向 Zipkin Server 發(fā)送這些信息。

進(jìn)行驗證

我們分別啟動 eureka、zipkin、trace-b、trace-a，然后訪問 http://localhost:8080/trace-a 可以得到返回值 Trace，同時還能在它們的控制臺中分別獲得下面的輸出：

--trace-a
===calltrace-a===
2018-04-2320:20:42.016INFO[trace-a,,,]71722---[ender@761e788f}]s.c.a.AnnotationConfigApplicationContext:RefreshingSpringClientFactory-localhost:startupdate[MonApr2320:20:42CST2018];parent:org.springframework.boot.web.reactive.context.AnnotationConfigReactiveWebServerApplicationContext@41ab013
2018-04-2320:20:42.103INFO[trace-a,,,]71722---[ender@761e788f}]f.a.AutowiredAnnotationBeanPostProcessor:JSR-330'javax.inject.Inject'annotationfoundandsupportedforautowiring
2018-04-2320:20:42.421INFO[trace-a,,,]71722---[ender@761e788f}]c.netflix.config.ChainedDynamicProperty:Flippingproperty:localhost.ribbon.ActiveConnectionsLimittouseNEXTproperty:niws.loadbalancer.availabilityFilteringRule.activeConnectionsLimit=2147483647
2018-04-2320:20:42.441INFO[trace-a,,,]71722---[ender@761e788f}]c.n.u.concurrent.ShutdownEnabledTimer:Shutdownhookinstalledfor:NFLoadBalancer-PingTimer-localhost
2018-04-2320:20:42.476INFO[trace-a,,,]71722---[ender@761e788f}]c.netflix.loadbalancer.BaseLoadBalancer:Client:localhostinstantiatedaLoadBalancer:DynamicServerListLoadBalancer:{NFLoadBalancer:name=localhost,currentlistofServers=[],Loadbalancerstats=Zonestats:{},Serverstats:[]}ServerList:null
2018-04-2320:20:42.485INFO[trace-a,,,]71722---[ender@761e788f}]c.n.l.DynamicServerListLoadBalancer:UsingserverListUpdaterPollingServerListUpdater
2018-04-2320:20:42.492INFO[trace-a,,,]71722---[ender@761e788f}]c.n.l.DynamicServerListLoadBalancer:DynamicServerListLoadBalancerforclientlocalhostinitialized:DynamicServerListLoadBalancer:{NFLoadBalancer:name=localhost,currentlistofServers=[],Loadbalancerstats=Zonestats:{},Serverstats:[]}ServerList:org.springframework.cloud.netflix.ribbon.eureka.DomainExtractingServerList@516a7895
2018-04-2320:20:42.548INFO[trace-a,d28b72b2317c023f,d28b72b2317c023f,true]71722---[ctor-http-nio-2]s.c.a.AnnotationConfigApplicationContext:RefreshingSpringClientFactory-trace-b:startupdate[MonApr2320:20:42CST2018];parent:org.springframework.boot.web.reactive.context.AnnotationConfigReactiveWebServerApplicationContext@41ab013
2018-04-2320:20:42.617INFO[trace-a,d28b72b2317c023f,d28b72b2317c023f,true]71722---[ctor-http-nio-2]f.a.AutowiredAnnotationBeanPostProcessor:JSR-330'javax.inject.Inject'annotationfoundandsupportedforautowiring
2018-04-2320:20:42.855INFO[trace-a,d28b72b2317c023f,d28b72b2317c023f,true]71722---[ctor-http-nio-2]c.netflix.config.ChainedDynamicProperty:Flippingproperty:trace-b.ribbon.ActiveConnectionsLimittouseNEXTproperty:niws.loadbalancer.availabilityFilteringRule.activeConnectionsLimit=2147483647
2018-04-2320:20:42.868INFO[trace-a,d28b72b2317c023f,d28b72b2317c023f,true]71722---[ctor-http-nio-2]c.n.u.concurrent.ShutdownEnabledTimer:Shutdownhookinstalledfor:NFLoadBalancer-PingTimer-trace-b
2018-04-2320:20:42.869INFO[trace-a,d28b72b2317c023f,d28b72b2317c023f,true]71722---[ctor-http-nio-2]c.netflix.loadbalancer.BaseLoadBalancer:Client:trace-binstantiatedaLoadBalancer:DynamicServerListLoadBalancer:{NFLoadBalancer:name=trace-b,currentlistofServers=[],Loadbalancerstats=Zonestats:{},Serverstats:[]}ServerList:null
2018-04-2320:20:42.870INFO[trace-a,d28b72b2317c023f,d28b72b2317c023f,true]71722---[ctor-http-nio-2]c.n.l.DynamicServerListLoadBalancer:UsingserverListUpdaterPollingServerListUpdater
2018-04-2320:20:42.905INFO[trace-a,d28b72b2317c023f,d28b72b2317c023f,true]71722---[ctor-http-nio-2]c.netflix.config.ChainedDynamicProperty:Flippingproperty:trace-b.ribbon.ActiveConnectionsLimittouseNEXTproperty:niws.loadbalancer.availabilityFilteringRule.activeConnectionsLimit=2147483647
2018-04-2320:20:42.907INFO[trace-a,d28b72b2317c023f,d28b72b2317c023f,true]71722---[ctor-http-nio-2]c.n.l.DynamicServerListLoadBalancer:DynamicServerListLoadBalancerforclienttrace-binitialized:DynamicServerListLoadBalancer:{NFLoadBalancer:name=trace-b,currentlistofServers=[172.16.106.93:8081],Loadbalancerstats=Zonestats:{defaultzone=[Zone:defaultzone;Instancecount:1;Activeconnectionscount:0;Circuitbreakertrippedcount:0;Activeconnectionsperserver:0.0;]
},Serverstats:[[Server:172.16.106.93:8081;Zone:defaultZone;TotalRequests:0;Successiveconnectionfailure:0;Totalblackoutseconds:0;Lastconnectionmade:ThuJan0108:00:00CST1970;Firstconnectionmade:ThuJan0108:00:00CST1970;ActiveConnections:0;totalfailurecountinlast(1000)msecs:0;averageresptime:0.0;90percentileresptime:0.0;95percentileresptime:0.0;minresptime:0.0;maxresptime:0.0;stddevresptime:0.0]
]}ServerList:org.springframework.cloud.netflix.ribbon.eureka.DomainExtractingServerList@31f05c5
2018-04-2320:20:43.878INFO[trace-a,,,]71722---[erListUpdater-1]c.netflix.config.ChainedDynamicProperty:Flippingproperty:trace-b.ribbon.ActiveConnectionsLimittouseNEXTproperty:niws.loadbalancer.availabilityFilteringRule.activeConnectionsLimit=2147483647


--trace-b
===calltrace-b===
2018-04-2320:20:43.944INFO[trace-b,,,]71662---[ender@22a10ac6}]s.c.a.AnnotationConfigApplicationContext:RefreshingSpringClientFactory-localhost:startupdate[MonApr2320:20:43CST2018];parent:org.springframework.boot.web.reactive.context.AnnotationConfigReactiveWebServerApplicationContext@49c6c24f
2018-04-2320:20:44.124INFO[trace-b,,,]71662---[ender@22a10ac6}]f.a.AutowiredAnnotationBeanPostProcessor:JSR-330'javax.inject.Inject'annotationfoundandsupportedforautowiring
2018-04-2320:20:44.524INFO[trace-b,,,]71662---[ender@22a10ac6}]c.netflix.config.ChainedDynamicProperty:Flippingproperty:localhost.ribbon.ActiveConnectionsLimittouseNEXTproperty:niws.loadbalancer.availabilityFilteringRule.activeConnectionsLimit=2147483647
2018-04-2320:20:44.550INFO[trace-b,,,]71662---[ender@22a10ac6}]c.n.u.concurrent.ShutdownEnabledTimer:Shutdownhookinstalledfor:NFLoadBalancer-PingTimer-localhost
2018-04-2320:20:44.600INFO[trace-b,,,]71662---[ender@22a10ac6}]c.netflix.loadbalancer.BaseLoadBalancer:Client:localhostinstantiatedaLoadBalancer:DynamicServerListLoadBalancer:{NFLoadBalancer:name=localhost,currentlistofServers=[],Loadbalancerstats=Zonestats:{},Serverstats:[]}ServerList:null
2018-04-2320:20:44.610INFO[trace-b,,,]71662---[ender@22a10ac6}]c.n.l.DynamicServerListLoadBalancer:UsingserverListUpdaterPollingServerListUpdater
2018-04-2320:20:44.617INFO[trace-b,,,]71662---[ender@22a10ac6}]c.n.l.DynamicServerListLoadBalancer:DynamicServerListLoadBalancerforclientlocalhostinitialized:DynamicServerListLoadBalancer:{NFLoadBalancer:name=localhost,currentlistofServers=[],Loadbalancerstats=Zonestats:{},Serverstats:[]}ServerList:org.springframework.cloud.netflix.ribbon.eureka.DomainExtractingServerList@1e1794d0

訪問 http://localhost:9411/zipkin

點擊 Find Traces 會看到有一條記錄：

點擊記錄進(jìn)去頁面，可以看到每一個服務(wù)所耗費(fèi)的時間和順序：

點擊依賴分析，可以看到項目之間的調(diào)用關(guān)系：

方式二、消息總線 RabbitMQ

因為之前說的 Zipkin 不再推薦我們來自定義 Server 端了，所以在最新版本的 Spring Cloud 依賴管理里已經(jīng)找不到 zipkin-server 了。

那么如果直接用官方提供的 jar 包怎么從 RabbitMQ 中獲取 trace 信息呢？

我們可以通過環(huán)境變量讓 Zipkin 從 RabbitMQ 中讀取信息，就像這樣：

RABBIT_ADDRESSES=localhostjava-jarzipkin.jar

可配置的環(huán)境變量如下表所示：

如果設(shè)置了 URI，則以下屬性將被忽略。

關(guān)于 Zipkin 的 Client 端，也就是微服務(wù)應(yīng)用，我們就在之前 trace-a、trace-b 的基礎(chǔ)上修改，只要在他們的依賴?yán)锒家?spring-cloud-stream-binder-rabbit 就好了，別的不用改。

org.springframework.cloud
spring-cloud-stream-binder-rabbit

不過為了說明是通過 RabbitMQ 傳輸?shù)男畔?，我?spring.zipkin.base-url 均改為http://localhost:9412/，即指向一個錯誤的地址。

分別重啟 trace-a、trace-b 工程，并啟動 Zipkin Server

RABBIT_ADDRESSES=localhostjava-jarzipkin.jar

然后訪問 http://localhost:8080/trace-a 并刷新 Zipkin UI，看到如下內(nèi)容，就說明 Sleuth+Zipkin+RabbitMQ 整合成功了。

此時看 RabbitMQ Admin，會看到多了一個名為 zipkin 的 Queue

審核編輯 ：李倩