微服務業(yè)務開發(fā)三個難題－拆分、事務、查詢（下）

上集我們闡述了使用微服務體系架構(gòu)的關(guān)鍵障礙是領域模型，事務和查詢，這三個障礙似乎和功能拆分具有天然的對抗。只要功能拆分了，就涉及這三個難題。

然后我們向你展示了一種解決方案就是將每個服務的業(yè)務邏輯實現(xiàn)為一組DDD聚合。然后每個事務只能更新或創(chuàng)建一個單獨的聚合。然后通過事件來維護聚合（和服務）之間的數(shù)據(jù)一致性。

在本集中，我們將會向你介紹使用事件的時候遇到了一個新的問題，就是怎么樣通過原子方式更新聚合和發(fā)布事件。然后會展示如何使用事件源來解決這個問題，事件源是一種以事件為中心的業(yè)務邏輯設計和持久化的方法。之后，我們會闡述微服務架構(gòu)下的查詢困難的問題。然后向你介紹一種稱為命令查詢責任分離（CQRS）的方法來實現(xiàn)可擴展和高性能的查詢。

可靠地更新狀態(tài)和發(fā)布事件

從表面上看，使用事件來保持聚合之間的一致性似乎很簡單。

當一個服務創(chuàng)建或更新數(shù)據(jù)庫的一個聚合時，它只是簡單地發(fā)布一個事件。

但是，這只是表象，其實還有一個核心問題就是：更新數(shù)據(jù)庫和發(fā)布事件必須是原子的。否則，就會出現(xiàn)類似這樣的情況：如果服務在更新數(shù)據(jù)庫之后但在發(fā)布事件之前崩潰，則系統(tǒng)就出現(xiàn)了不一致的問題。

傳統(tǒng)的解決方案是一般都是使用分布式事務來搞，一個涉及數(shù)據(jù)庫和消息broker的分布式事務。但是，由于上一集所述的原因，2PC不是一個可行的選擇。

其實除了2PC ，還有幾種解決這個問題的方法。

一種解決方案就是，應用程序可以通過向類似Kafka這樣的消息中間件的broker發(fā)布一個事件來執(zhí)行更新。然后一個消息consumer訂閱這個事件，通過消費該事件然后最終更新數(shù)據(jù)庫。這種方法可以確保數(shù)據(jù)庫被更新并且事件被發(fā)布。

但是缺點就是這種一致性模型過于復雜，至少有點復雜。而且應用程序不能夠立即讀取到自己剛剛的寫入。

圖1 - 通過發(fā)布事件到消息broker來更新數(shù)據(jù)庫

另一種做法就是，如圖2所示，就是應用程序追加事務日志到數(shù)據(jù)庫（a.k.a.commit log），將每個記錄的更改轉(zhuǎn)換為事件，然后把事件發(fā)布到消息broker。這種做法的一個重要好處就是應用程序本身不需要任何的改變。

然而，一個缺點是，這種做法是一種底層（low-level）的事件，而不是上層業(yè)務事件。可能難以將上層業(yè)務事件（由于數(shù)據(jù)庫更新的原因）從底層更改逆轉(zhuǎn)到表中的行。

原文：it can be difficult toreverse engineer the high-level business event - the reason for the databaseupdate - from the low-level changes to the rows in the tables.

圖2 - 追加數(shù)據(jù)庫事務日志

第三種解決方案就是，圖3所示的這種，使用數(shù)據(jù)庫表來作為一種臨時性的message queue。當一個服務更新一個聚合，它會insert一個事件到EVENTS表，作為本地ACID事務的一部分。然后一個單獨的進程輪詢EVENTS表并將事件發(fā)布到消息broker。

這種做法的好處就是service能夠發(fā)布high-level的業(yè)務事件。

缺點是這種做法容易出錯，有這種潛在的可能，因為事件發(fā)布代碼必須與業(yè)務邏輯同步。

圖3 - 使用數(shù)據(jù)庫表作為message queue

上面三種做法都有比較典型的缺點。

發(fā)布一個事件到message broker并稍后更新的做法總是不能提供一種read-your-writes的一致性，也就是只能保證最終一致。

追加事務日志提供了一致的讀取，但卻不能發(fā)布高級業(yè)務事件。

使用數(shù)據(jù)庫表作為message queue提供了一致的讀取并且可以發(fā)布high-level業(yè)務事件，但

卻對開發(fā)人員有依賴，就是開發(fā)人員得記得在狀態(tài)發(fā)生改變的時候加上發(fā)布事件的邏輯。

幸運的是，我們還有另外一種解決方案，那就是event sourcing，事件源。它是一種針對持久化和業(yè)務邏輯的一種以事件為中心方法，稱為事件源。這里解釋的不夠清楚，稍后慢慢展開。

使用事件源來開發(fā)微服務

事件源（Event sourcing）是一種以事件為中心的持久化方法。這不是一個新的概念。

我第一次了解到這個概念是在大概五年多以前，之后對這個新生事物一直充滿了好奇，直到我開始開發(fā)微服務。接下來，你將會看到通過事件源來實現(xiàn)事件驅(qū)動的微服務架構(gòu)是多么不錯的一種方法。

一個service通過event sourcing使用一系列的事件來持久化每個聚合。

當創(chuàng)建或更新一個聚合的時候，這個service會在數(shù)據(jù)庫里保存一個或多個事件，這種數(shù)據(jù)庫里存儲event的方式可以叫做是event store，以下我們就叫“事件數(shù)據(jù)庫”。

它通過加載這些事件并replay這些事件，從而實現(xiàn)更新聚合的當前狀態(tài)。

在函數(shù)式編程里，一個service通過執(zhí)行一個函數(shù)式的fold或reduce來重構(gòu)聚合，而不是事件。

由于事件就是狀態(tài)，所以你就不會再有原子地更新狀態(tài)和發(fā)布事件的問題了。

例如，比如訂單服務（Order Service）。不是將每個訂單作為一行存儲在ORDERS表中，而是將每個訂單聚合作為一系列的事件，比如訂單已創(chuàng)建，訂單已批準，訂單已發(fā)貨等持久化到EVENTS表中。圖4顯示了這些事件如何存儲在基于SQL的事件數(shù)據(jù)庫（event store）中。

圖4 - 使用事件源來持久化一個訂單

每列的意思：

• entity_type 和entity_id –唯一標識一個聚合

• event_id – 事件ID，唯一標識

• event_type – 事件類型

• event_data -事件屬性的序列化JSON表示

一些事件包含大量數(shù)據(jù)。例如，訂單創(chuàng)建（Order Created）事件包含完整訂單，包括其訂單項，付款信息和交貨信息。其他事件，如訂單出貨（Order Shipped）事件，包含很少或沒有數(shù)據(jù)，只是表示狀態(tài)轉(zhuǎn)換。

事件源（Event Sourcing）和發(fā)布事件

嚴格的講，事件源只是簡單的將聚合們作為事件進行了持久化。更直接的說，就是使用事件源來作為一種可靠的事件發(fā)布機制。保存一個事件是一個固有的原子操作，它可以確保事件數(shù)據(jù)庫（event store）把事件傳遞給感興趣的服務。

例如，如果事件被存儲在上面所示的EVENTS表中，訂閱者可以簡單地輪詢表以查找新事件。更復雜的事件數(shù)據(jù)庫（event store）將使用另一種做法，這種做法具有更高性能和可擴展性。例如，Eventuate Local使用追加事務日志的方式。它從MySQL replication流中讀取插入到EVENTS表中的事件，并將它們發(fā)布到Apache Kafka。

至于Eventuate Local是個什么鬼？你可以去github 搜搜。下面放一張圖：

使用Snapshot改善性能

訂單（Order）聚合具有相對較少的狀態(tài)轉(zhuǎn)換，因此它只有少量的事件。

所以，針對這些事件查詢事件數(shù)據(jù)庫（event store）并重構(gòu)Order聚合，效率是不錯的。然而，一些聚合有很多的事件。例如，客戶（Customer）聚合可能有大量的預留信用（Credit Reserved）事件。隨著時間的推移，加載和消費（fold）這些事件的效率會越來越低。

一個常見的解決方案是定期保存聚合狀態(tài)的快照（snapshot）。應用程序通過加載最近的快照然后從快照創(chuàng)建之后發(fā)生的那些事件開始來恢復聚合的狀態(tài)。

在函數(shù)式下，快照就是折疊（fold）的初始值。（原文：In functional terms, the snapshot is the initial value of thefold. ）如果聚合是一個簡單，容易序列化的結(jié)構(gòu)，則快照可以簡單地是JSON序列化格式。更復雜的聚合可以使用Memento模式（Mementopattern）進行快照。至于這種設計模式具體是什么鬼，你可以自己查閱。

在線商店示例中的客戶（Customer）聚合具有非常簡單的結(jié)構(gòu)：客戶的信息，他們的信用額度（credit limit）和他們的信用預留（credit reservations）。

客戶（Customer）的快照只是其狀態(tài)的JSON序列化。圖5展現(xiàn)了如何從與事件＃103的客戶（Customer）的狀態(tài)相對應的快照中重新創(chuàng)建一個客戶（Customer）?？蛻舴眨?span >Customer Service）只需要加載快照和加載事件＃103后發(fā)生的事件。

圖5 – 使用快照來優(yōu)化性能

客戶服務（Customer Service）通過反序列化快照的JSON后加載并消費＃104到＃106的事件來重新創(chuàng)建那個客戶（Customer）。

事件源實現(xiàn)

事件數(shù)據(jù)庫（event store）是數(shù)據(jù)庫和消息borker的混合體。它是一個數(shù)據(jù)庫，因為它有一個API，用于通過主鍵插入和檢索聚合的事件。事件數(shù)據(jù)庫（event store）也是消息broker，因為它具有用于訂閱事件的API。

有一些不同的方法來實現(xiàn)事件數(shù)據(jù)庫（event store）。

一個做法是編寫自己的事件源框架。例如，您可以在RDBMS中持久化事件。一種簡單的，但性能略低的方式來發(fā)布事件，然后訂閱者輪詢事件的EVENTS表。

另一個做法是使用專用的事件數(shù)據(jù)庫（event store），它通常能夠提供更豐富的功能以及更好的性能和可擴展性。“事件源”的開發(fā)者之一Greg Young有一個基于.NET的開源事件數(shù)據(jù)庫，稱為Event Store。 Lightbend，這個公司以前叫Typesafe，有一個叫Lagom的微服務框架，是基于事件源的。這里推薦一個我自己的創(chuàng)業(yè)項目，Eventuate，一個用于微服務的事件源框架，你可以把它作為一個云服務，你也可以把它認為是一個基于Kafka 或RDBMS的開源項目。

事件源的好處與缺點

事件源有好處也有缺點。

事件源的一個主要優(yōu)點是它可以在聚合的狀態(tài)發(fā)生變化時可靠地發(fā)布事件。它為事件驅(qū)動的微服務架構(gòu)打下了良好的基礎。而且，由于每個事件都可以記錄進行更改的用戶的身份，因此事件源還提供了一個準確的審核日志。事件流可用于各種其他目的，包括向用戶發(fā)送通知以及應用集成等等。

事件源的另一個好處是它存儲每個聚合的整個歷史。你可以輕松實現(xiàn)檢索聚合的過去狀態(tài)的時態(tài)查詢。要確定在給定時間點的聚合的狀態(tài)，您只需消費（fold）直到該點為止發(fā)生的事件。例如，可以直接計算過去某個時間點客戶的可用信用額。

事件源也避免了O / R阻抗失衡的問題。這是因為它持久化了事件而不是聚合。事件通常具有簡單，容易序列化的結(jié)構(gòu)。服務（service）可以通過序列化其狀態(tài)的記錄來對復雜聚合進行快照。 Memento模式在聚合和它的序列化表示之間增加了一個中間層。

有關(guān)O/R impedance mismatch：

對象關(guān)系阻抗失衡（object-relational impedance mismatch ）是當關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）由以面向?qū)ο蟮木幊陶Z言或風格編寫的應用程序（或多個應用程序）服務時經(jīng)常遇到的一組概念和技術(shù)困難，特別是因為對象或類定義必須映射到關(guān)系模式定義的數(shù)據(jù)庫表。

事件源當然不是完美的，它也有一些缺點。它是一個完全不一樣的和而且你可能并不熟悉的編程模型，所以要花一些時間去學習。為了使現(xiàn)有應用程序使用事件源，你必須要重寫業(yè)務邏輯。幸運的是，這是一個相當機械的轉(zhuǎn)換，你可以在將應用程序遷移到微服務的時候做這件事情。

事件源的另一個缺點是消息broker通常保證至少一次（at-least once）傳遞。非冪等的事件處理handler必須檢測并丟棄那些重復的事件。事件源框架可以通過為每個事件分配單調(diào)遞增的id來解決這個問題。事件處理handler然后可以通過對最大事件ID跟蹤來檢測重復事件。

事件源的另一個局限就是事件（和快照?。┑?span >schema將隨時間發(fā)展。 由于事件永久存儲，當服務重建聚合時，服務可能需要折疊與多個schema版本對應的事件。 簡化服務的一種方法是，當事件源框架從事件數(shù)據(jù)庫（event store）加載它們時，將所有事件轉(zhuǎn)換為最新版本的模式。因此，服務只需消費（fold）最新版本的事件。

事件源的另一個缺點是查詢事件數(shù)據(jù)庫（event store）可能比較困難。讓我們想象一下，例如，您需要找到信用額度較低的客戶。你不能簡單地寫SELECT * FROM CUSTOMERWHERE CREDIT_LIMIT <？ AND c.CREATION_DATE>？。因為根本就沒有信用額度（CREDIT_LIMIT）這樣的列。相反，你不得不使用嵌套SELECT的更復雜而且還可能無效的查詢，通過處理和消費（fold）事件來計算信用額度。更糟糕的是，基于NoSQL的事件數(shù)據(jù)庫（event store）通常只支持基于主鍵的查找。因此，必須使用“命令查詢責任分離“（CQRS）的方法實施查詢。CQRS 的全稱：Command Query Responsibility Segregation。

我們接下來的內(nèi)容就是介紹CQRS。

使用CQRS實現(xiàn)查詢

事件源是在微服務體系結(jié)構(gòu)中實現(xiàn)高效查詢的主要障礙。這還不是唯一的問題，還有比如你使用SQL去查找一些高價值訂單的新客戶。

SELECT *
FROM CUSTOMER c, ORDER o
WHERE
   c.id = o.ID
     AND o.ORDER_TOTAL > 100000
     AND o.STATE = 'SHIPPED'
     AND c.CREATION_DATE > ?

在微服務架構(gòu)中，你不能join CUSTOMER和ORDER這兩張表。每個表由不同的服務所擁有，并且只能通過該服務的API訪問。你不能編寫連接多個服務所擁有的表的傳統(tǒng)查詢。事件源使事情變得更糟，阻礙你編寫簡單，直接的查詢。讓我們來看看在微服務架構(gòu)中是如何實現(xiàn)類似查詢的。

如何使用CQRS

實現(xiàn)查詢的好方法是使用稱為命令查詢責任分離（CQRS）的體系結(jié)構(gòu)模式： Command Query Responsibility Segregation。如名稱所示，CQRS將應用程序分為兩部分。第一部分是命令側(cè)（command-side），其處理命令（例如，HTTP POST，PUT和DELETE）以創(chuàng)建，更新和刪除聚合。前提是這些聚合是使用事件源實現(xiàn)的。應用程序的第二部分是查詢側(cè)（query-side），其通過查詢聚合的一個或多個物化視圖（materialized views）來處理查詢（例如HTTP GET）。查詢側(cè)通過訂閱由命令側(cè)發(fā)布的事件來保持視圖（view）與聚合（aggregate）同步。

查詢側(cè)（query-side）視圖可以使用任何類型的能滿足需求的數(shù)據(jù)庫來實現(xiàn)。根據(jù)需求，應用程序的查詢端可能使用一個或多個以下數(shù)據(jù)庫：

表1. 查詢側(cè)視圖數(shù)據(jù)庫選擇

在很多場合，CQRS是一個以事件為基礎（event-based）的綜合體，比如使用RDBMS作為記錄系統(tǒng)再使用比如Elasticsearch來處理文本查詢。CQRS的查詢側(cè)可以使用其它類型的數(shù)據(jù)庫，支持多種類型的數(shù)據(jù)庫，不僅僅是文本搜索引擎。而且，它通過訂閱事件準實時地去更新查詢側(cè)的視圖。

圖6顯示了應用于在線商店示例的CQRS模式?？蛻舴眨?span >Customer Service）和訂單服務（Order Service）是命令端服務。它們提供用于創(chuàng)建和更新客戶和訂單的API?？蛻粢晥D服務（Customer View Service）是查詢側(cè)服務。它提供了一個用于查詢客戶的API。

圖6 – 在線商店中使用 CQRS

客戶視圖服務（Customer View Service）訂閱命令端服務發(fā)布的客戶（Customer）和訂單（Order）事件。它更新那個用MongoDB實現(xiàn)的視圖存儲（view store）。該服務維護一個MongoDB文檔集合，每個客戶一個。每個文檔都具有客戶詳細信息的屬性。它還具有存儲客戶最近訂單的屬性。此集合支持各種查詢，包括上面說到的那些查詢。

CQRS的好處和缺點

CQRS既有優(yōu)點也有缺點。 CQRS的一個主要優(yōu)點是它可以在微服務架構(gòu)中實現(xiàn)查詢，特別是使用事件源的架構(gòu)。它使應用程序有效地支持一組不同的查詢。另一個好處就是把命令側(cè)和查詢側(cè)分離，達到了解耦的作用。

CQRS也有一些缺點。一個缺點就是需要額外的工作來開發(fā)和維護這套系統(tǒng)。你需要開發(fā)和部署更新和查詢視圖的查詢端服務。還有就是你需要部署視圖數(shù)據(jù)庫（view store）。

CQRS的另一個缺點是處理命令側(cè)和查詢側(cè)視圖之間的“滯后”。查詢層相比命令側(cè)存在一定的時延。更新聚合，然后立即查詢視圖的客戶端應用程序可能會看到聚合的以前版本。所以必須通過一些手法來避免暴露這些潛在的不一致性給用戶。

總結(jié)

使用事件來維護服務之間的數(shù)據(jù)一致性時的主要挑戰(zhàn)是原子級地更新數(shù)據(jù)庫和發(fā)布事件。傳統(tǒng)的解決方案是使用跨數(shù)據(jù)庫和消息broker的分布式事務。然而，2PC不是現(xiàn)代應用的可行技術(shù)。更好的方法是使用事件源，這是一種以事件為中心的方法來處理業(yè)務邏輯設計和持久化。

微服務架構(gòu)中的另一個挑戰(zhàn)是查詢。查詢通常需要join由多個服務擁有的數(shù)據(jù)。但是，join不能再使用了，因為數(shù)據(jù)對每個服務都是私有的。使用事件源還使得更加難以有效地實現(xiàn)查詢，因為當前狀態(tài)沒有被顯式地存儲。解決方案是使用命令查詢責任分離（CQRS）并維護可以容易查詢的聚合的一個或多個物化視圖。