· 18 phút đọc
Cách chúng tôi giảm một nửa độ trễ build DNS và cắt giảm 85% mức sử dụng bộ nhớ
Khi tôi viết lần trước về pipeline lan truyền DNS của chúng tôi vào năm 2022, Zone Builder nhận khoảng 250 thay đổi bản ghi DNS mỗi giây. Hiện nay con số này là khoảng 700, ne
Khi tôi viết lần trước về pipeline lan truyền DNS của chúng tôi vào năm 2022, Zone Builder nhận khoảng 250 thay đổi bản ghi DNS mỗi giây. Hiện nay con số này là khoảng 700, gần gấp ba lần, cộng thêm khoảng 100 sự kiện khác, chẳng hạn như thay đổi cài đặt zone. Tuy nhiên, số lượng sự kiện chưa bao giờ là vấn đề thực sự. Vấn đề nằm ở loại công việc mà một số sự kiện đó cần, và cách công việc ấy tăng theo kích thước của zone. Một số zone hiện chứa hơn 20 triệu bản ghi, và chúng tôi dự kiến chúng sẽ tiếp tục tăng lên hàng trăm triệu.
Mỗi sự kiện bắt đầu một đồng hồ đo thời gian chúng tôi cần để biến thay đổi đó thành dữ liệu mà các máy chủ DNS có thẩm quyền của chúng tôi có thể sử dụng. Chúng tôi gọi công việc đó là một build. Một build đọc trạng thái hiện tại của cơ sở dữ liệu, chuyển nó sang định dạng dùng ở edge, và ghi mọi thay đổi vào Quicksilver.
Vào năm 2022, các build theo từng bản ghi nhanh hơn các build đầy đủ trung bình 150 lần. Trên một zone thử nghiệm có một triệu bản ghi, các build theo từng bản ghi nhanh hơn 4.250 lần. Chúng tôi kết thúc bài viết đó bằng bước tiếp theo hiển nhiên: làm điều tương tự cho cài đặt zone.
Tại sao Zone Builder không chỉ build lại cài đặt đã thay đổi?
Nó nên làm vậy, và đó là điều chúng tôi đã đạt được. Tuy nhiên, việc chứng minh khi nào điều đó an toàn chiếm phần lớn công sức. Một sự kiện bản ghi cho biết cái gì đã thay đổi. Một sự kiện zone có thể đến từ nhiều sản phẩm của Cloudflare, có thể không nói lý do zone thay đổi, và có thể làm thay đổi dữ liệu dùng chung giữa nhiều zone có cùng tên. Chọn quá nhiều công việc sẽ lãng phí năng lực. Chọn quá ít có thể để lại dữ liệu DNS cũ hoặc sai ở edge.
Chúng tôi đã xây dựng một bộ lập kế hoạch build có mục tiêu, chọn build nhỏ nhất mà chúng tôi có thể chứng minh là an toàn, cùng một bộ lập lịch mới gộp công việc của cùng một zone. Các thay đổi cài đặt zone không còn build lại các zone có hàng chục triệu bản ghi. Kết hợp lại, chúng giảm 85% bộ nhớ đỉnh, và phần dư địa tăng thêm cho phép chúng tôi rút ngắn một cách an toàn các khoảng chờ mà pipeline luôn cần để đảm bảo khả năng phục hồi, giảm một nửa thời gian từ lúc thay đổi DNS đến khi dữ liệu được ghi vào Quicksilver.
Cách các thay đổi DNS đến được edge
Một zone DNS là tập hợp các bản ghi và cài đặt của một tên miền. Cloudflare sử dụng pipeline nhiều giai đoạn để biến một thay đổi của zone đó thành dữ liệu khả dụng trên toàn mạng lưới toàn cầu của chúng tôi.
Khách hàng thay đổi một bản ghi DNS qua DNS Records API hoặc dashboard, hoặc một dịch vụ khác của Cloudflare thay đổi một cài đặt zone.
Thay đổi được lưu trong cơ sở dữ liệu.
Thay đổi trong cơ sở dữ liệu hoặc một hệ thống khác tạo ra một sự kiện Kafka.
DNS Kafka Aggregator gộp các sự kiện từ nhiều topic Kafka và gửi chúng đến Zone Builder.
Zone Builder đọc dữ liệu zone cần thiết và chuyển nó thành các khóa mà các máy chủ DNS có thẩm quyền của chúng tôi hiểu được.
Zone Builder so sánh các khóa đó với Quicksilver, kho khóa-giá trị phân tán của chúng tôi. Nó chỉ ghi những gì đã thay đổi, và Quicksilver lan truyền các thay đổi đó trên toàn mạng lưới của Cloudflare.
Đây là một cái nhìn đơn giản hóa. Zone Builder không sao chép trực tiếp các hàng cơ sở dữ liệu ra edge. Nó kết hợp các bản ghi với cài đặt zone, áp dụng các quy tắc phục vụ DNS, và tổ chức kết quả để các máy chủ DNS có thẩm quyền của chúng tôi có thể đọc nhanh.
Vì sao các build đầy đủ không còn mở rộng được
Zone Builder ban đầu có một đặc tính hữu ích: nó không cần biết vì sao một zone thay đổi. Nó build lại trạng thái mong muốn từ trạng thái hiện tại của cơ sở dữ liệu.
Đọc zone hiện tại và các cài đặt của nó.
Đọc mọi bản ghi DNS trong zone.
Chuyển các bản ghi đó thành các khóa Quicksilver.
So sánh các khóa mới với các khóa đã được lưu.
Xóa các khóa cũ, ghi các khóa đã thay đổi và cập nhật metadata của zone.
Lần ghi cuối cùng chỉ chứa các khóa đã thay đổi. Tuy nhiên, một bản build đầy đủ vẫn phải đọc, mã hóa và so sánh mọi bản ghi, đồng thời giữ toàn bộ zone trong bộ nhớ trong suốt quá trình đó. Với một zone nhỏ thì việc này không tốn kém. Với các zone lớn nhất của chúng tôi, có hàng chục triệu bản ghi, zone hoàn toàn không vừa trong bộ nhớ. Tôi sẽ giải thích cách chúng tôi xử lý vấn đề này bên dưới.
Các cài đặt của zone khiến việc nhắm mục tiêu khó hơn. Universal SSL là một ví dụ. Việc bật hoặc tắt nó sẽ cập nhật metadata và có thể thay đổi các bản ghi Certification Authority Authorization (CAA) tại zone apex, tức tên miền gốc, chẳng hạn example.com. Các bản ghi CAA cho các tổ chức cấp chứng chỉ biết họ có được phép cấp chứng chỉ cho tên miền hay không.
Một bản build đầy đủ chỉ cần biết rằng zone đã thay đổi. Một bản build có mục tiêu phải trả lời ba câu hỏi:
Những tên DNS nào có thể thay đổi?
Metadata dùng chung hoặc danh sách các zone được xuất bản có thể thay đổi không?
Trạng thái trước đó nào phải bị xóa khỏi Quicksilver?
Để trả lời các câu hỏi đó một cách an toàn, chúng tôi phải giải quyết năm vấn đề, được trình bày theo thứ tự trong phần còn lại của bài viết này:
Các sự kiện phải cho biết điều gì đã thay đổi.
Mỗi thay đổi phải được ánh xạ tới bản build nhỏ nhất mà vẫn đúng.
Các bản build phải tính đến dữ liệu được chia sẻ bởi mọi zone có cùng tên.
Cơ sở dữ liệu có thể thay đổi giữa lúc phát sinh sự kiện và lúc build.
Việc gộp công việc không được làm mất bất kỳ thông điệp Kafka nào.
Làm cho sự kiện cho biết điều gì đã thay đổi
Chúng tôi đã thay đổi bộ phát sự kiện để đưa vào các trường và cài đặt của zone đã thay đổi, kèm giá trị trước và sau khi có sẵn. Sau đó chúng tôi lần theo từng cài đặt qua đoạn mã tạo đầu ra DNS và phân loại những gì nó có thể ảnh hưởng.
Không phải sự kiện nào cũng cụ thể như vậy. Một số hàm cơ sở dữ liệu chỉ cập nhật một dấu thời gian để nói, về bản chất, rằng "có điều gì đó về zone này đã thay đổi." Đôi khi đó chỉ là việc ghi chép vô hại. Đôi khi nó có nghĩa là dữ liệu ở nơi khác đã thay đổi và phải được đọc lại.
Những trường hợp đó trông giống hệt nhau trong sự kiện. Cho đến khi chúng tôi xác định được bên gọi và mục đích của nó, một lần cập nhật chỉ có dấu thời gian vẫn gây ra một bản build đầy đủ. Quy tắc tương tự áp dụng cho các chi tiết bị thiếu, sự kiện không xác định hoặc bất kỳ thay đổi nào có thể ảnh hưởng đến các bản ghi ở bất kỳ đâu trong zone. Bộ lập kế hoạch không bao giờ biến sự không chắc chắn thành ít công việc hơn.
Chọn bản build nhỏ nhất an toàn
Đầu ra của Quicksilver có hai phần quan trọng ở đây. Các khóa bản ghi chứa các câu trả lời DNS cho một zone và một tên. Một khóa metadata dùng chung nhỏ hơn cho các máy chủ DNS có thẩm quyền của chúng tôi biết cách sử dụng zone đó, bao gồm nơi tìm các bản ghi đặc biệt như nameserver và wildcard. Một số sự kiện chỉ thay đổi các khóa bản ghi; những sự kiện khác phải cập nhật cả hai.
Với sự phân biệt đó, bộ lập kế hoạch có thể chọn một trong năm loại build:
Chỉ resource: Build lại các bản ghi tại những tên DNS cụ thể, mà chúng tôi gọi là resource, không thay đổi metadata của zone. Các thay đổi A, AAAA, TXT và CNAME thông thường thường đi theo đường này.
Resource và metadata: Build lại các tên cụ thể và metadata dùng chung. Các thay đổi nameserver và wildcard đi theo đường này.
Apex và metadata: Build lại zone apex và metadata. Các cài đặt như Universal SSL có thể đi theo đường này.
Purge: Xóa một zone không còn được xuất bản nữa.
Toàn bộ zone: Build lại mọi bản ghi khi không thể chứng minh rằng công việc nhỏ hơn là an toàn.
Quy tắc rất đơn giản: mọi khóa mà một bản build có mục tiêu ghi ra phải giống hệt từng byte với những gì một bản build đầy đủ sẽ ghi. Nếu không thể chứng minh điều đó, chúng tôi thực hiện build đầy đủ.
Việc xóa trạng thái cũ hoạt động giống như với các bản dựng theo từng bản ghi vào năm 2022. Các sự kiện bản ghi bao gồm các bản ghi đã bị xóa và phiên bản trước đó của các bản ghi được cập nhật. Sau đó, Zone Builder quét Quicksilver để tìm các khóa hiện có dưới mỗi tên mà nó dựng lại, và xóa bất kỳ khóa nào mà bản dựng mới không ghi.
Các bản dựng đầy đủ vẫn cần thiết khi một thay đổi có thể ảnh hưởng đến các bản ghi ở bất kỳ đâu trong zone hoặc khi một zone có thể cần được xuất bản lần đầu tiên.
Có một ngoại lệ có chủ đích. Một bản dựng đầy đủ giữ trong bộ nhớ cùng lúc mọi bản ghi từ cơ sở dữ liệu và mọi khóa Quicksilver hiện có của zone, và các zone lớn nhất của chúng tôi không thể vừa. Khi vượt quá một ngưỡng số lượng bản ghi cố định, Zone Builder không bao giờ nâng cấp lên bản dựng đầy đủ. Thay vào đó, nó dựng lại apex, siêu dữ liệu và mọi tên được xác định bởi các sự kiện trong hàng đợi. Chúng tôi chấp nhận đánh đổi này vì một bản dựng đầy đủ của các zone đó không thể hoàn tất, và trong khi thử lại, nó giữ lại mọi thay đổi khác trên cùng phân vùng Kafka. Nhiều trường hợp vốn cần bản dựng đầy đủ liên quan đến việc nhiều zone dùng chung một tên, và zone hold giảm rủi ro này bằng cách ngăn cùng một tên bị thêm vào tài khoản khác. Với những trường hợp hiếm còn lại, chẳng hạn bật một zone trên một mạng khác, chúng tôi có thể dựng lại thủ công từng tên riêng lẻ trong zone.
Khi một tên có nghĩa là nhiều hơn một zone
Quicksilver lưu các khóa bản ghi của từng zone riêng biệt. Nó cũng lưu một khóa siêu dữ liệu được chia sẻ bởi mọi zone Cloudflare có cùng tên miền đó. Khóa dùng chung này hoạt động như một thư mục: nó cho các máy chủ DNS có thẩm quyền của chúng tôi biết những ID zone nội bộ nào chúng được phép dùng khi trả lời truy vấn.
Vì sao một tên có thể có nhiều ID zone? Trong quá trình tiếp nhận khách hàng, ngừng dịch vụ và các thay đổi vòng đời khác, nhiều đối tượng zone Cloudflare có thể tồn tại đồng thời trong thời gian ngắn cho cùng một tên miền công khai. Chúng tôi dùng một chính sách ưu tiên để chọn ra một tập nhỏ, có giới hạn để xuất bản.
Hãy xét bốn zone nội bộ cho example.com: Zone 101, Zone 202, Zone 303 và Zone 404. Khóa siêu dữ liệu hiện liệt kê Zone 101, 202 và 303. Zone 404 tồn tại nhưng không được chọn. Các con số xác định các đối tượng zone Cloudflare riêng biệt; khách hàng vẫn chỉ thấy một tên miền.
Một thay đổi bản ghi TXT tại www.example.com trong Zone 202 chỉ ảnh hưởng đến các khóa bản ghi của Zone 202, nên khóa siêu dữ liệu không thay đổi. Các thay đổi về nameserver và wildcard thì khác vì khóa siêu dữ liệu ghi lại thông tin về chúng. Những bản dựng đó phải cập nhật cả các bản ghi của zone lẫn khóa siêu dữ liệu.
Tại thời điểm thực thi, Zone Builder đọc lại danh sách hiện tại. Nếu ghi khóa siêu dữ liệu, nó dựng lại toàn bộ khóa từ góc nhìn mới này thay vì vá một bản sao cũ. Nó ghi các bản ghi của zone kích hoạt trước siêu dữ liệu tham chiếu đến chúng.
Lập kế hoạch từ sự kiện, xác minh trước khi ghi
Một sự kiện mô tả điều đã xảy ra trong quá khứ. Một bản dựng có thể phải chờ trong khi có thêm sự kiện đến và cơ sở dữ liệu thay đổi, nên việc lập kế hoạch diễn ra hai lần. Trước hết, sự kiện tạo ra một danh sách công việc thận trọng. Ngay trước khi thực thi, Zone Builder đọc một ảnh chụp xuất bản mới: các cài đặt zone hiện tại, việc Zone Builder này có nên xuất bản zone lên mạng của nó hay không, và những ID zone cùng tên nào thuộc về khóa siêu dữ liệu. Ở đây, một mạng là một bản sao Quicksilver riêng biệt, cô lập cho một môi trường. Mỗi triển khai Zone Builder ghi vào một mạng, và một zone có thể được bật trên một số mạng nhưng không bật trên các mạng khác. Ví dụ, một zone có thể được phục vụ từ mạng toàn cầu của Cloudflare và cả từ China Network.
Trạng thái mới có thể thay đổi kết quả theo bốn cách:
Một bản dựng nhắm mục tiêu có thể trở thành bản dựng đầy đủ nếu vùng hiện có một tính năng đòi hỏi xử lý toàn bộ vùng.
Một bản dựng có thể trở thành thao tác gỡ (purge) nếu vùng không còn được phát hành tới mạng này nữa.
Một bản dựng có thể bị bỏ qua nếu vùng kích hoạt không còn thuộc về khóa siêu dữ liệu nữa.
Một bản dựng siêu dữ liệu có thể tái tạo khóa dùng chung từ tập ứng viên hiện tại.
Dữ liệu đọc mới được lấy từ các bản sao chỉ đọc của cơ sở dữ liệu, gọi là replica, nên các bản dựng không tranh chấp với thao tác ghi của khách hàng. Việc phân phối Kafka và sao chép cơ sở dữ liệu diễn ra độc lập: một sự kiện có thể đến trước khi thay đổi trong cơ sở dữ liệu hiển thị trên replica. DNS Kafka Aggregator trì hoãn sự kiện đủ lâu để bù cho độ trễ thông thường, và một bước kiểm tra cuối cùng với cơ sở dữ liệu sẽ từ chối kết quả đọc nếu replica đó vẫn còn chậm.
Gộp các thay đổi trong một bộ lập lịch
Công việc theo bản ghi và công việc toàn vùng trước đây dùng các bộ lập lịch khác nhau. Mỗi bộ có thể gộp công việc của riêng nó, nhưng không gộp được công việc từ bộ lập lịch còn lại. Chúng tôi đã thay chúng bằng một bộ lập lịch thống nhất. Bộ lập kế hoạch quyết định cần dựng gì, còn bộ lập lịch quyết định khi nào có thể chạy.
Khi nhiều sự kiện cho cùng một vùng đến trước khi một bản dựng bắt đầu, bộ lập lịch sẽ gộp công việc của chúng:
Một bản ghi A thay đổi tại www.example.com, đòi hỏi xử lý tên đó.
Một wildcard thay đổi tại *.example.com, đòi hỏi xử lý tên đó và siêu dữ liệu dùng chung.
Bộ lập lịch gộp cả hai tên và bản cập nhật siêu dữ liệu vào một bản dựng.
Việc gộp chỉ thêm công việc. Nếu bất kỳ sự kiện nào đòi hỏi toàn bộ vùng, bản dựng được gộp sẽ trở thành bản dựng đầy đủ. Thao tác purge ghi đè mọi bản dựng lại, vì kết quả mong muốn của nó là vùng không còn được phát hành.
Bộ lập lịch theo dõi riêng hai thứ: công việc DNS phải thực hiện và các thông điệp Kafka đang chờ được xác nhận. Một lần thử lại giữ nguyên cả hai. Ngay cả khi bản dựng đầy đủ hoặc purge không còn cần đến từng tên bản ghi, các thông điệp vẫn được giữ kèm cho đến khi kết quả được ghi an toàn.
Giữ cho Kafka tiếp tục chạy
Một bản dựng chậm có thể làm trì hoãn những khách hàng không liên quan ngay cả khi vẫn còn worker rảnh. Kafka chia thông điệp thành các partition có thứ tự. Với mỗi partition, nó lưu một offset đã commit: điểm mà mọi thông điệp trước đó đều đã hoàn tất. Đẩy offset đó vượt qua công việc chưa xong có thể làm mất thay đổi của khách hàng sau khi khởi động lại.
Chúng tôi dùng soft commit, mà tôi đã mô tả trước đây trong bài phân tích chuyên sâu về Secondary DNS. Một bản dựng có thể hoàn tất không theo thứ tự và được đánh dấu hoàn thành trong bộ nhớ, nhưng vị trí đã commit của Kafka chỉ tiến lên sau khi mọi thông điệp trước đó cũng đã hoàn tất.
Trong sơ đồ, thông điệp 2 vẫn đang chạy nên các thông điệp từ 3 đến n không thể được commit. Nếu Zone Builder khởi động lại, các trạng thái hoàn tất trong bộ nhớ đó sẽ mất và Kafka phát lại các thông điệp từ 2 đến n. Chúng tôi chủ động chọn làm lại công việc thay vì làm mất một thay đổi.
Các kế hoạch nhắm mục tiêu giảm thời gian thông điệp cũ nhất còn dở dang. Bộ lập lịch cũng ngăn một vùng bận rộn chiếm hết mọi worker. Sau khi một vùng được dựng, bản dựng tiếp theo của nó phải chờ một khoảng thời gian dựng lại theo từng vùng, khác nhau tùy gói Cloudflare. Các thay đổi đến trong thời gian đó được gộp vào bản dựng kế tiếp. Bộ lập lịch thường thực thi khoảng thời gian này, nhưng cho chạy công việc xếp hàng đã cũ trước khi nó chặn một partition Kafka quá lâu. Khóa vùng và độ trễ thử lại vẫn được áp dụng, nên một bản dựng bị lỗi không thể chạy lặp liên tục.
Phát hành an toàn
Bản dựng nhỏ hơn chỉ hữu ích nếu nó tạo ra cùng dữ liệu DNS. Chúng tôi đã bổ sung các bài kiểm thử tương đương cho các đường dẫn nameserver, wildcard và apex. Mỗi bài kiểm thử chạy một bản dựng đầy đủ và một bản dựng có mục tiêu từ cùng một trạng thái cơ sở dữ liệu, cố định các giá trị phụ thuộc thời gian, và so sánh từng byte của mọi khóa Quicksilver thuộc về kế hoạch có mục tiêu. Các bài kiểm thử planner và scheduler bao phủ việc phân loại, các zone cùng tên, việc gộp, các lần purge và việc nâng cấp mức xử lý (escalation).
Trong quá trình triển khai, chúng tôi cũng chạy một bản dựng đầy đủ bên cạnh mỗi bản dựng có mục tiêu và so sánh kết quả đầu ra. Cách này tốn kém theo thiết kế, vì mỗi lần đều đọc toàn bộ zone, nên chúng tôi chỉ dùng nó cho đến khi phép so sánh mirror bên dưới mang lại cho chúng tôi cùng mức tin cậy.
Các bài kiểm thử không thể tái tạo mọi tổ hợp của khách hàng, vì vậy mỗi bản phát hành cũng chạy qua một Zone Builder mirror. Nó tiêu thụ luồng Kafka của môi trường production và đọc trạng thái cơ sở dữ liệu production, nhưng ghi vào một môi trường Quicksilver riêng không phục vụ lưu lượng của khách hàng.
Một bộ so sánh kiểm tra mẫu 20% số zone để tìm khóa bị thiếu, khóa thừa và giá trị khác nhau. Hai môi trường không phải lúc nào cũng dựng một zone vào cùng một thời điểm, nên sự sai khác tạm thời không đương nhiên là một lỗi hồi quy. Chúng tôi tìm các loại khác biệt mới vẫn còn sau khi cả hai pipeline đã bắt kịp. Điều đó giúp chúng tôi tin rằng các bản dựng có mục tiêu tạo ra cùng kết quả như production.
Chúng tôi xây dựng DNS Mirror Dashboard để nhóm các khác biệt đó và lưu giữ các ví dụ phục vụ điều tra. Đương nhiên, nó chạy trên Cloudflare Developer Platform: một Worker nhận kết quả, Durable Objects duy trì trạng thái, và Cloudflare Access bảo vệ nó. Các nhóm nghiêm trọng trong ảnh chụp màn hình bên dưới đều đã được kiểm tra và xác nhận an toàn trước khi phát hành. Tỷ lệ diff là phần trăm số zone được so sánh mà production và mirror bất đồng ở ít nhất một khóa tại thời điểm so sánh. Phần lớn đó là các khác biệt về thời điểm và biến mất khi cả hai pipeline bắt kịp, nên chúng tôi theo dõi hai điều: tỷ lệ này luôn thấp, và không xuất hiện loại khác biệt mới nào.
Sau khi kết quả mirror vẫn tốt, chúng tôi triển khai scheduler theo giá trị băm của tên zone. Băm tên thay vì ID zone giúp mọi zone trùng tên luôn nằm trên cùng một scheduler, nên hai scheduler không bao giờ ghi cùng một khóa metadata. Chúng tôi tăng dần tỷ lệ phần trăm cho các zone miễn phí, rồi lặp lại quy trình cho các zone trả phí.
Kết quả
Trong 24 giờ, chúng tôi đo được 86,81% bản dựng chỉ có tài nguyên, 2,54% có tài nguyên và metadata, 2,30% có apex và metadata, và 1,30% là purge. Tổng cộng, 92,95% bản dựng tránh được việc dựng lại toàn bộ zone. Các bản dựng đầy đủ chiếm 7,04% còn lại.
Hai loại bản dựng metadata trước đây là bản dựng đầy đủ, ngay cả với các zone lớn. Cộng lại, chúng chiếm 4,84% số bản dựng. Kết hợp với 7,04% vẫn là bản dựng đầy đủ, con số là 11,88%, nên số bản dựng đầy đủ giảm khoảng 40%. Tỷ lệ theo số lượng cũng đánh giá thấp khối lượng công việc được tránh, vì chúng bao gồm các zone lớn nhất. Các bản dựng đầy đủ còn lại trung bình mất 0,35 giây, vì những sự kiện vẫn kích hoạt chúng, chẳng hạn một zone được xuất bản lần đầu, chủ yếu ảnh hưởng đến các zone mới có ít bản ghi.
Năm 2022, chúng tôi cũng đã lên kế hoạch cho một hệ thống gom lô (batching). Scheduler hợp nhất khiến điều đó không còn cần thiết: nó không chờ để tạo lô, và chỉ gộp các sự kiện khi đã có công việc xếp hàng cho cùng một zone. Trước đây, các bản dựng đầy đủ kéo dài giữ lại offset đã commit của partition tương ứng. Với số lượng ít hơn, giờ đây chúng tôi tiêu thụ Kafka theo đúng tốc độ sự kiện đến, thay vì bị tụt lại rồi bắt kịp theo từng đợt lên tới 1.550 thông điệp mỗi giây.
Chúng tôi cũng đo độ trễ hoàn tất build: khoảng thời gian từ khi một bản ghi DNS hoặc cài đặt zone thay đổi cho đến khi Zone Builder ghi xong vào Quicksilver. Khoảng này không bao gồm việc Quicksilver phân phối trên mạng lưới của chúng tôi, vốn thay đổi theo từng địa điểm và không bị ảnh hưởng bởi công việc này. Môi trường production chạy các scheduler cũ, còn môi trường mirror chạy scheduler hợp nhất trên cùng các sự kiện trong cùng 24 giờ. Hai môi trường giống hệt nhau ngoài phần mã: chúng tiêu thụ cùng các sự kiện Kafka, đọc từ cùng một cơ sở dữ liệu và ghi dữ liệu tương đương vào Quicksilver. Nhờ vậy đây là một phép so sánh song song có kiểm soát. Các số liệu gộp mọi loại build và mọi gói khách hàng, nên chúng không phải là cam kết về độ trễ cho từng zone riêng lẻ. Một phần lớn thời gian này là khoảng thời gian chờ rebuild đã mô tả ở trên, chứ không phải công việc build. Tại mỗi điểm đo, p99 là khoảng thời gian mà trong đó 99% sự kiện đã hoàn tất. Độ trễ thông thường hầu như không đổi ở đây, vì phần lớn các build vốn đã nhỏ. Sự khác biệt nằm ở phần đuôi: đỉnh p99 lớn nhất giảm từ 14,6 phút xuống 1,21 phút, tức giảm 12 lần. Biểu đồ dùng thang logarit.
Các build có mục tiêu cũng tải nguyên các zone lớn ít thường xuyên hơn nhiều. Bộ nhớ working-set tổng hợp, tức bộ nhớ mà hệ thống triển khai đang sử dụng thực sự, giảm từ trung bình 49 GiB xuống 7 GiB, giảm 86%. Mức đỉnh giảm từ 79 GiB xuống 12 GiB, giảm 85%.
Đó là những kết quả tức thì của scheduler mới. Chúng cũng cho phép chúng tôi xem xét lại hai cơ chế bảo vệ. Cơ chế thứ nhất là khoảng thời gian chờ rebuild, giúp ngăn một zone bận rộn liên tục rebuild và chiếm dụng năng lực của những người khác. Khi các build giờ đây rẻ hơn, và có ít build đọc toàn bộ zone hơn nhiều, chúng tôi có thể rút ngắn khoảng thời gian này một cách an toàn trên hầu hết các gói. Cơ chế thứ hai là thời gian DNS Kafka Aggregator giữ mỗi sự kiện, nhằm đảm bảo các bản sao cơ sở dữ liệu đã bắt kịp trước khi chúng tôi đọc từ đó. Khi cơ sở dữ liệu của chúng tôi bắt đầu từ chối các lần đọc từ những bản sao bị tụt lại, vùng đệm đó có thể được thu nhỏ một cách an toàn. Kết hợp lại, những thay đổi này đã giảm một nửa độ trễ hoàn tất build trung vị, từ khoảng 7,7 giây xuống khoảng 3,3 giây. Trong biểu đồ bên dưới, bước giảm đầu tiên là thay đổi ở DNS Kafka Aggregator. Dải màu đỏ đánh dấu bản phát hành Zone Builder với khoảng thời gian chờ rebuild ngắn hơn. Bản phát hành đó được triển khai dần trên các máy chủ của chúng tôi, nên độ trễ giảm thêm theo hai bước thay vì giảm cùng lúc.
Các đường p90 và p99 trong biểu đồ đó kém chính xác hơn vẻ ngoài của chúng. Histogram có các bucket ở 1, 5, 10 và 30 giây, và một percentile nằm giữa hai cạnh được ước tính như thể các độ trễ phân bố đều trong khoảng đó. Hầu hết các độ trễ nằm gần cận dưới của khoảng, nên các ước tính này cho ra giá trị cao: p99 hiển thị gần 30 giây và p90 trên 7 giây. Giá trị trung bình chính xác, vốn không phụ thuộc vào bucket, xác nhận mức giảm một nửa. Sau đó chúng tôi đã chuyển sang native histogram, loại tự động chọn các bucket mịn. Nó cho p90 khoảng 5,5 giây và p99 khoảng 12 giây.
Vì sao vẫn còn full build
Năm 2022, chúng tôi cho biết kế hoạch loại bỏ hoàn toàn full build. Giờ chúng tôi biết điều đó vừa không thực tế vừa không hữu ích. Một zone được xuất bản lần đầu cần ghi mọi bản ghi. Một thay đổi có thể ảnh hưởng đến các bản ghi ở bất kỳ đâu trong zone cần kiểm tra mọi bản ghi. Một sự kiện không cho biết điều gì đã thay đổi vẫn nhận một full build, vì bộ lập kế hoạch không bao giờ biến sự không chắc chắn thành ít công việc hơn. Với một zone nhỏ, full build cũng rẻ.
Khi tìm hiểu thêm về những sự kiện nào làm thay đổi dữ liệu, chúng tôi sẽ tiếp tục chuyển chúng sang các bản dựng có mục tiêu. Tuy nhiên, thành quả lớn nhất đã đạt được: những sự kiện trước đây khiến các zone lớn nhất của chúng tôi phải dựng lại thì nay không còn như vậy nữa, và các bản dựng đầy đủ còn lại chủ yếu được kích hoạt bởi những sự kiện, chẳng hạn như lần xuất bản đầu tiên, tác động đến các zone mới, nhỏ.
Bạn muốn biết điều gì xảy ra sau khi Zone Builder ghi một thay đổi? Hãy đọc cách Quicksilver phân phối cấu hình đến mọi trung tâm dữ liệu của Cloudflare chỉ trong vài giây.
Tài liệu nguồn để biên tập: Cloudflare Blog, tác giả Alex Fattouche.
Ngày đăng tại nguồn: 2026-11-02.
- Bản tin
- Cloudflare Blog