Từ ký túc xá Harvard đến hệ thống phục vụ hơn 3 tỷ người: Facebook được xây như thế nào?

Tháng 2/2004, Mark Zuckerberg cùng một số bạn học tại Đại học Harvard cho ra mắt TheFacebook – tiền thân của Facebook ngày nay. Ở giai đoạn đầu, hệ thống được xây dựng trên bộ công nghệ khá phổ biến thời điểm đó gồm Linux, Apache, MySQL và PHP (thường được gọi là mô hình LAMP).

Theo Meta Engineering, những năm đầu phát triển, mỗi trường đại học tham gia mạng xã hội này gần như được gắn với một cơ sở dữ liệu riêng. Khi sinh viên đăng nhập, các máy chủ web sẽ kết nối tới cơ sở dữ liệu tương ứng để truy xuất thông tin người dùng.

Tuy nhiên, mô hình này nhanh chóng bộc lộ giới hạn khi Facebook mở rộng từ Harvard sang các trường đại học khác, sau đó là học sinh trung học và cuối cùng là toàn bộ người dùng Internet. Hàng triệu người bắt đầu kết nối với nhau, tạo ra một "đồ thị xã hội" (social graph) khổng lồ chứa các mối quan hệ bạn bè, nhóm, sự kiện, hình ảnh và tương tác.

Bài toán khó nhất: Tốc độ

Khác với các website thông thường, Facebook phải xử lý một lượng dữ liệu có tính liên kết cực cao.

Mỗi khi người dùng mở ứng dụng, hệ thống phải trả lời hàng loạt câu hỏi gần như ngay lập tức: Bạn bè vừa đăng gì? Có ai bình luận bài viết không? Ai vừa thích ảnh của bạn? Nhóm nào có hoạt động mới?

Theo các kỹ sư Meta, ngay từ năm 2005, Facebook đã phải triển khai công nghệ Memcached để giảm tải cho cơ sở dữ liệu. Mark Zuckerberg được cho là đã trực tiếp tải phần mềm này về và cài đặt trên các máy chủ web của Facebook.

Memcached hoạt động như một "bộ nhớ đệm". Thay vì liên tục truy vấn dữ liệu từ ổ cứng hoặc cơ sở dữ liệu MySQL vốn chậm hơn, hệ thống sẽ lưu những thông tin được truy cập thường xuyên vào bộ nhớ RAM để phản hồi nhanh hơn.

Meta cho biết hạ tầng bộ nhớ đệm này hiện xử lý hàng tỷ yêu cầu mỗi giây và đóng vai trò quan trọng trong quá trình Facebook mở rộng lên hơn một tỷ người dùng.

Đồ thị xã hội – trái tim của Facebook

Khi quy mô tăng trưởng quá lớn, chỉ kết hợp MySQL và Memcached không còn đủ đáp ứng nhu cầu.

Năm 2009, Facebook bắt đầu phát triển một hệ thống hoàn toàn mới mang tên TAO (The Associations and Objects).

Nếu coi Facebook là một bản đồ khổng lồ, TAO chính là hệ thống quản lý mọi mối liên kết trên bản đồ đó.

Trong TAO, mỗi người dùng, bức ảnh, bài viết hay trang cộng đồng được xem là một "đối tượng" (object). Các hành động như kết bạn, thích, bình luận hoặc theo dõi được xem là những "liên kết" (association) giữa các đối tượng.

Nhờ cách tổ chức này, Facebook có thể truy xuất nhanh các mối quan hệ phức tạp giữa hàng tỷ tài khoản.

Theo tài liệu kỹ thuật công bố tại Hội nghị USENIX ATC 2013, TAO được thiết kế để phục vụ hơn một tỷ người dùng và xử lý trên một tỷ lượt đọc dữ liệu cùng hàng triệu lượt ghi dữ liệu mỗi giây. Sau này, Meta cho biết quy mô của hệ thống đã tiếp tục tăng lên nhiều lần.

Tại sao bảng tin Facebook luôn khác nhau?

Một trong những thành phần quan trọng nhất của Facebook là News Feed – bảng tin mà mỗi người dùng nhìn thấy khi mở ứng dụng.

Điều đặc biệt là không có hai người dùng nào nhìn thấy cùng một bảng tin.

Mỗi khi đăng nhập, hệ thống phải lựa chọn trong số hàng nghìn nội dung tiềm năng để quyết định bài viết nào xuất hiện trước.

Theo các nghiên cứu công bố về hệ thống gợi ý nội dung của Facebook, việc xếp hạng bảng tin hiện nay chủ yếu dựa trên các mô hình trí tuệ nhân tạo và học sâu (deep learning).

Thuật toán sẽ đánh giá hàng loạt yếu tố như: Mức độ thân thiết với người đăng; Chủ đề người dùng thường tương tác; Loại nội dung yêu thích (ảnh, video, văn bản); Thời điểm đăng tải; Hành vi của những người dùng có sở thích tương đồng.

Sau đó hệ thống chấm điểm và sắp xếp nội dung theo mức độ phù hợp với từng cá nhân.

Đây là lý do vì sao hai người bạn cùng theo dõi một trang nhưng có thể nhìn thấy những bài viết hoàn toàn khác nhau.

Hạ tầng dữ liệu khổng lồ

Sự phát triển của Facebook kéo theo nhu cầu xây dựng các trung tâm dữ liệu ngày càng lớn.

Meta cho biết hạ tầng của họ đã chuyển từ một số ít máy chủ trong các trung tâm thuê ngoài thành mạng lưới trung tâm dữ liệu trải rộng trên nhiều khu vực toàn cầu.

Bên cạnh dữ liệu văn bản, Facebook còn phải lưu trữ hàng nghìn tỷ bức ảnh và video.

Để xử lý khối lượng khổng lồ này, công ty sử dụng hệ thống lưu trữ phân tán. Một nội dung có thể được sao chép ở nhiều trung tâm dữ liệu khác nhau nhằm đảm bảo tốc độ truy cập và khả năng dự phòng khi xảy ra sự cố.

Ngoài ra, Meta còn phát triển các công cụ riêng như McRouter để điều phối lưu lượng giữa hàng nghìn máy chủ bộ nhớ đệm. Theo tài liệu kỹ thuật của công ty, hệ thống này từng xử lý gần 5 tỷ yêu cầu mỗi giây ở thời điểm công bố.

Từ mạng xã hội đến cỗ máy AI

Sau hơn hai thập niên phát triển, Facebook không còn đơn thuần là một website kết nối bạn bè.

Meta cho biết hiện nay hạ tầng của tập đoàn phục vụ hơn 3,4 tỷ người trên toàn thế giới thông qua các nền tảng như Facebook, Instagram, Messenger và WhatsApp.

Trí tuệ nhân tạo đang hiện diện trong hầu hết các chức năng: từ xếp hạng bảng tin, gợi ý kết bạn, phát hiện nội dung vi phạm cho tới hệ thống quảng cáo cá nhân hóa.

Nhìn từ bên ngoài, Facebook chỉ là những cú nhấp chuột và các dòng trạng thái xuất hiện trên màn hình điện thoại. Nhưng phía sau là một trong những hệ thống công nghệ phức tạp nhất từng được con người xây dựng – nơi hàng tỷ kết nối xã hội được xử lý trong vài phần nghìn giây.