Thiên sử ca về hành trình ly khai khỏi đế chế Amazon của Dropbox

Nếu bạn là một trong 500 triệu người sử dụng Dropbox, ứng dụng đó chỉ là một thư mục trên desktop máy tính của bạn để bạn có thể dễ dàng lưu các file trên Internet, chia sẻ và đồng bộ với laptop, điện thoại và tablet. Bạn sử dụng thư mục đó và bỏ quên nó. Đó là mục đích thiết kế của ứng dụng. Tuy nhiên, đằng sau thư mục đơn giản này, là cả một thiên sử thi về kỹ thuật. Và giờ, sau tám năm ra đời "thuê nhà của Amazon", Dropbox đã bước sang giai đoạn mới đáng chú ý cho sự tồn tại của mình.

Amazon đang thống trị tuyệt đối thị trường điện toán đám mây. Và hai đối thủ chính của công ty này là Google và Microsoft. Nhưng cùng lúc đó, cũng còn một thị trường thứ cấp khác với trung tâm tăng trưởng xung quanh Dropbox, với các đối thủ như Box.com, Saleforce.com và những người khác. Các công ty này phù hợp với một thị trường ngách nhỏ hơn – cung cấp các ứng dụng phần mềm dựng trước qua Internet. Như các công ty lớn hơn, họ cũng cung cấp các công cụ cho các doanh nghiệp và các nhà phát triển sử dụng mà không cần thiết lập phần cứng cho riêng mình. “Kỷ nguyên lớn tiếp theo của ngành công nghiệp này là một cuộc chiến giữa các nền tảng,” Aaron Levie, CEO của Box.com cho biết. “Tiếp theo, các doanh nghiệp sẽ xây dựng trên nền tảng nào?”

Dropbox muốn trở thành một trong số họ. Vì vậy, họ đã tận dụng một cơ hội lớn khi xây dựng nền tảng đám mây cho riêng mình. Trong thời gian tám năm đầu tiên của startup này, các dữ liệu của người dùng không thực sự được lưu trên hệ thống của họ, mà được lưu trên hệ thống của Amazon. Và giờ đây, sau một dự án dài hai năm sáu tháng, họ đã có một mạng lưới các máy tính thế hệ mới, một ngôn ngữ lập trình mới để làm nên nền tảng đám mây cho riêng mình. Với hơn 90% dữ liệu của người dùng đã được chuyển thành công sang các máy tính mới, họ đã sẵn sàng bước sang một giai đoạn mới cho sự tồn tại của mình.

Một sân chơi với nhiều ông lớn.

Nhưng mọi việc sẽ không dễ dàng. Công ty sẽ phải đối mặt với sự cạnh tranh ngày càng tăng từ Amazon, Microsoft và Google khi mở rộng vào phần mềm dựng trước. Trên thực tế, những người khổng lồ này đã thách thức mô hình của Dropbox và Box.com với các công cụ chia sẻ file của riêng họ. Và thị trường chia sẻ dường sẽ ít mở rộng trong tương lai. Việc chia sẻ các file đơn độc – như ảnh, video và các file văn bản – đang trở nên ít quan trọng. File cũng ko phải là trung tâm của các thiết bị như smartphone. Và với các dịch vụ nhắn tin như Slack, file cũng không còn là tâm điểm cho các máy tính để bàn.

Dropbox biết điều đó. Việc định giá cao startup này đã biến nó thành mục tiêu cho những lời chỉ trích về các “kỳ lân” (những startup đầu tư tỷ đô nhưng chưa mang lại lợi nhuận). Trong những tháng gần đây, không startup nào phải chịu nhiều sức ép như Dropbox, với câu hỏi về khả năng cạnh tranh trong thế giới của những nhà khổng lồ về Internet. Liệu sau ngần đó thời gian, tiền bạc và công sức bỏ ra để đưa mình vào mạng lưới toàn cầu của riêng mình, Dropbox có kịp thay đổi để theo kịp những xu hướng mới của thế giới không?

Những ngày đầu thành lập

James Cowling biết những người sáng lập nên Dropbox từ ngày ở MIT. Sau khi tốt nghiệp đại học, anh chú ý vào các hệ thống phân tán – những hệ thống điện toán chạy trên hàng chục, hàng trăm - thậm chí hàng nghìn máy – và đó là lý do anh học cùng những nhân viên đầu tiên của Dropbox. Anh gặp Drew Houston, đồng sáng lập Dropbox và là CEO. Khi Dropbox lớn mạnh, họ vẫn giữ liên lạc với nhau và cùng nhau nghiền ngẫm làm thế nào và tại sao startup này có thể hoạt động riêng một mình, không cần đến Amazon. “Đó dường như là một cú bắn vào mặt trăng.” Cowling nói.

Trưởng nhóm lưu trữ của Dropbox.

Trong năm 2012, Google đề nghị Cowling một vị trí trong đội kỹ thuật chuyên giám sát Spanner, cơ sở dữ liệu toàn cầu cho nhiều hoạt động trực tuyến của gã khổng lồ tìm kiếm. Spanner có thể là cơ sở dữ liệu đơn lớn nhất và phức tạp nhất trên Trái Đất. Nhưng thay vào đó, Cowling lại sang làm cho Dropbox. “Tôi muốn tạo ra điều gì đó.” Cowling nói. Spanner đã tồn tại, nhưng đế chế Dropbox thì chưa.

Để tồn tại, Dropbox chạy một phần trên Amazon, một phần không. Nếu một nhóm người nào đó chia sẻ file qua Dropbox, công ty sẽ lưu file đó trên dịch vụ lưu trữ S3 của Amazon (Simple Storage Services), trong khi lưu trữ toàn bộ siêu dữ liệu (metadata) liên quan đến những file đó – như chúng thuộc về ai, ai được phép tải xuống, … - trên các máy bên trong khu trung tâm dữ liệu của riêng mình.

Làm việc bên cạnh phó chủ tịch về cơ sở hạ tầng, Akhil Gupta, một cựu nhân viên của Google, Cowling thiết kế một hệ thống phần mềm, cho phép Dropbox lưu trữ hàng petabyte dữ liệu – đủ dữ liệu để lấp đầy hàng trăm triệu ổ USB – và lưu trữ chúng hiệu quả hơn nhiều so với cách lưu trên Amazon S3 hiện tại. Họ gọi hệ thống đó là Magic Pocket. “Dropbox được hình dùng như một nơi mà bạn giữ mọi thứ của mình, không bị mất và bạn luôn có thể truy cập vào nó.” Gupta nói. “Một chiếc túi ma thuật (magic pocket).”

“Chúng tôi không tạo ra một thứ để thay thế,” Agarwal, nhân viên cũ của Facebook và phó chủ tịch về kỹ thuật, nói. “Chúng tôi tạo ra một thứ có thể tùy chỉnh cho chúng tôi.”

Ngay cả khi Dropbox vẫn đang đặt trên Amazon, nhà bán lẻ trực tuyến này cũng bắt đầu hành động như thể họ là đối thủ cạnh tranh của Dropbox. Họ cũng cung cấp dịch chia sẻ file của riêng mình – một động thái gây lo ngại cho công ty nhỏ hơn, cho dù phiên bản của Amazon thiếu sự thân thiện và độ nhận diện thương hiệu so với Dropbox. Nhưng theo Agarwal, lý do cơ bản cho việc rời khỏi Amazon là kinh tế chứ không phải chính trị. “Bạn phải nghĩ về những người chơi công nghệ khổng lồ như những quốc gia – những người hàng xóm thân thiện, cho dù đôi khi có những xung đột ở đây và ở kia.” Anh nói. “Amazon là rất nhiều điều, nhưng tôi không nghĩ nhiệm vụ chính của họ là trở thành nhà cung cấp dịch vụ lưu trữ đám mây như chúng tôi.”

Dịch vụ chia sẻ file ít người biết của Amazon.

Anh muốn hy vọng vào điều tốt hơn. Bởi vì Dropbox thực sự phải rời toàn bộ đi. Vâng, họ đã tạo một phần mềm riêng cho các nhu cầu của mình. Nhưng họ còn đi một bước xa hơn. Công ty đã tự thiết kế phần cứng, một hệ thống máy tính cho riêng mình.

Quá lớn để thay đổi.

Trong nhiều năm, những người khổng lồ Internet như Google, Facebook, Microsoft và Amazon đã tự thiết kế phần cứng cho trung tâm dữ liệu của riêng mình. Các công ty này không còn sự lựa chọn nào khác ngoại trừ việc tự tay tạo ra những thứ này. Đế chế trực tuyến của họ quá rộng lớn để sử dụng các thiết bị truyền thống, vốn quá đắt và khó sử dụng. Họ cần một thế hệ phần cứng mới, rẻ hơn, hợp lý hơn và linh hoạt hơn. Vì vậy, họ tạo ra nó, hợp tác cùng các nhà sản xuất phần cứng và các nhà cung cấp bộ phận ở châu Á và các nơi khác.

Ngày nay, Google xây dựng nhiều máy chủ hơn bất cứ ai trên Trái Đất, dù họ thậm chí không bán các máy chủ đó. Tương tự như vậy là Amazon và Microsoft. Và khi các công ty này cũng kinh doanh dịch vụ điện toán đám mây, nhiều doanh nghiệp khác giờ đang chạy phần mềm của họ trên những cỗ máy, được tạo ra bên ngoài sự kìm kẹp của các nhà cung cấp truyền thống. Điều này đặc biệt đúng sau khi Facebook mã nguồn mở thiết kế các thiết bị tùy chỉnh của họ. Giờ hàng loạt các nhà cung cấp, bao gồm các nhà sản xuất châu Á như Quanta, đều bán các thiết bị làm nên phần cứng cho Facebook.

Rami Aljamal, quản lý kỹ thuật của Dropbox.

Cũng tương tự như Google, Amazon và Microsoft, Dropbox quyết định mình cần những cỗ máy phù hợp với nhu cầu lưu trữ lượng dữ liệu khổng lồ của mình. Họ có Rami Aljamal, người đã thiết kế thế hệ máy mới, hợp lý hơn cho Twitter và Dell, giờ anh thiết kế cho Dropbox. Aljamal và nhóm của mình làm việc trong phòng thí nghiệm tại trụ sở chính của Dropbox ở San Francisco. Họ gọi những cỗ máy đó là Diskotech. “Điều chúng tôi quan tâm nhất là ổ đĩa.” Aljamal nói. “Đó là nơi mọi byte được lưu trữ.” Với kích thước chỉ khoảng 45 x 105 x 15 cm, mỗi hộp Diskotech chứa được hàng petabyte hay khoảng một triệu Gigabyte dữ liệu. Chỉ 50 cỗ máy đó có thể lưu trữ mọi thứ con người viết ra từ trước đến nay.

Hộp Diskotech.

"Thay lốp giữa đường"

Cowling và cả nhóm bắt đầu làm việc với phần mềm Magic Pocket từ mùa hè năm 2013 và dành ra 6 tháng để tạo ra những dòng code đầu tiên. Nhưng đó chỉ là một bước đi tương đối nhỏ. Một khi hệ thống được xây dựng, họ phải đảm bảo nó sẽ hoạt động. Họ phải đặt hàng ngàn cỗ máy đó trong các trung tâm dữ liệu. Họ phải điều chỉnh phần mềm cho phần cứng của họ. Và đúng, họ phải di chuyển toàn bộ dữ liệu khỏi Amazon.

Toàn bộ quá trình đó mất hai năm và sáu tháng. Một dự án như vậy quả thực là một thách thức về kỹ thuật. Nhưng nó còn là một thách thức về hậu cần. Di chuyển một khối dữ liệu như vậy qua Internet là một chuyện, nhưng di chuyển những cỗ máy trong các trung tâm dữ liệu lại là chuyện khác. Và họ phải làm cả hai việc cùng lúc, trong khi Dropbox vẫn phải phục vụ hàng trăm triệu người dùng khác. “Nó giống như một chiếc ô tô đang đi.” Dan Williams, cựu kỹ sư mạng của Facebook, cho biết. “Và bạn muốn thay lốp trong khi vẫn đang chạy.” Nói cách khác, trong khi thực hiện toàn bộ những thay đổi này, Dropbox không thể tắt các dịch vụ của mình. Họ không thể nói với hàng trăm triệu người dùng trên toàn cầu rằng, các file của họ tạm thời biến mất. Một trong những biện pháp tốt nhất để hoàn thành công việc khổng lồ này là người dùng không nhận ra những việc đã xảy ra.

Dan William, phụ trách cơ sở hạ tầng của Dropbox.

Khi Cowling và đồng nghiệp tạo ra những dòng lệnh đầu tiên, họ thử nghiệm trên một mạng các phần cứng tiêu chuẩn – một phiên bản Dropbox chỉ với 20% dữ liệu lưu trên Amazon. Họ tuyên bố sẽ thử nghiệm các dòng lệnh trong vòng 180 ngày mà không tìm thấy lỗi nghiêm trọng nào, ngay cả khi treo một đồng hồ đếm ngược tại trụ sở của Dropbox. Và khi họ phát hiện ra một lỗi sau hai tháng – lỗi khi dữ liệu được lưu trữ ở nhầm địa điểm – họ cài đặt lại đồng hồ. Cuối cùng toàn bộ quá trình thử nghiệm diễn ra trong suốt 8 tháng.

Tự tin giờ hệ thống có thể vận hành toàn bộ Dropbox, cả nhóm sau đó chuyển các dòng lệnh đến ngày càng nhiều hệ thống khác, trong khi sao chép dần dữ liệu từ Amazon sang hệ thống của mình. Khi hợp đồng với Amazon sẽ hết hạn trong vòng 6 tháng nữa, nhóm cố vấn cho Dropbox giải quyết để có thể di chuyển những dữ liệu còn lại sau thời hạn đó, vì vậy họ sẽ không phải ký lại hợp đồng. “Có rất ít thời gian để bung dù.” Cowling cho biết.

Lấy những bit dữ liệu ra khỏi Amazon và đưa vào các trung tâm dữ liệu là một nhiệm vụ thiên sử thi. Di chuyển hàng triệu Gigabyte dữ liệu từ một cỗ máy này sang máy khác không đơn giản như bạn tải vài bài hát vào laptop của mình. Ngay cả đường truyền Internet nhanh nhất hiện tại cũng có những giới hạn về băng thông. Để chuyển khoảng 4 petabyte dữ liệu, sẽ mất khoảng một ngày. “Bạn bị giới hạn bởi tốc độ của ánh sáng.” Agarwal nói.

Trong khi đó, các máy tính phải được chuyển vào trong các trung tâm dữ liệu và thiết lập để nhận toàn bộ các bit dữ liệu đó. Tất cả các công việc thể chất này phải hoàn thành trong một khoảng thời gian giới hạn. Nếu họ không đưa hệ thống vào các trung tâm dữ liệu đủ nhanh, họ không thể lấy dữ liệu khỏi Amazon đủ nhanh. Công ty phải lắp đặt 40 - 50 kệ của phần cứng mỗi ngày, mỗi kệ chứa khoảng tám máy riêng lẻ. Không những thế, những tai nạn không lường trước cũng làm họ chậm lại. Trong vòng 24h, một số xe tải chở các máy móc cho trung tâm dữ liệu của Dropbox trên khắp đất nước đều gặp tai nạn.

Michele Sordal, phụ trách chuỗi cung ứng của Dropbox.

Cho dù các tai nạn và các vấn đề khác, Dropbox vẫn kịp hoàn thành thời hạn của mình. Vừa kịp thời gian công ty chấm dứt hợp đồng với Amazon. Dropbox vẫn tiếp tục sử dụng đám mây của Amazon ở châu Âu – chỉ bởi vì hoạt động kinh doanh ở đây tăng trưởng khó dự đoán hơn. Nhưng Gupta và nhóm của mình đã chuyển 90% file vào các trung tâm dữ liệu của Dropbox. Sau đó mới thực sự là thử thách khắc nghiệt cho các kỹ sư.

OK, Go

Khi toàn bộ dữ liệu được ngắt khỏi đám mây của Amazon, kỹ sư phần cứng Rami Aljamal thảo luận với một lập trình viên Jamie Turner về phần mềm. Magic Pocket của Dropbox vẫn chạy trên những cỗ máy bình thường. bước tiếp theo của các kỹ sư là chuyển nó vào phần cứng do chính công ty tùy chỉnh. Aljamal và Turner, giờ tham gia vào lực lượng để đảm bảo phần cứng mới tương thích với phần mềm. Nhưng lại xuất hiện vấn đề. Phần mềm Magic Pocket không hoàn toàn phù hợp với phần cứng mới này. Vì vậy, Turner phải xây dựng lại Magic Pocket theo một ngôn ngữ lập trình hoàn toàn khác.

Nghe có vẻ kỳ lạ. Tại sao phải đặt những dòng code lên hàng ngàn chiếc máy chỉ để thay đổi dòng lệnh khác, và đặt nó lên hàng ngàn chiếc máy khác? Nhưng trong các trung tâm dữ liệu lớn, đó là cách mọi thứ hoạt động. Máy móc sẽ bị lão hóa nhanh chóng. Các linh kiện cũng sẽ hỏng. Bạn sẽ buộc phải thay thế chúng. Bạn sẽ phải luôn nâng cấp những gì bạn có. Đầu tiên, Dropbox sẽ phải đảm bảo Magic Pocket chạy được trên thiết bị thông thường, vốn đã đủ vững chắc. Sau đó phần cứng này sẽ bị hao mòn dần. Và khi thay thế chúng, công ty phải đảm bảo cả hai, phần cứng cũ và mới, có thể làm việc cùng nhau.

Jamie Turner, kỹ sư phần mềm của Dropbox.

Cowling, Turner và những người ban đầu tạo ra Magic Pocket, sử dụng một ngôn ngữ lập trình mới từ Google, gọi là Go. Ở đây cũng vậy, Dropbox đang đi trên một xu hướng còn lớn hơn nhiều, họ cần những ngôn ngữ thiết kế đặc biệt cho một thế giới mới của hệ thống phân tán trực tuyến khổng lồ. Apple có Swift, Mozilla có Rust, và một ngôn ngữ mới từ một nhà phát triển độc lập, D. Tất cả các ngôn ngữ này đều giúp các lập trình viên xây dựng phần mềm nhanh hơn và chạy tốt hơn, ngay cả khi được vận hành trên hàng trăm hoặc hàng ngàn máy.

Nhưng vùng bộ nhớ của Go – bộ nhớ máy tính cần khi chạy Magic Pocket – quá lớn so với hệ thống lưu trữ mà công ty đang xây dựng. Dropbox cần một ngôn ngữ mới tiêu tốn ít bộ nhớ hơn, bởi vì đã có quá nhiều bộ nhớ được lấp đầy với các file lưu trên các máy này. Vì vậy, giữa thời gian hai năm sáu tháng của dự án xây dựng trung tâm dữ liệu, họ chuyển sang sử dụng Rust trên các máy Diskotech. Và đó là những gì Dropbox đang đẩy mạnh sử dụng trên các trung tâm dữ liệu của mình.

Đối mặt với hiểm nguy

Nghe có vẻ kinh khủng. Nhưng giờ các công ty như Google, Amazon và Dropbox đều đã trải qua điều này, trong khi phần lớn các công ty khác thì không phải như vậy. Đó là sức mạnh của điện toán đám mây. Dropbox không phải Amazon hay Google. Họ không cung cấp sức mạnh điện toán hay cơ sở hạ tầng để các lập trình viên hay các doanh nghiệp xây dựng và chạy phần mềm trên đó. Nhưng họ cho phép các cá nhân và các doanh nghiệp lưu trữ và chia sẻ file mà không cần thiết lập các phần cứng chuyên dụng – một việc sẽ trở nên ngày càng khó khăn khi doanh nghiệp phát triển.

Công ty này hy vọng "chia sẻ" sẽ trở thành một nền tảng. Đó là lý do tại sao Dropbox tạo ra một trình soạn thảo văn bản và một công cụ hợp tác trực tuyến được gọi là Dropbox Paper. Nó cho phép các nhà phát triển bên ngoài, cũng có thể cắm ứng dụng riêng của họ vào dịch vụ của công ty.

Điều nguy hiểm là khi Amazon, Microsoft và Google mở rộng dịch vụ riêng của mình, họ sẽ hạn chế sự tăng trưởng của Dropbox. Trong trường hợp đó, việc công ty tự phát triển trung tâm dữ liệu của riêng mình sẽ trở thành gánh nặng nhiều hơn là một việc tốt lành. Một trường hợp nổi tiếng ở San Francisco là công ty game Zynga. Khi công ty đạt đến giải đoạn siêu tăng trưởng, họ đã tách khỏi đám mây để chuyển sang trung tâm dữ liệu riêng của mình. Nhưng sau đó, khi công việc kinh doanh suy sụp, cơ sở hạ tầng đó trở nên không cần thiết. Và giờ họ đã quay trở lại với Amazon.

Akhil Gupta, phó chủ tịch về hạ tầng của Dropbox.

Với Dropbox, một lợi thế là họ có những người như Agarwal, Gupta và Williams hay Sordal, đã từng ở trong tình huống tương tự trước đây, và khi đó họ đã ở trong những công ty đối phó với các tình huống đó tốt nhất. “Nếu bạn đã từng trải nghiệm điều tương tự như vậy trong quá khứ ở Facebook hay Google, bạn sẽ như bị gây nghiện với cảm giác siêu tăng trưởng đó.” William nói. “Bạn sẽ nhớ nó khi bạn không cảm thấy nó.”

Đó không phải lời nói sáo rỗng. Đó là những lời nói có thể tiết kiệm cho một công ty nhiều triệu đô la. Nhưng giống như một cơn nghiện, điều đó đi kèm với những hiểm nguy của riêng mình. Nó có thể dẫn tới điều Thung lũng Silicon thường gọi, hội chứng NIH (Not Invented Here: không phải phát minh ở đây), khi các công ty bắt đầu tự làm mới mọi thứ từ đầu chỉ bởi vì họ từ chối mọi thứ từ bên ngoài.

Cho dù Dropbox có thể trở thành một doanh nghiệp mà họ hy vọng, hay chỉ kết thúc như một hiện tượng kỹ thuật, công ty đã có được những phát minh của riêng mình. Dropbox đã tự tay làm nên bộ lưu trữ cho riêng họ. Điều này đại diện cho một thái độ, mà bắt đầu từ Google và đã lan ra toàn Thung lũng Silicon. Google thành công không chỉ bởi họ đã tạo ra một công cụ tìm kiếm Internet tuyệt vời, mà còn vì họ xây dựng được công nghệ cơ bản cần thiết để chạy cỗ máy tìm kiếm đó, cũng như các dịch vụ khác với một quy mô khủng khiếp. Facebook, với việc tuyển dụng rất nhiều cựu nhân viên của Google, cũng đã làm được điều tương tự. Và Twitter cũng vậy. Giờ đến lượt Dropbox.

Để trở thành khổng lồ, bạn có thể phải học cách đứng trên vai người khổng lồ khác. Nhưng khi bạn trở thành người khổng lồ, bạn nên bắt đầu thấy cần phải xây một ngôi nhà dành riêng cho mình.

Tham khảo Wired