Home > Principles, Programming > Google Cloud Computing System

Google Cloud Computing System

Google cung cấp hàng loạt dịch vụ cho người dùng trên toàn thế giới như Google Maps, Google Earth, Gmail, Youtube…Tất cả các dịch vụ này đều có lượng dữ liệu rất lớn được lưu trữ trên hệ thống Cloud Computing của Google. Hệ thống này cũng cung cấp các điều kiện và cơ chế cần thiết để hàng triệu máy tính của nó hoạt động đồng bộ, bao gồm 4 thành phần: Hệ thống tập tin(Google File System-GFS) cho phép lưu trữ và truy cập lượng dữ liệu khổng lồ, mô hình lập trình tính toán phân bố MapReduce giúp cho việc xử lí dữ liệu song song được dễ dàng, khóa phân tán Chubby giải quyết vấn đề đồng bộ và hệ thống lưu trữ phân tán dữ liệu cấu trúc hóa Bigtable.

Các đặc điểm cơ bản của GFS và MapReduce đã được mô tả trong các bài trước khi nói về Hadoop. Các node trong GFS phân thành 3 loại: client, master và chunk server. Client cung cấp các cổng giao tiếp cho các ứng dụng. Master quản lí tất cả các node, về lí thuyết chỉ có 1 master. Dữ liệu được chia thành các chunk, mỗi chunk mặc định là 64MB lưu thành 3 bản trên các chunk server.

Chubby sử dụng advisory lock (chứ không phải mandatory lock)  và Coarse-Grained (chứ không phải Fine-Grained). Advisory lock cho phép truy cập vào những file đã bị khóa, còn mandatory không cho phép như vậy. Coarse-Grained có thời gian khóa có thể lên đến vài ngày, trong khi Fine-Grained chỉ tồn tại vài giây. GFS sử dụng Chubby để chọn một server chủ, Bigtable cũng dùng Chubby để chọn server chủ và khống chế các server của các table con liên quan. Ngoài chức năng phục vụ lock, Chubby cũng là một hệ thống lưu trữ ổn định để lưu trữ các dữ liệu nhỏ bao gồm metadata.

Google phát triển Bigtable để chuyên dùng cho GFS và Chubby. Rất nhiều dữ liệu có cấu trúc và bán cấu trúc của Google, bao gồm web index, hình vệ tinh…được lưu trên Bigtable. Dữ liệu trong Bigtable thông qua Row key, column key time stamp để tiến hành lập index. Bigtable không lưu trữ trực tiếp địa chỉ web mà lưu ngược lại, ví dụ com.cnn.www (chứ không phải http://www.cnn.com), do đó các trang web thuộc cùng nhóm địa chỉ sẽ được lưu trữ kế tiếp nhau, thuận lợi cho việc tìm và phân tích đồng thời cũng thuận lợi cho việc nén dữ liệu.

Categories: Principles, Programming Tags: ,
  1. No comments yet.
  1. No trackbacks yet.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: