Hybrid MPI & OpenMP

Cluster[1] là một hệ thống bao gồm nhiều node liên kết với nhau bằng network. Thông thường mỗi node trong cluster được trang bị một hoặc nhiều CPU, với xu thế chung là sử dụng CPU nhiều nhân, một số node còn được gắn thêm GPU. Những cluster dạng này ngày càng được sử dụng phổ biến, ví dụ trong top500 siêu máy tính mạnh nhất thế giới thì có đến 82% sử dụng cluster [2].

Hình 1[3]: cấu trúc của một cluster

Chạy chương trình OpenMP với Visual Studio 2008

OpenMP [1] là một thư viện hỗ trợ lập trình song song mà trong đó các thread chia sẻ bộ nhớ với nhau, rất thích hợp với CPU có nhiều nhân (multicore processor). Sau đây chúng ta sẽ chạy thử một chương trình OpenMP trên Visual Studio 2008.

Đầu tiên tạo một project c++ có tên tùy thích, ví dụ omp_1. Kế tiếp vào Project–>omp_1 properties chọn như hình sau:

Các Scheduler trong Hadoop

Mấy tháng trước tôi có vọc Hadoop, cũng viết được một bài báo cùi bắp. Thầy tự dưng bảo nhảy qua làm Openstack, Hadoop để nhóm khác làm, nay lại muốn mình tiếp tục xem Hadoop. Thật ra tôi thích làm phần này vì còn nhiều khía cạnh mà mình có thể nhúng tay vào.

Mô hình mapreduce đã cố định như vậy, khó có thể cải tiến hơn nữa. Do đó nhiều nghiên cứu tập trung vào scheduler. Scheduler hiệu quả không những giúp tận dụng được tài nguyên của hệ thống mà còn có thể giảm thiểu số lượng task cần backup (do chạy quá chậm), do đó rút ngắn thời gian tính toán.

Amazon Web Services (2)

3. Simple Storage Service(S3)

S3 là dịch vụ lưu trữ dữ liệu tính phí của Amazon, người dùng có thể sử dụng các interface được cung cấp để lưu trữ dữ liệu tạm thời hoặc vĩnh viễn trên S3. Người dùng có thể truy cập vào dữ liệu của mình từ bất cứ nơi đâu, bất cứ lúc nào thông qua giao diện web. S3 có độ tin cậy cao, dễ sử dụng và rẻ tiền. Bảng sau cung cấp giá thành (lưu trữ) của nó:

Hình 1 ^[1]: Giá dịch vụ lưu trữ của S3