NVIDIA HGX H100 – Bệ phóng sức mạnh AI và HPC

Giữa làn sóng AI bùng nổ, thế giới công nghệ đang chứng kiến một bước nhảy mới của các trung tâm dữ liệu: NVIDIA HGX H100. Đây là nền tảng hạ tầng AI thế hệ mới được ví như xương sống cho các siêu máy tính hiện đại. Với 8 GPU H100 Hopper kết nối bằng NVSwitch tốc độ cao, HGX H100 mang lại sức mạnh tính toán khổng lồ, đủ để huấn luyện các mô hình ngôn ngữ hàng trăm tỉ tham số hay chạy giả lập khoa học ở quy mô chưa từng có.

Từ phòng thí nghiệm nghiên cứu đến những trung tâm dữ liệu đám mây, sự xuất hiện của HGX H100 đang mở ra kỷ nguyên tăng tốc AI và HPC, nơi hiệu suất không còn là giới hạn, mà là bàn đạp cho đổi mới. Cùng VNSO tìm hiểu tất tần tật về NVIDIA HGX H100 qua bài viết.

1. Bạn nên biết gì về NVIDIA HGX H100?

NVIDIA HGX H100 là nền tảng máy chủ GPU thế hệ mới của NVIDIA, được thiết kế riêng cho trí tuệ nhân tạo (AI) và điện toán hiệu năng cao (HPC). Thay vì chỉ là một card đồ họa đơn lẻ, HGX H100 giống như một “bảng nền” (baseboard) chứa nhiều GPU H100 Hopper mạnh mẽ, kết nối với nhau bằng công nghệ NVLink và NVSwitch để tạo thành một khối xử lý thống nhất.

Từ những máy chủ AI cao cấp như NVIDIA DGX H100 cho đến các siêu máy tính hàng đầu thế giới, nền tảng này được sử dụng để xây dựng cơ sở hạ tầng phục vụ huấn luyện mô hình AI, chạy suy luận tốc độ cao hay xử lý các bài toán khoa học phức tạp.

Với kiến trúc Hopper, bộ nhớ HBM3 dung lượng lớn và khả năng tăng tốc đặc biệt cho các mô hình ngôn ngữ khổng lồ, HGX H100 nhanh chóng trở thành lựa chọn hàng đầu của các trung tâm dữ liệu và nhà cung cấp dịch vụ đám mây. Nó không chỉ mang đến hiệu suất vượt trội, mà còn mở đường cho một thế hệ ứng dụng AI mạnh mẽ và linh hoạt hơn.

Hình ảnh Chip AI NVIDIA HGX H100

Thông số cấu hình của NVIDIA HGX H100

(* Với sparsity – kỹ thuật làm thưa dữ liệu để tăng tốc tính toán)

Tại sao gọi là NVIDIA HGX H100? HGX là gì?

NVIDIA HGX H100 là tên gọi của nền tảng máy chủ GPU được xây dựng trên kiến trúc Hopper H100. Trong đó, HGX không phải là tên GPU, mà là viết tắt của Hyperscale GPU eXcelerator – nền tảng cơ sở hạ tầng do NVIDIA thiết kế dành riêng cho các trung tâm dữ liệu AI và HPC.

Điểm quan trọng là HGX H100 không bán trực tiếp cho người dùng cuối, mà thường được các hãng máy chủ như Dell, HPE, Supermicro… sử dụng để phát triển hệ thống của riêng họ. Trong khi đó, các dòng máy chủ AI cao cấp của NVIDIA như DGX H100 cũng được xây dựng dựa trên nền tảng này.

Hình ảnh thực tế 8x GPU NVIDIA H100 tại sự kiện công nghệ Techday 2024

NVIDIA HGX H100 khác gì so với các thế hệ trước?

So với thế hệ trước HGX A100, nền tảng NVIDIA HGX H100 mang đến bước nhảy vọt về hiệu năng nhờ kiến trúc Hopper mới, hỗ trợ FP8 Transformer Engine giúp tăng tốc huấn luyện LLM gấp nhiều lần, bộ nhớ HBM3 dung lượng và băng thông cao hơn, cùng khả năng kết nối NVLink Gen4 nhanh hơn.

Trong khi A100 chủ yếu dùng FP16/BF16, thì H100 tối ưu tốt hơn cho AI hiện đại. Ngoài ra, NVIDIA còn giới thiệu HGX H200 với bộ nhớ HBM3e lớn hơn, cho thấy H100 là thế hệ trung tâm đánh dấu sự chuyển giao sang kỷ nguyên AI quy mô cực lớn.

Mặt sau của NVIDIA HGX H100

2. Phân biệt NVIDIA HGX H100 khác gì so với các dòng khác trong hệ sinh thái NVIDIA như DGX, GPU

Để tránh nhầm lẫn, cần phân biệt rõ vai trò của GPU H100, HGX H100 và DGX H100 trong hệ sinh thái NVIDIA:

– HGX H100: đây là bo mạch nền do NVIDIA thiết kế, tích hợp nhiều GPU H100 (thường 4 hoặc 8) và kết nối với nhau bằng NVSwitch + NVLink. HGX giống như “bộ khung chuẩn” để các hãng server (Dell, HPE, Supermicro…) phát triển máy chủ AI của riêng họ. Nó không phải là sản phẩm bán lẻ cho người dùng cuối, mà dành cho các nhà sản xuất hệ thống.

– GPU H100: con chip xử lý đồ họa kiến trúc Hopper, có hai phiên bản chính: PCIe (linh hoạt, dễ lắp trong nhiều loại server) và SXM (hiệu năng cao, tối ưu băng thông NVLink). Nó là phần tử tính toán cốt lõi, tương tự như CPU nhưng chuyên cho AI và HPC.

– DGX H100: máy chủ AI hoàn chỉnh do NVIDIA cung cấp. DGX sử dụng nền tảng HGX H100, kèm CPU, DPU, bộ nhớ, lưu trữ, phần mềm tối ưu và dịch vụ hỗ trợ. Nói cách khác, DGX là một “siêu máy tính AI đóng gói sẵn”, phù hợp cho doanh nghiệp muốn triển khai nhanh mà không cần tự thiết kế hạ tầng.

>>> Xem thêm: NVIDIA DGX H100 – Máy chủ AI tiêu chuẩn cấp doanh nghiệp

Các biến thể và nền tảng liên quan của NVIDIA H100

Ngoài GPU H100, HGX H100 và DGX H100, hệ sinh thái NVIDIA còn mở rộng với nhiều biến thể và nền tảng liên quan. GPU H100 có hai dạng: PCIe (linh hoạt, dễ triển khai trong nhiều server) và SXM (hiệu năng cao, chuyên cho HGX/DGX). Ở cấp độ lớn hơn, SuperPod là cụm nhiều DGX H100 kết nối thành siêu máy tính AI quy mô exaFLOPS, trong khi OVX lại là máy chủ tối ưu cho Omniverse và mô phỏng 3D.

Nhiều hệ thống HGX/DGX cũng tích hợp thêm BlueField DPU và ConnectX NIC để tăng hiệu quả mạng và bảo mật. Ngoài ra, dòng HGX không chỉ có H100 mà còn có HGX A100 (Ampere) và HGX H200 (phiên bản nâng cấp với bộ nhớ HBM3e lớn hơn), cho thấy đây là định dạng nền tảng mà NVIDIA duy trì qua từng thế hệ GPU AI.

3. Đặc điểm nổi bật của NVIDIA HGX H100

3.1. Hiệu năng AI vượt trội

NVIDIA HGX H100 được xây dựng trên kiến trúc Hopper, mang đến bước nhảy vọt về hiệu năng trong huấn luyện và suy luận AI. Với khả năng xử lý hàng nghìn tỷ tham số, nền tảng này đặc biệt phù hợp cho các mô hình AI thế hệ mới như GPT, BERT, hay LLMs.

NVIDIA HGX H100 Training GPT-3 175b nhanh gấp 4.5x lần A100

3.2. Thiết kế mô-đun linh hoạt

HGX H100 hoạt động như một “building block” chuẩn hóa, cho phép các nhà sản xuất server dễ dàng tích hợp vào nhiều hệ thống khác nhau. Thiết kế dạng SXM giúp kết nối nhiều GPU H100 lại với nhau thông qua NVLink và NVSwitch, tạo thành một nền tảng AI mạnh mẽ, có thể mở rộng từ 4 đến 8 GPU trong một node.

3.3. Hệ thống kết nối tốc độ cao

Điểm mạnh lớn của HGX H100 nằm ở khả năng giao tiếp giữa các GPU. Công nghệ NVLink Gen4 và NVSwitch giúp truyền dữ liệu siêu nhanh, giảm độ trễ và tăng thông lượng, hỗ trợ tối ưu cho khối lượng công việc AI khổng lồ, HPC và điện toán đám mây.

3.4. Tối ưu cho nhiều loại hình ứng dụng

HGX H100 không chỉ dành cho AI, mà còn được tối ưu cho HPC (High Performance Computing), khoa học dữ liệu, mô phỏng kỹ thuật, và phân tích dữ liệu quy mô lớn. Điều này giúp các doanh nghiệp, trung tâm nghiên cứu và siêu máy tính tận dụng tối đa hạ tầng để tăng tốc đổi mới.

Hiệu suất HPC của NVIDIA HGX H100 nhanh hơn 1.7x lần A100

>>> Xem thêm: So sánh A100 NVIDIA GPU vs H100: Nên chọn GPU nào?

3.5. Nền tảng mở rộng cho siêu máy tính AI

HGX H100 chính là nền tảng cốt lõi trong các hệ thống NVIDIA DGX và SuperPod. Từ một node nhỏ, doanh nghiệp có thể mở rộng quy mô thành cụm máy tính AI với sức mạnh hàng trăm đến hàng nghìn GPU, đạt hiệu năng ở cấp độ exaFLOPS.

3.6. Công nghệ vượt trội đỉnh cao NVIDIA HGX H100

– Bộ nhớ HBM3 dung lượng lớn: HGX H100 hỗ trợ GPU H100 với bộ nhớ HBM3 lên đến 80 GB mỗi GPU, băng thông cực cao giúp xử lý dữ liệu lớn nhanh hơn.

– Hỗ trợ FP8 Transformer Engine: Đây là công nghệ mới trong kiến trúc Hopper, giúp tăng tốc huấn luyện mô hình AI gấp nhiều lần so với thế hệ A100 mà vẫn giữ độ chính xác.

– Khả năng tiết kiệm năng lượng tốt hơn: Hiệu năng trên mỗi watt cao hơn, tối ưu cho các trung tâm dữ liệu quy mô lớn.

– Khả năng mở rộng linh hoạt: HGX H100 có thể triển khai trong nhiều cấu hình server khác nhau, từ 4 GPU đến 8 GPU trong một node, sau đó mở rộng thành cụm HPC/AI lớn.

– Tích hợp bảo mật phần cứng: Hỗ trợ tính năng bảo mật mới như confidential computing, giúp bảo vệ dữ liệu nhạy cảm trong quá trình xử lý AI.

3.7. Phần mềm phát triển bởi NVIDIA

Hệ sinh thái phần mềm của NVIDIA HGX H100 được xây dựng xoay quanh CUDA và các thư viện tăng tốc như cuDNN, TensorRT, NCCL, giúp tối ưu huấn luyện và suy luận AI ở quy mô lớn. Nền tảng này hỗ trợ đầy đủ các framework phổ biến như PyTorch, TensorFlow, JAX, đồng thời khai thác tối đa Transformer Engine cho mô hình ngôn ngữ khổng lồ.

Với NVIDIA AI Enterprise, NGC và Base Command, doanh nghiệp có thể dễ dàng quản lý, triển khai và mở rộng hạ tầng AI trên HGX H100, biến phần cứng mạnh mẽ thành giải pháp AI toàn diện.

NVIDIA HGX AI Supercomputer – Hệ sinh thái ứng dụng AI toàn diện

4. Ứng dụng thực tế của NVIDIA HGX H100

ASUS & Ubilink — Siêu máy tính GPU hiệu quả và xanh

ASUS kết hợp cùng Ubilink triển khai siêu máy tính sử dụng 128 server ASUS ESC N8-E11 với tổng cộng 1,024 GPU H100 HGX, đạt hiệu suất 45.82 PFLOPS. Hệ thống xếp thứ 31 trong TOP500 và 44 trong Green500, hiệu quả hơn các đối thủ cạnh tranh đến 1,23×.

NVIDIA Eos Supercomputer đỉnh cao AI ExaFLOPS

Eos, siêu máy tính hàng đầu của NVIDIA, sử dụng 576 hệ thống DGX H100 (mỗi hệ thống gồm 8 GPU H100), tổng cộng 4,608 GPU H100. Thiết bị đạt 121.4 PFLOPS FP64 và 18.4 ExaFLOPS FP8, phục vụ nghiên cứu AI cấp doanh nghiệp với kết nối Quantum-2 InfiniBand tốc độ cao.

Vultr & Athos cùng AI Y sinh trên nền tảng đám mây mạnh mẽ

Vultr (đối tác Dell) cung cấp GPU cloud HGX H100 cho công ty AI Y-sinh Athos. Giải pháp giúp Athos xử lý dữ liệu lớn dùng trong dược phẩm và y học chính xác, đồng thời tối ưu chi phí và hiệu suất vận hành.

5. NVIDIA HGX H100 tại thị trường Việt Nam và Quốc tế

NVIDIA HGX H100 là nền tảng AI mạnh mẽ, được nhiều hãng server lớn như Supermicro, ASUS hay Dell tích hợp. Trên thị trường quốc tế, giá một baseboard HGX H100 8 GPU dao động từ 205.000 – 263.000 USD. Nếu chọn máy chủ hoàn chỉnh (8 GPU H100), chi phí có thể từ 250.000 – 480.000 USD tùy cấu hình. Ngoài ra, GPU H100 bán lẻ dạng PCIe hoặc SXM5 thường có giá 32.000 – 58.000 USD mỗi card.

Tại Việt Nam, giá bán lẻ card NVIDIA H100 80GB PCIe khoảng 799 triệu đồng (~32.000 USD). Nếu sử dụng dịch vụ thuê, chi phí cho một GPU H100 dao động khoảng 80 triệu đồng/tháng (~3.400 USD). Hiện chưa có nhiều đơn vị công bố giá nguyên bộ HGX H100, nhưng xu hướng thuê GPU đang phổ biến nhờ tiết kiệm chi phí đầu tư ban đầu.

Thay vì đầu tư phần cứng, nhiều doanh nghiệp chọn thuê HGX H100 qua dịch vụ cloud. Lưu ý tất cả giá ở trên chỉ mang tính tham khảo, báo giá chính xác vui lòng liên hệ VNSO.

>>> Xem thêm: GPU NVIDIA H100: Những điều cần biết trước khi mua, thuê

Đơn vị cung cấp NVIDIA HGX H100, Server AI và GPU uy tín tại Việt Nam

Toàn bộ phần cứng GPU và máy chủ tại VNSO đều có CO/CQ chính hãng, đảm bảo chất lượng và nguồn gốc rõ ràng. Hệ thống triển khai chỉ trong vài phút, vận hành ổn định, bảo mật cao, phù hợp cho mọi dự án AI từ huấn luyện mô hình lớn đến triển khai LLM. Đặc biệt, đội ngũ kỹ thuật VNSO trực 24/7, luôn sẵn sàng hỗ trợ và tối ưu hạ tầng AI theo nhu cầu doanh nghiệp.

VNSO cung cấp Server AI – NVIDIA H100 GPU chỉ từ ~52.000 VND/giờ!

H100 Standard

Thuê theo tháng: 2,69 USD/giờ ≈ 50,36 triệu VNĐ/tháng

Thuê theo năm: 2,0175 USD/giờ ≈ 453,2 triệu VNĐ/năm *Tiết kiệm ~25% so với thuê theo tháng

H100 Premium

Thuê theo tháng: 3,4 USD/giờ ≈ 63,65 triệu VNĐ/tháng

Thuê theo năm: 2,55 USD/giờ ≈ 572,8 triệu VNĐ/năm *Tiết kiệm ~25% so với thuê theo tháng

Liên hệ ngay VNSO để được tư vấn, báo giá miễn phí giải pháp AI tiên tiến nhất. 

Thông tin liên hệ

Để tìm hiểu thông tin về các giải pháp Điện toán đám mây, chuyển đổi số, máy chủ ảo VPS, Server, máy chủ vật lý, CDN… Quý khách vui lòng liên hệ chúng tôi theo thông tin dưới đây:

VNSO TECHNOLOGY CO., LTD – SINCE 2015

– Website: https://vnso.vn/
– Fanpage: Facebook | LinkedIn | YouTube | TikTok
– Hotline: 0927 444 222 | Email: info@vnso.vn
– Trụ sở: Lô O số 10, Đường số 15, KDC Miếu Nổi, Phường Gia Định, TP. Hồ Chí Minh
– VPGD Đà Nẵng: 30 Nguyễn Hữu Thọ, Phường Hải Châu, Đà Nẵng
– VPGD Hà Nội: 132 Vũ Phạm Hàm, Phường Yên Hòa, Hà Nội