Python 3 là phiên bản thế hệ mới của ngôn ngữ lập trình Python. Đây là ngôn ngữ có cú pháp tương đối dễ đọc, hỗ trợ lập trình hướng đối tượng, kiểu dữ liệu động và sở hữu hệ sinh thái thư viện lớn. Python được sử dụng trong nhiều lĩnh vực như phát […]
NVIDIA cuDNN (CUDA Deep Neural Network library) là thư viện được NVIDIA phát triển để tối ưu các phép toán thường gặp trong Deep Learning trên GPU NVIDIA. cuDNN cung cấp các implementation hiệu năng cao cho nhiều phép toán như convolution, matrix multiplication, attention, normalization, softmax và pooling. Nếu CUDA là nền tảng giúp […]
Framework AI (AI framework) là nền tảng phần mềm giúp lập trình viên và kỹ sư xây dựng, huấn luyện, tối ưu và triển khai các mô hình trí tuệ nhân tạo (AI) mà không phải tự phát triển mọi thành phần từ đầu. Nếu mới tìm hiểu về AI, bạn có thể bắt gặp […]
CUDA là gì? Đây là câu hỏi thường gặp khi bắt đầu tìm hiểu về GPU, trí tuệ nhân tạo (AI) và Cloud GPU. Bạn có thể đã thấy các cụm từ như CUDA, CUDA Toolkit, CUDA Core, CUDA cuDNN, CUDA PyTorch hoặc CUDA version nhưng chưa rõ chúng khác nhau thế nào. CUDA là […]
AI Inference (suy luận AI) là quá trình sử dụng một mô hình trí tuệ nhân tạo (AI) đã được huấn luyện để xử lý dữ liệu mới và đưa ra kết quả. Ví dụ, khi người dùng gửi câu hỏi cho chatbot AI, hệ thống sẽ đưa câu hỏi vào mô hình. Mô hình […]
Trong lĩnh vực AI, Machine Learning và High Performance Computing (HPC), GPU Data Center đóng vai trò quan trọng. Một trong những dòng GPU từng tạo bước đột phá lớn là NVIDIA V100 hay NVIDIA Tesla V100. Ra mắt dựa trên kiến trúc Volta, Tesla V100 được NVIDIA phát triển cho các trung tâm dữ […]
GPU AI ngày nay không còn chỉ cạnh tranh về VRAM hay số lượng lõi CUDA cores, mà còn phải có khả năng xử lý tensor operation (phép toán tensor) hiệu quả hơn. Đó cũng là lý do NVIDIA phát triển TensorFloat-32 (TF32) trên kiến trúc Ampere và triển khai mạnh nhất trên NVIDIA A100 […]
Các mô hình AI ngày nay cần xử lý lượng dữ liệu khổng lồ với hàng tỷ tham số hoạt động liên tục bên trong GPU AI. Điều này khiến bộ nhớ trở thành một trong những thành phần quan trọng nhất của toàn bộ hệ thống. Hiệu năng AI hiện đại còn phụ thuộc […]
Các mô hình AI hiện đại đang phát triển với tốc độ rất nhanh và có thể chứa hàng chục tỷ, thậm chí hàng nghìn tỷ tham số. Điều này kéo theo nhu cầu cực lớn về GPU, VRAM, điện năng và hạ tầng AI Data Center. Đây cũng là lý do vì sao các […]
Khi ChatGPT trả lời câu hỏi, Gemini tạo hình ảnh hay AI voice tạo ra giọng nói tự nhiên, toàn bộ khả năng đó đến từ quá trình huấn luyện AI hay còn gọi là Train Model AI kéo dài hàng tuần hoặc hàng tháng trên những hệ thống GPU khổng lồ hoạt động liên […]
