Tin mới

Cạnh tranh GPU H100 của NVidia, Intel tung bộ tăng tốc Gaudi 3 dành cho AI

Chủ nhật, 09/06/2024 05:00:00

Các bộ vi xử lý Intel Xeon là lựa chọn lý tưởng cho máy chủ điều phối chính (head node) để chạy các ứng dụng AI và vận hành trong một hệ thống có trang bị các bộ tăng tốc Intel Gaudi AI, thiết bị được thiết kế để hỗ trợ các ứng dụng AI. Kết hợp cùng nhau, bộ đôi này mang đến một giải pháp mạnh mẽ có thể tích hợp vào cơ sở hạ tầng sẵn có của doanh nghiệp.

Là giải pháp duy nhất được MLPerf đánh giá đủ chuẩn để thay thế Nvidia H100 trong việc huấn luyện và suy luận của các mô hình ngôn ngữ lớn (large language model, viết tắt là LLM), kiến trúc Gaudi mang đến cho doanh nghiệp hiệu suất GenAI mong muốn với lợi thế về giá cả và hiệu suất, đồng thời cung cấp nhiều lựa chọn và thời gian triển khai nhanh chóng với tổng chi phí vận hành thấp hơn.

Một bộ công cụ AI tiêu chuẩn bao gồm tám bộ tăng tốc Intel Gaudi 2 với bo mạch chủ đa năng (universal baseboard, UBB). Bộ công cụ này được cung cấp cho nhà cung cấp hệ thống với giá 65.000 USD, con số này ước tính bằng 1/3 chi phí so với các nền tảng cạnh tranh tương đồng. Bộ công cụ bao gồm tám bộ tăng tốc Intel Gaudi 3 với một UBB sẽ được niêm yết với giá 125.000 USD, ước tính bằng 2/3 chi phí so với các nền tảng cạnh tranh tương đồng.

Các bộ tăng tốc Intel Gaudi 3 sẽ mang đến những cải thiện về hiệu năng khi chạy huấn luyện và suy luận trên các mô hình GenAI hàng đầu, qua đó hỗ trợ doanh nghiệp khai phá giá trị từ các dữ liệu độc quyền. Intel Gaudi 3 là một cụm 8.192 bộ tăng tốc dự kiến sẽ rút ngắn đến 40% thời gian huấn luyện cần thiết so với cụm GPU H100 từ Nvidia và thông lượng huấn luyện nhanh hơn 15% cho cụm 64 bộ tăng tốc so với Nvidia H100 trên mô hình Llama2-70B. Hơn nữa, Intel Gaudi 3 được dự kiến sẽ cung cấp tốc độ suy luận trung bình cao hơn đến 2 lần so với Nvidia H100 khi chạy các mô hình LLM như Llama-70B và Mistral-7B.

Để phổ biến rộng rãi các hệ thống AI này, Intel đang hợp tác với ít nhất 10 nhà cung cấp toàn cầu, bao gồm sáu nhà cung cấp mới đã công bố về việc phân phối Intel Gaudi ra thị trường. Asus, Foxconn, Gigabyte, Inventec, Quanta, và Wistron sẽ là những đối tác mới cung cấp thêm lựa chọn cho doanh nghiệp, bên cạnh các nhà cung cấp hệ thống hàng đầu như Dell, Hewlett-Packard Enterprise, Lenovo, và Supermicro.