Gigabyte công bố AI TOP - PC tại gia đắt gần 1 tỷ đồng để đào tạo AI

Trí tuệ nhân tạo (AI) hiện đang là chủ đề "hot" trong giới công nghệ. Mặc dù hầu hết các mô hình AI như ChatGPT, DALL-E, Gemini, Llama, Copilot, v.v. phụ thuộc rất nhiều vào đám mây do yêu cầu tính toán cực kỳ nặng nề của chúng, nhưng người dùng cũng có thể chạy suy luận AI ở hệ thống biên hoặc hệ thống máy khách. Điều này trở nên đặc biệt quan trọng nếu họ muốn đào tạo các mô hình AI về dữ liệu và IP nhạy cảm trong khi vẫn duy trì chúng một cách nội bộ.

Việc đào tạo các mô hình AI và suy luận chúng ở biên là khả thi, nhưng phần cứng đa số các PC bình thường trên thị trường đặt ra hạn chế lớn trong việc chạy các mô hình lớn và xử lý hiệu quả nhiều mã thông báo hơn với lượng điện tiêu thụ. Gigabyte muốn thay đổi điều đó và giúp người dùng "huấn luyện AI trên bàn làm việc" với dòng AI TOP mới.

Gigabyte cho biết PC AI TOP của họ được xây dựng trên ba cấu trúc: AI TOP Utility, AI TOP Hardware và AI TOP Tutor. Mục tiêu là cho phép mở rộng quy mô từ 8/30 tỷ tham số lên 70/236 tỷ trong khi có thể chạy hệ thống từ mạng điện gia đình. Tiện ích AI TOP cho phép giám sát các thông số hệ thống khác nhau như mức sử dụng CPU, GPU, RAM và SSD đồng thời cung cấp giao diện người dùng GUI không có mã cho các tác vụ đào tạo AI.

Về mặt phần cứng, PC AI TOP đi kèm với phần cứng được tiêu chuẩn hóa và kiểm tra đầy đủ ngay từ bo mạch chủ đến PSU. Các thành phần được thiết kế để có thể nâng cấp khi cần thiết và được sử dụng trong môi trường gia đình hoặc văn phòng thông thường.

Để đáp ứng điều này, công ty đang cung cấp hai bo mạch chủ được thiết kế riêng cho việc sử dụng AI:

• TRX50 Aero D AI TOP với mạng LAN 10GbE kép, tối đa 2TB DDR5, 4 khe cắm PCIe Gen 5 x16 và 4x NVMe SSD để sử dụng với CPU AMD Threadripper 7000 Series Storm Peak HEDT
• W790 AI TOP với 2x Thunderbolt 4, tối đa 2TB DDR5, 5x khe cắm PCIe Gen 5 x16 và 6x SSD NVMe để sử dụng với CPU Intel Xeon-W2400 và W3400 Sapphire Rapids HEDT

Đối với GPU, PC Gigabyte AI TOP có thể sử dụng Nvidia GeForce RTX 4070 Ti Super AI TOP 16G, 4 trong số đó có thể được kết hợp để tạo ra tổng cộng 64GB VRAM để đào tạo AI. Người dùng cũng có thể chọn AMD Radeon Pro W7900 DS AI TOP 48G hoặc W700 AI TOP 32G mới và chia chúng thành 4 card để có được VRAM khổng lồ 192GB.

Gigabyte cũng đang cung cấp SSD AI TOP 100E NVMe với aiDAPTIVCache của Phison được thiết kế riêng để chạy mẫu aiDAPTIV+ của Phison . Ổ SSD này được đánh giá là có tốc độ đọc/ghi tuần tự lên tới 7.200/6.500MB/s và 150x TBW. PC AI TOP được trang bị PSU UD1600PM PG5 80+ Platinum cung cấp đủ năng lượng để chạy 4 GPU và được đánh giá là có tuổi thọ cao gấp đôi so với các PSU thông thường.

Các PC dựng sẵn AI TOP này có giá khởi điểm từ 6.499 USD cho 8 tỷ tham số, 11.999 USD cho 13 tỷ, 16.499 USD cho 30 tỷ và có thể lên tới 35.999 USD cho 70 tỷ tham số với kích thước mô hình tối đa lên tới 236 tỷ. Hai tùy chọn đầu tiên cung cấp CPU AMD Ryzen Threadripper 7960X và 2x RTX 4070 Ti Super GPU. Cấu hình 30B nâng nó lên tới Threadripper 7975X và 4x RTX 4070 Ti Supers. Cuối cùng, bản 70B sử dụng GPU Threadripper 7975X và 4x Radeon Pro W7900.

Trường Giang