Trong khi Nvidia đầu tư hàng chục tỷ đô la mỗi quý cho chip AI, nhiều công ty và nhà đầu tư tin rằng vẫn còn cơ hội cho các đối thủ khác trên thị trường cơ sở hạ tầng AI, từ chip biên đến chip trung tâm dữ liệu.
Nvidia đang phải đối mặt với sự cạnh tranh lớn từ AMD và Intel, cũng như các "ông lớn" đám mây như Amazon Web Services, Microsoft Azure, và Google Cloud, những công ty đang phát triển chip AI riêng. Bên cạnh đó, Nvidia còn đối mặt với sự xuất hiện của nhiều công ty khởi nghiệp bán dẫn, được hỗ trợ bởi các nhà đầu tư và doanh nhân, nhằm phát triển các giải pháp chip mới với thiết kế sáng tạo, hứa hẹn cải thiện hiệu suất và hiệu quả tính toán AI.
Những công ty khởi nghiệp đáng chú ý bao gồm Hailo, SiMa.ai, và Untether AI, tập trung vào thị trường biên; d-Matrix, Groq, và Tenstorrent, hướng tới trung tâm dữ liệu AI. Một số khác như Enfabrica và Lightmatter lại nghiên cứu công nghệ chip bổ trợ, chẳng hạn tăng tốc độ truyền dữ liệu giữa các máy chủ AI.
Sau đây là danh sách "10 công ty khởi nghiệp bán dẫn đáng chú ý nhất năm 2024".
CELESTIAL AI
Celestial AI, một công ty khởi nghiệp có trụ sở tại Santa Clara, California, đang mở đường cho những bước tiến mới trong tính toán AI bằng cách giải quyết các vấn đề tắc nghẽn về độ trễ và băng thông thông qua công nghệ kết nối quang học Photonic Fabric.
Vào tháng 3, công ty thông báo đã huy động được 175 triệu USD trong vòng gọi vốn Series C, vượt xa kỳ vọng. Dẫn đầu vòng này là U.S. Innovative Technology Fund, với sự tham gia của các nhà đầu tư khác như các quỹ đầu tư mạo hiểm của AMD, Samsung, và công ty con của tập đoàn Volkswagen, Porsche SE.
Cũng trong tháng 3, Celestial AI cho biết các công ty hyperscaler (những nhà tiêu thụ lớn nhất về hạ tầng trung tâm dữ liệu) và các công ty bán dẫn đã bắt đầu tích hợp công nghệ chip quang học Photonic Fabric như một bước đầu trong việc ứng dụng công nghệ này.
Đến tháng 10, công ty công bố đã mua lại tài sản trí tuệ từ Rockley Photonics, một doanh nghiệp tiên phong trong lĩnh vực silicon photonics (quang học trên nền silicon). Thỏa thuận bao gồm các bằng sáng chế đã được cấp và đang chờ cấp liên quan đến công nghệ silicon photonics. Theo Celestial AI, điều này giúp họ sở hữu một trong những danh mục sở hữu trí tuệ mạnh nhất trong lĩnh vực kết nối tính toán quang học trên nền silicon.
D-MATRIX
D-Matrix tuyên bố đã vượt qua rào cản băng thông bộ nhớ cho các khối lượng công việc suy luận AI tạo sinh nhờ kiến trúc Digital In-Memory Compute (DIMC) độc đáo của mình.
Công ty khởi nghiệp này, có trụ sở tại Santa Clara, California, được hỗ trợ bởi các quỹ đầu tư mạo hiểm của Microsoft, Samsung Electronics, và Ericsson, đã ra mắt sản phẩm đầu tiên vào tháng 11: thẻ PCIe Corsair. Sản phẩm sử dụng kiến trúc DIMC để tăng tốc xử lý suy luận AI với hiệu suất thời gian thực hàng đầu, tiết kiệm năng lượng và chi phí so với GPU và các giải pháp khác.
ENFABRICA
Enfabrica khẳng định đang cung cấp chip điều khiển giao diện mạng (NIC) nhanh nhất dành cho máy chủ GPU, được thiết kế từ đầu để đáp ứng nhu cầu của các trung tâm dữ liệu AI.
Công ty khởi nghiệp tại Mountain View, California, đã công bố vào tháng 11 rằng họ huy động được 115 triệu USD trong vòng gọi vốn Series C nhằm thúc đẩy việc thương mại hóa chip Accelerated Compute Fabric (ACF) SuperNIC. Chip này hứa hẹn đạt băng thông đột phá 3,2 TB/s, dự kiến sẽ xuất hiện trong các hệ thống thử nghiệm vào quý I năm sau.
ETCHED
Etched tập trung hoàn toàn vào việc phát triển chip chuyên biệt đầu tiên trên thế giới dành cho các mô hình AI dựa trên kiến trúc transformer.
Công ty khởi nghiệp tại San Francisco, California, thông báo vào tháng 6 đã huy động được 120 triệu USD từ nhiều nhà đầu tư, bao gồm Peter Thiel (đồng sáng lập PayPal), Fontinalis, và Skybox Data Centers.
Trong một bài viết trên blog, công ty khẳng định chip Sohu của mình sẽ nhanh hơn và rẻ hơn gấp 10 lần so với GPU thế hệ mới Blackwell B200 của Nvidia trong việc xử lý các mô hình transformer, chẳng hạn như các mô hình ngôn ngữ lớn. Tuy nhiên, chip này không thể chạy các mô hình AI không dựa trên kiến trúc transformer.
GROQ
Groq tuyên bố đơn vị xử lý ngôn ngữ (Language Processing Unit) của mình cung cấp hiệu suất suy luận AI siêu nhanh thông qua dịch vụ đám mây và các cụm máy tính tại chỗ.
Công ty khởi nghiệp có trụ sở tại Mountain View, California, thông báo vào tháng 8 rằng đã huy động được 640 triệu USD trong vòng gọi vốn Series D, định giá công ty ở mức 2,8 tỷ USD. Vòng gọi vốn được dẫn đầu bởi các quỹ và tài khoản do BlackRock Private Equity Partners quản lý, cùng với sự tham gia của các quỹ đầu tư mạo hiểm từ Cisco Systems và Samsung Electronics.
Trước đó vào tháng 5, Groq công bố một thỏa thuận phân phối với Carahsoft, một nhà cung cấp giải pháp lớn của Mỹ, nhằm hướng tới các khách hàng trong khu vực công. Đến tháng 9, công ty thông báo đã ký biên bản ghi nhớ với công ty con về công nghệ số của tập đoàn dầu mỏ Trung Đông Aramco, để thiết lập trung tâm dữ liệu suy luận AI lớn nhất thế giới tại Ả Rập Saudi.
HAILO
Hailo đang cạnh tranh với Nvidia bằng cách tăng tốc xử lý các khối lượng công việc AI sinh tạo (Generative AI) tại biên, sử dụng các chip được tối ưu hóa để cân bằng giữa hiệu suất, chi phí và mức tiêu thụ năng lượng.
Công ty khởi nghiệp có trụ sở tại Tel Aviv, Israel, thông báo vào tháng 4 rằng đã huy động được 120 triệu USD từ các nhà đầu tư như một phần mở rộng của vòng gọi vốn Series C. Đồng thời, công ty cũng ra mắt chip tăng tốc Hailo-10, giúp đạt hiệu suất AI sinh tạo tối đa với mức tiêu thụ năng lượng tối thiểu, phù hợp cho các thiết bị như máy tính cá nhân và hệ thống giải trí trên xe hơi.
LIGHTMATTER
Lightmatter tuyên bố đang tái định hình hạ tầng AI bằng các chip quang học xếp lớp 3D, giúp tăng đáng kể băng thông và hiệu suất của các cụm AI đồng thời giảm mức tiêu thụ năng lượng.
Công ty khởi nghiệp có trụ sở tại Mountain View, California, thông báo vào tháng 10 rằng đã huy động được 400 triệu USD trong vòng gọi vốn Series D, đạt mức định giá 4,4 tỷ USD.
Lightmatter cho biết sẽ sử dụng nguồn vốn để chuẩn bị triển khai hàng loạt chip quang học Passage trong các trung tâm dữ liệu của đối tác. Công ty khẳng định đây là "động cơ quang học đầu tiên hỗ trợ I/O trong không gian 3D", cho phép giải phóng không gian xử lý để các GPU và bộ xử lý khác hỗ trợ thêm nhiều bộ nhớ hơn.
SIMA.AI
SiMa.ai đang kỳ vọng cạnh tranh với Nvidia trong lĩnh vực AI sinh tạo (Generative AI) tại biên với các chip mạnh mẽ và hiệu quả, được thiết kế để xử lý nhiều loại mô hình trên một nền tảng "lấy phần mềm làm trung tâm."
Công ty khởi nghiệp có trụ sở tại San Jose, California, thông báo vào tháng 9 rằng dòng chip MLSoC Modalix mới của mình sẽ được thử nghiệm với khách hàng vào cuối năm. Dòng chip này hỗ trợ nhiều loại mô hình AI. Các chip này được tuyên bố cung cấp hiệu suất trên mỗi watt cao hơn 10 lần so với các lựa chọn thay thế.
Trước đó, vào tháng 4, SiMa.ai đã công bố huy động được 70 triệu USD trong vòng gọi vốn, với sự tham gia của quỹ đầu tư mạo hiểm thuộc Dell Technologies và ông Lip-Bu Tan, Chủ tịch điều hành Cadence Design Systems.
TENSTORRENT
Tenstorrent đang mở ra một con đường mới trong thiết kế chip cho tính toán AI với mô hình kinh doanh kết hợp bán các bộ vi xử lý chuyên dụng, cấp phép công nghệ chip cho các công ty khác và hợp tác với các công ty để phát triển giải pháp tính toán.
Công ty khởi nghiệp có trụ sở tại Toronto, Ontario, thông báo vào tháng 11 rằng họ đã ký kết một thỏa thuận đối tác chiến lược với công ty phần mềm AI của Hàn Quốc Moreh nhằm thách thức Nvidia trong thị trường trung tâm dữ liệu AI. Hai công ty này đang hợp tác phát triển một giải pháp kết hợp bộ vi xử lý thần kinh của Tenstorrent với phần mềm của Moreh để hỗ trợ nhiều ứng dụng AI, bao gồm suy luận và huấn luyện mô hình ngôn ngữ lớn.
Vào tháng 2, Tenstorrent công bố một thỏa thuận hợp tác "đa tầng" với Leading-edge Semiconductor Technology Center của Nhật Bản, đơn vị này sẽ tận dụng công nghệ RISC-V và chiplet của Tenstorrent cho bộ tăng tốc AI biên 2 nanomet của mình. Công ty cũng sẽ là đối tác thiết kế đồng thời cho chip này.
Tenstorrent cũng đã công bố trong năm nay một thỏa thuận hợp tác với SingularityNET để phát triển kiến trúc phần cứng và phần mềm tối ưu cho trí tuệ nhân tạo tổng quát, cùng với việc ra mắt các bộ công cụ phát triển và trạm làm việc dựa trên bộ vi xử lý Wormhole của họ.
UNTETHER AI
Untether AI cho biết chip mới của họ mang lại hiệu suất suy luận AI nhanh nhất và tiết kiệm năng lượng nhất thế giới cho các ứng dụng hoạt động tại biên và trong các trung tâm dữ liệu.
Công ty khởi nghiệp có trụ sở tại Toronto, Canada, do cựu giám đốc điều hành Intel Chris Walker lãnh đạo, đã thông báo vào tháng 10 về việc ra mắt các thẻ tăng tốc suy luận AI speedAI240 Slim, mà theo họ, "mới đây đã được công nhận là đạt độ trễ thấp nhất và băng thông cao nhất trong bài kiểm tra suy luận MLPerf đã được đánh giá ngang hàng."
Vào tháng 8, công ty cũng công bố một thỏa thuận hợp tác "đa phương diện" với Ola-Krutrim, nhà cung cấp dịch vụ và mô hình AI đám mây của Ấn Độ, bao gồm "phát triển chung các giải pháp trung tâm dữ liệu thế hệ tiếp theo của Untether AI, sẽ được sử dụng để triển khai suy luận và điều chỉnh các mô hình AI sáng tạo của Krutrim."
Google translate