半導(dǎo)體世界消息,隨著英偉達(dá)(Nvidia)和英特爾(Intel)最近公布了他們本地運(yùn)行的AI聊天機(jī)器人,AMD似乎不想被排除在外,并且還為Ryzen和Radeon處理器的所有者發(fā)布了自己的解決方案。只需五到六個(gè)步驟,用戶(hù)就可以開(kāi)始與在本地硬件上運(yùn)行的 AI 聊天機(jī)器人進(jìn)行交互,而不是在云端運(yùn)行——無(wú)需編碼經(jīng)驗(yàn)。
AMD 的指南要求用戶(hù)擁有 Ryzen AI PC 芯片或 RX 7000 系列 GPU。如今,Ryzen AI 僅適用于基于 Phoenix 和 Hawk Point 的高端 Ryzen APU,配備 Radeon 780M 或 760M 集成顯卡。這表明,雖然支持Ryzen 5 8600G,但Ryzen 5 8500G可能無(wú)法正常工作......除了應(yīng)用程序本身僅將“支持 AVX2 的 CPU”列為要求,這意味著它應(yīng)該在各種處理器上工作(可能非常慢)。
用戶(hù)需要下載并安裝 LM Studio,它為 RX 7000 系列用戶(hù)提供了 ROCm 版本——再次請(qǐng)注意,標(biāo)準(zhǔn)軟件包也適用于 Intel CPU 和 Nvidia GPU。安裝并啟動(dòng) LM Studio 后,只需搜索所需的 LLM,例如聊天優(yōu)化的 Llama 2 7B。 AMD 建議使用帶有“Q4 K M”標(biāo)簽的型號(hào),該標(biāo)簽指的是特定的量化級(jí)別(4 位)和其他特性。雖然 Ryzen CPU 用戶(hù)此時(shí)可以自由地與機(jī)器人聊天——目前尚不清楚 NPU 是否被使用,但我們猜測(cè)它沒(méi)有——RX 7000 系列 GPU 用戶(hù)將需要打開(kāi)右側(cè)面板并手動(dòng)啟用 GPU 卸載并將卸載滑塊完全拖動(dòng)到“最大”。
AMD 的教程意味著至少有一種易于使用的官方方法可以在 AMD、Intel 和 Nvidia 的所有消費(fèi)類(lèi)硬件上運(yùn)行 AI 聊天機(jī)器人。不出所料,Nvidia 率先推出了 Chat with RTX 應(yīng)用程序,該應(yīng)用程序自然只能在 Nvidia GPU 上運(yùn)行。與 RTX 聊天可以說(shuō)是最充實(shí)的解決方案,因?yàn)樗梢苑治鑫臋n、視頻和其他文件。此外,對(duì)這個(gè) Nvidia 聊天機(jī)器人的支持可以追溯到 30 系列,而 20 系列的支持可能擺在桌面上。
與此同時(shí),英特爾的 AI CPU/NPU 和 GPU 解決方案更是各種各樣。英特爾沒(méi)有使用應(yīng)用程序來(lái)展示本地 AI 聊天機(jī)器人,而是演示了如何使用 Python 編寫(xiě)代碼。雖然用戶(hù)必須編寫(xiě)的代碼并不長(zhǎng),但涉及任何編碼對(duì)于許多潛在用戶(hù)來(lái)說(shuō)都是一個(gè)障礙。此外,聊天響應(yīng)顯示在命令行中,這并不完全是“尖端 AI”。您可以嘗試 LM Studio,盡管它似乎還沒(méi)有 Intel GPU 或 NPU 支持,因此它只會(huì)使用您的 CPU。
雖然 AMD 沒(méi)有像 Nvidia 那樣擁有自己的 AI 聊天機(jī)器人應(yīng)用程序,但在功能方面它似乎比英特爾走得更遠(yuǎn),因?yàn)橹辽儆?ROCm GPU 硬件支持。AMD的下一步可能是使用RTX制作自己的Chat版本,或者至少與LM Studio的開(kāi)發(fā)人員合作,為AMD硬件啟用更多功能。也許我們甚至?xí)吹?AI 功能集成到 Radeon Adrenalin 驅(qū)動(dòng)程序套件中——AMD 確實(shí)會(huì)進(jìn)行驅(qū)動(dòng)程序級(jí) AI 優(yōu)化,并且驅(qū)動(dòng)程序套件經(jīng)常會(huì)獲得流體運(yùn)動(dòng)框架等新功能.