欧美亚洲综合图区在线|天天射天天干国产成卜|99久久免费国产精精品|国产的欧美一区二区三区|日韩中文字幕无码不卡专区|亚麻成人aV极品一区二区|国产成人AV区一区二区三|成人免费一区二区三区视频网站

當(dāng)前位置:首頁 > 軟件開放 > 正文內(nèi)容

php模板怎么加授權(quán)代碼(php授權(quán)文件)

軟件開放4小時(shí)前18

本期視頻將會給人工智能愛好者們帶來超級震撼!

視頻中,我們將深入了解利用GPU加速在Orange Pi 5上跑LLMs的精彩世界。最近知乎上的一篇文章《利用GPU加速,在Orange Pi上跑LLMs》引起了我們的注意,這篇文章主要展示了GPU加速的LLM在嵌入式設(shè)備上以合適的速度順利運(yùn)行。具體來說,是在Orange Pi 5(8G)上,作者通過機(jī)器學(xué)習(xí)編譯(MLC)技術(shù),實(shí)現(xiàn)了Llama2-7b以2.5 toks/sec的速度運(yùn)行,RedPajama-3b以5 toks/sec運(yùn)行。此外,還在16GB版本的Orange Pi 5上以1.5 tok/sec的速度運(yùn)行Llama-2 13b模型。

php模板怎么加授權(quán)代碼(php授權(quán)文件)

下面我們看看他們是如何做到的:

背景

開放語言模型的進(jìn)步已經(jīng)催生了跨問題回答、翻譯和創(chuàng)意任務(wù)的創(chuàng)新。雖然當(dāng)前的解決方案需要高端的桌面GPU甚至服務(wù)器級別的GPU來實(shí)現(xiàn)滿意的性能。但為了使LLM日常使用,我們想了解我們?nèi)绾卧诹畠r(jià)的嵌入式設(shè)備上部署它們。

許多嵌入式設(shè)備配備了移動GPU(例如Mali GPU)可以用來加速LLM的運(yùn)行速度。在這篇文章中,我們選擇了Orange Pi 5,這是一個(gè)基于RK3588的開發(fā)板,與Raspberry Pi相似,但也配備了更強(qiáng)大的Mali-G610 GPU。這篇文章總結(jié)了我們首次嘗試?yán)脵C(jī)器學(xué)習(xí)編譯,并為該設(shè)備提供了開箱即用的GPU加速。

面向Mali GPU的機(jī)器學(xué)習(xí)編譯

機(jī)器學(xué)習(xí)編譯(MLC)是一種新興技術(shù),它自動編譯和優(yōu)化機(jī)器學(xué)習(xí)工作負(fù)載,并將編譯后的工作負(fù)載部署到廣泛的后端。在寫作時(shí),基于Apache TVM Unity,MLC支持的平臺包括瀏覽器(WebGPU, WASM)、NVIDIA GPU(CUDA)、AMD GPU(ROCm, Vulkan)、Intel GPU(Vulkan)、iOS和MacBooks(Metal)、Android(OpenCL)以及Mali GPU(本文)。

基于通用機(jī)器學(xué)習(xí)編譯實(shí)現(xiàn)Mali代碼生成

展開全文

MLC是建立在Apache TVM Unity之上的,這是一個(gè)用于在不同硬件和后端上編譯機(jī)器學(xué)習(xí)模型的通用軟件棧。為了將LLM編譯到Mali GPU上,我們復(fù)用了所有現(xiàn)有的編譯流程,沒有進(jìn)行任何代碼優(yōu)化。更具體地說,我們成功地部署了Llama-2和RedPajama模型,采取了以下步驟:

·復(fù)用了模型優(yōu)化步驟,包括量化、融合、布局優(yōu)化等;

· 復(fù)用了在TVM TensorIR中的定義的通用GPU內(nèi)核優(yōu)化空間,并將其重新運(yùn)用在到Mali GPU;

·復(fù)用了基于TVM的OpenCL 代碼生成后端,并將其重新運(yùn)用在到Mali GPU;

·復(fù)用了現(xiàn)有的用戶界面,包括Python API、CLI和REST API。

運(yùn)行方法

本節(jié)提供了一個(gè)分步運(yùn)行指南,以便您可以在自己的Orange Pi設(shè)備上嘗試它。這里我們使用RedPajama-INCITE-Chat-3B-v1-q4f16_1作為運(yùn)行示例。您可以用Llama-2-7b-chat-hf-q4f16_1或Llama-2-13b-chat-hf-q4f16_1(需要16GB的板)來替換它。

準(zhǔn)備工作

請首先按照這里的指示,為RK3588板設(shè)置OpenCL驅(qū)動程序。然后從源代碼克隆MLC-LLM,并下載權(quán)重和預(yù)構(gòu)建的庫。

# clone mlc-llm from GitHub

git clone --recursive https://github.com/mlc-ai/mlc-llm.git cd mlc-llm

# Download prebuilt weights and libs

git lfs install

mkdir -p dist/prebuilt cd dist/prebuilt

git clone https://github.com/mlc-ai/binary-mlc-llm-libs.git lib

git clone https://huggingface.co/mlc-ai/mlc-chat-RedPajama-INCITE-Chat-3B-v1-q4f16_1

cd ../../..

使用CLI

從源代碼編譯mlc_llm_cli

cd mlc-llm/

# create build directory

mkdir -p build cd build

# generate build configuration

python3 ../cmake/gen_cmake_config.py

# build `mlc_chat_cli`

cmake .. cmake --build . --parallel $(nproc) cd ..

驗(yàn)證是否編譯成功

# expected to see `mlc_chat_cli`, `libmlc_llm.so` and `libtvm_runtime.so`

ls -l ./build/

# expected to see help message

./build/mlc_chat_cli --help

使用mlc_llm_cli運(yùn)行LLM

./build/mlc_chat_cli --local-id RedPajama-INCITE-Chat-3B-v1-q4f16_1 –device mali

CLI 運(yùn)行截圖

使用Python API

編譯TVM runtime(無需編譯完整TVM編譯器)

# clone from GitHub

git clone --recursive https://github.com/mlc-ai/relax.git tvm_unity cd tvm_unity/

# create build directory

mkdir -p build cd build

# generate build configuration

cp ../cmake/config.cmake . echo "set(CMAKE_BUILD_TYPE RelWithDebInfo)\nset(USE_OPENCL ON)" config.cmake

# build `mlc_chat_cli`

cmake .. cmake --build . --target runtime --parallel $(nproc) cd ../..

設(shè)置PYTHONPATH(可按需添加到bashrc或zshrc)

export TVM_HOME=$(pwd)/tvm_unity

export MLC_LLM_HOME=$(pwd)/mlc-llm

export PYTHONPATH=$TVM_HOME/python:$MLC_LLM_HOME/python:${PYTHONPATH}

運(yùn)行下列Python腳本

from mlc_chat import ChatModule

from mlc_chat.callback import StreamToStdout

cm = ChatModule(model="RedPajama-INCITE-Chat-3B-v1-q4f16_1")

# Generate a response for a given prompt

output = cm.generate(

prompt="What is the meaning of life?",

progress_callback=StreamToStdout(callback_interval=2),)

# Print prefill and decode performance statistics

print(f"Statistics: {cm.stats()}\n")

評論區(qū)Hihg翻了!

這篇文章同時(shí)發(fā)表 Hacker News。在人工智能評論區(qū),大家的討論熱鬧非凡,令人目不暇接。他們熱烈地討論Orange Pi 5的硬件選項(xiàng)和可擴(kuò)展性,感嘆如此強(qiáng)大的模型,如此實(shí)惠的價(jià)格,將改變游戲規(guī)則,認(rèn)為這一突破將為預(yù)算有限的人工智能愛好者帶來了新的可能性。

“這一功能強(qiáng)大的工具使得在Orange Pi 5等設(shè)備上充分發(fā)揮人工智能的潛力變得前所未有的簡單。對于開發(fā)者和業(yè)余愛好者來說,這都是一個(gè)改變游戲規(guī)則的工具?!?/p>

“通過 GPU加速語言模型編譯,Orange Pi 5 已被證明是一款經(jīng)濟(jì)實(shí)惠的人工智能利器。這款設(shè)備擁有令人驚嘆的速度,能以極低的成本運(yùn)行高性能模型,正在徹底改變?nèi)斯ぶ悄茴I(lǐng)域?!?/p>

我們欣喜地可以看到,Orange Pi 5正在以其強(qiáng)大的人工智能能力讓越來越多的人工智能愛好者加入到創(chuàng)新、創(chuàng)意的世界,不斷進(jìn)行新的實(shí)踐和探索。

掃描二維碼推送至手機(jī)訪問。

版權(quán)聲明:本文由飛速云SEO網(wǎng)絡(luò)優(yōu)化推廣發(fā)布,如需轉(zhuǎn)載請注明出處。

本文鏈接:http://m.landcheck.net/post/129084.html

“php模板怎么加授權(quán)代碼(php授權(quán)文件)” 的相關(guān)文章

數(shù)字藏品系統(tǒng)開發(fā)搭建(藏品數(shù)字化管理)

數(shù)字藏品系統(tǒng)開發(fā)搭建(藏品數(shù)字化管理)

今天給各位分享數(shù)字藏品系統(tǒng)開發(fā)搭建的知識,其中也會對藏品數(shù)字化管理進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問題,別忘了關(guān)注本站,現(xiàn)在開始吧!本文目錄一覽: 1、數(shù)字藏品系統(tǒng)開發(fā),數(shù)藏app系統(tǒng)搭建 2、數(shù)字藏品“粉墨登場”元話搭建數(shù)字藏品電商系統(tǒng) 3、數(shù)字藏品怎么開發(fā)的? 數(shù)字藏品系統(tǒng)開發(fā),數(shù)...

區(qū)塊鏈開源網(wǎng)站(區(qū)塊鏈開發(fā)平臺)

區(qū)塊鏈開源網(wǎng)站(區(qū)塊鏈開發(fā)平臺)

本篇文章給大家談?wù)剠^(qū)塊鏈開源網(wǎng)站,以及區(qū)塊鏈開發(fā)平臺對應(yīng)的知識點(diǎn),希望對各位有所幫助,不要忘了收藏本站喔。 本文目錄一覽: 1、區(qū)塊鏈應(yīng)用開發(fā)找哪家好? 2、區(qū)塊鏈網(wǎng)站怎么搭建 3、國際首條車聯(lián)網(wǎng)區(qū)塊鏈IOV Blockchain于中國黃埔正式面向全球開源 區(qū)塊鏈應(yīng)用開發(fā)找哪家好? 區(qū)塊鏈...

微信游戲手游排行榜(微信游戲手游排行榜怎么關(guān)閉)

微信游戲手游排行榜(微信游戲手游排行榜怎么關(guān)閉)

今天給各位分享微信游戲手游排行榜的知識,其中也會對微信游戲手游排行榜怎么關(guān)閉進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問題,別忘了關(guān)注本站,現(xiàn)在開始吧!本文目錄一覽: 1、微信最火的手游排行榜 2、手游排行榜前十名? 3、微信小程序游戲手游排行榜 4、2022最新手游排行榜前十名 5、20...

html訪問人數(shù)統(tǒng)計(jì)代碼(網(wǎng)站訪問人數(shù)統(tǒng)計(jì)代碼)

html訪問人數(shù)統(tǒng)計(jì)代碼(網(wǎng)站訪問人數(shù)統(tǒng)計(jì)代碼)

今天給各位分享html訪問人數(shù)統(tǒng)計(jì)代碼的知識,其中也會對網(wǎng)站訪問人數(shù)統(tǒng)計(jì)代碼進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問題,別忘了關(guān)注本站,現(xiàn)在開始吧!本文目錄一覽: 1、不用后臺數(shù)據(jù)庫可不可以統(tǒng)計(jì)網(wǎng)站日訪問量?asp代碼怎么寫? 2、如何在靜態(tài)網(wǎng)頁中統(tǒng)計(jì)并顯示訪問數(shù)和在線人數(shù) 3、編寫一個(gè)網(wǎng)頁,...

少兒編程課程收費(fèi)標(biāo)準(zhǔn)(少兒編程課程收費(fèi)標(biāo)準(zhǔn)表)

少兒編程課程收費(fèi)標(biāo)準(zhǔn)(少兒編程課程收費(fèi)標(biāo)準(zhǔn)表)

本篇文章給大家談?wù)勆賰壕幊陶n程收費(fèi)標(biāo)準(zhǔn),以及少兒編程課程收費(fèi)標(biāo)準(zhǔn)表對應(yīng)的知識點(diǎn),希望對各位有所幫助,不要忘了收藏本站喔。 本文目錄一覽: 1、少兒編程培訓(xùn)需要多少錢? 2、核桃編程收費(fèi)標(biāo)準(zhǔn)? 3、學(xué)編程要多少錢學(xué)費(fèi) 4、少兒學(xué)編程要多少錢?大家伙認(rèn)可的是? 少兒編程培訓(xùn)需要多少錢? 不...

sony相機(jī)怎么換照片格式(索尼攝像機(jī)怎么改格式)

sony相機(jī)怎么換照片格式(索尼攝像機(jī)怎么改格式)

今天給各位分享sony相機(jī)怎么換照片格式的知識,其中也會對索尼攝像機(jī)怎么改格式進(jìn)行解釋,如果能碰巧解決你現(xiàn)在面臨的問題,別忘了關(guān)注本站,現(xiàn)在開始吧!本文目錄一覽: 1、怎么設(shè)置索尼a6000拍照只存一張圖片 2、SONY單反相機(jī)拍出的RAW圖片怎么轉(zhuǎn)成JPEG圖片 最好不要下軟件的 3、索尼...