基于IPEX-LLM的本地輕量化課程教學(xué)智能輔助系統(tǒng)
華東師范大學(xué)學(xué)報(bào)(自然科學(xué)版)
頁數(shù): 11 2024-09-24
摘要: 提出并實(shí)現(xiàn)了一個(gè)本地輕量化課程教學(xué)智能輔助系統(tǒng).該系統(tǒng)利用IPEX-LLM (Intel PyTorch extention for large language model)加速庫,在計(jì)算資源受限的設(shè)備上高效部署并運(yùn)行經(jīng)過QLoRA(quantum-logic optimized resource allocation)框架微調(diào)的大語言模型,并結(jié)合增強(qiáng)檢索技術(shù),實(shí)現(xiàn)了智能問答...