[TOC] > [github](https://github.com/Jittor/JittorLLMs) ## JittorLLMs 特点 1. 成本低：相比同类框架，本库可大幅降低硬件配置要求（减少80%），没有显卡，2G内存就能跑大模型，人人皆可在普通机器上，实现大模型本地部署；是目前已知的部署成本最低的大模型库； 2. 支持广：目前支持了大模型包括：[ChatGLM大模型](https://github.com/THUDM/ChatGLM-6B)； 鹏程[盘古大模型](https://openi.org.cn/pangu/)； BlinkDL的[ChatRWKV](https://github.com/BlinkDL/ChatRWKV)； Meta的[LLaMA/LLaMA2大模型](https://github.com/facebookresearch/llama)； MOSS大模型；[Atom7B大模型](https://huggingface.co/FlagAlpha/Atom-7B)后续还将支持更多国内优秀的大模型，统一运行环境配置，降低大模型用户的使用门槛。 3. 可移植：用户不需要修改任何代码，只需要安装Jittor版torch(JTorch)，即可实现模型的迁移，以便于适配各类异构计算设备和环境。 4. 速度快：大模型加载速度慢，Jittor框架通过零拷贝技术，大模型加载开销降低40%，同时，通过元算子自动编译优化，计算性能相比同类框架提升20%以上。 配置要求 * 内存要求：至少2G，推荐32G * 显存：可选， 推荐16G * 操作系统：支持Windows，Mac，Linux全平台。 * 磁盘空间：至少40GB空闲磁盘空间，用于下载参数和存储交换文件。 * Python版本要求至少`3.8`（Linux的Python版本至少`3.7`）。 ## 安装 ``` # 国内使用 gitlink clone git clone https://gitlink.org.cn/jittor/JittorLLMs.git --depth 1 # github: git clone https://github.com/Jittor/JittorLLMs.git --depth 1 cd JittorLLMs # -i 指定用jittor的源， -I 强制重装Jittor版torch pip install -r requirements.txt -i https://pypi.jittor.org/simple -I ``` ## 运行 **设置缓存** ``` export JITTOR_HOME=. ``` **自定下载大模型并运行** ``` //cli python cli_demo.py [chatglm|pangualpha|llama|chatrwkv|llama2|atom7b] // web python api.py chatglm ``` **设置要求** ``` export JT_SAVE_MEM=1 # 限制cpu最多使用16G export cpu_mem_limit=16000000000 # 限制device内存（如gpu、tpu等）最多使用8G export device_mem_limit=8000000000 # windows 用户，请使用powershell # $env:JT_SAVE_MEM="1" # $env:cpu_mem_limit="16000000000" # $env:device_mem_limit="8000000000" ```