目录
- __pycache__add_some_files3个月前
- buildadd_some_files3个月前
- srcV8_add_tensor_core(not remarkable)3个月前
- vendorV1GPU3个月前
- LICENSEAdd LICENSE3个月前
- MakefileV7.1_fixed_name_error3个月前
- ReadmeUpdate Readme3个月前
- convert.pyV1GPU3个月前
- environment.ymladd_env_files3个月前
- requirements-pip.txtadd_env_files3个月前
- requirements.txtV1GPU3个月前
- run_vllm.pyV5_CUDA steam and graph3个月前
目录Readme
邀请码
模型转换 python convert.py –dtype fp32 mistral-fp32.yalm /home/source0 用原本的脚本可以导出FP32，FP6，FP8精度的模型 编译 make -j 测试： ./build/main mistral-fp32.yalm -i “What is a large language model?” -n 256
环境具体配置参见”requirements-pip.txt”和”environment.yml” Ps：改变了温度，每次生成内容会有些许变化，简化优化过程略去了困惑度计算的部分