KylinAgent

文档下载

比赛相关文档（比赛文档、项目演示视频、PPT等）

 通过百度网盘分享的文件：2024松山湖比赛“银河之微光”提交
 链接：https://pan.baidu.com/s/1DbIGU-ywvg-5EMOMtF65PQ?pwd=yhwg 
 提取码：yhwg

tao-8k模型和MiniCPM-2B模型可自行下载或通过百度网盘下载

 链接: https://pan.baidu.com/s/1Lb3ymyJi0mNufd0y-m8PoA 
 提取码: 7air

pointrend_resnet50.pkl文件

链接：https://pan.baidu.com/s/1tXlWjEE2dc3x4QM_QtiLvw?pwd=yhwg 
提取码：yhwg

⚡️系统要求

cuda12.0
显存8G以上
openKylin操作系统

⚡️Quick Start

环境配置

sudo apt-get update

sudo apt install -y \ 
   libayatana-appindicator3-dev \
   libsqlite3-dev \
   build-essential  \
   g++ \ 
   cmake \
   qtbase5-dev \
   qt5-qmake \
   qttools5-dev \
   qttools5-dev-tools \
   libkysdk-applications-dev \
   build-essential curl git \
   unzip xz-utils clang \
   cmake libglu1-mesa  zip \
   ninja-build pkg-config  \
   libstdc++-12-dev libgtk-3-dev \
   liblzma-dev libsqlite3-dev \
   libayatana-appindicator3-dev

conda create --name agent python=3.10
conda activate agent
pip install -r requirements.txt

编译kylin-actuator

cd kylin-actuator
mkdir build
cd build
cmake ..
make

编译chat_client(前端)

cd front
flutter pub get
flutter run --release

准备模型权重

放置tao-8k模型

放置后文件路径为 ~/Sentence-transformers/amu/tao-8k

放置MiniCPM-2B模型

放置后文件路径为 ~/OfflineModels/MiniCPM-2B-sft-bf16

放置pointrend_resnet50.pkl

放置后文件路径为 ~/OfflineModels/pointrend_resnet50.pkl

执行过程中会自动下载deepface权重，如果下载未成功或速度太慢，可以去weight中下载age_model_weights.h5 facial_expression_model_weights.h5 gender_model_weights.h5 race_model_single_batch.h5

准备并启动向量数据库

docker pull qdrant/qdrant

docker run -p 6333:6333 -p 6334:6334 \
-v $(pwd)/qdrant_storage:/qdrant/storage:z \
qdrant/qdrant

编辑agent.sh脚本，路径替换为自己python环境的路径即可。
启动应用：使用agent.sh启动后端，再启动编译好的前端
```
bash agent.sh && ./front/build/linux/x64/release/bundle/chat_client
```

常见问题

添加工具的方法

在llm-agent/tools/tools/下添加工具的具体代码实现。

在llm-agent/tools/Runtools.py文件中添加工具的描述(下方为创建ppt的例子)

  {
   "type": "function",
   "function": {
       "name": "create_ppt",
       "description": "当你想生成一个关于特定内容的PPT时非常有用。此工具可单独完成这个任务",
       "parameters": {  # 生成ppt时需要提供任务，这样才能知道生成ppt的内容，因此参数设置为task_name
                   "type": "object",
           "properties": {
               "task_name": {
                   "type": "string",
                   "description": "某一句话。"
               }
           }
       },
       "required": [
           "task_name"
       ]
   }
},