骨骼绑定赛题 —— 人体骨骼生成

使用 Jittor 深度学习框架实现的骨骼绑定算法，预测网格骨架及蒙皮权重，为骨骼动画提供基础数据。

📖 项目简介

本项目旨在预测给定网格的骨架（Joint 坐标）和蒙皮权重（Skinning weights）。
基于传统骨骼表示与 linear blend shape 算法，本项目利用深度神经网络实现准确的骨骼生成及蒙皮预测，为后续动画效果提供数据支持。

✨ 特性

固定骨架结构：骨架中 Joint 数量和连接关系均为固定设置。
两阶段预测：第一阶段预测骨架坐标；第二阶段预测每个顶点的蒙皮权重。
深度学习实现：使用 PointTransformer 提取全局特征，再经 MLP 回归输出。
数据归一化：所有输入数据均归一化到 [-1, 1]^3 区间，确保训练稳定性。

📦 运行环境

依赖安装

conda create -n jittor_comp_human python=3.9
conda activate jittor_comp_human
conda install -c conda-forge gcc=10 gxx=10  # 确保 gcc/g++ 版本不高于10
pip install -r requirements.txt

数据下载

点击下载
下载后请将数据解压到项目根目录。

🚀 快速开始

训练

运行以下脚本开始骨骼和蒙皮预测训练（分别约需2小时）：

bash launch/train_skeleton.sh
bash launch/train_skin.sh

训练过程中，部分中间结果保存在 tmp 文件夹，模型权重存于 output 文件夹。

预测与提交

使用以下命令生成预测结果：

bash launch/predict_skeleton.sh
bash launch/predict_skin.sh

预测结果将输出至 predict 文件夹，目录结构如下：

predict
└─ vroid
   ├─ 2011
   │  ├─ predict_skeleton.npy
   │  ├─ predict_skin.npy
   │  └─ transformed_vertices.npy
   └─ mixamo
      ├─ 3189
      └─ ...

请确保 data/test_list.txt 中的所有待预测文件均存在于相应的文件夹下。

可视化

需要使用特殊的环境来进行debug和可视化。

首先安装环境：

conda create -n jittor_comp_human_debug python=3.11
conda activate jittor_comp_human_debug
pip install -r requirements_debug.txt

然后运行以下脚本：

bash launch/render_predict_results.sh

将predict目录下的结果可视化，并将图片保存在 tmp_predict 文件夹中。

🏗️ 模型架构

骨架预测网络

输入: [点云数据 (batch, n, 3)]
  ↓ PointTransformer 提取全局特征
  ↓ MLP 回归 → 输出 (batch, 66)

输出 66 表示 22 个 Joint（三维坐标）。

蒙皮预测网络

输入: [点云数据 (batch, n, 3)]
  ↓ PointTransformer 提取全局特征
  ↓ 两路 MLP 分别生成点和骨骼的 query 向量
  ↓ 交叉注意力机制计算蒙皮权重 → 输出 (batch, n, 22)

📐 损失函数

骨架损失：基于 MSE 衡量预测骨架与真实骨架之间的误差。
蒙皮损失：综合 MSE 与 L1 损失，确保预测权重既准确又平滑。

🙏 鸣谢

Jittor —— 高性能深度学习框架
PointTransformer —— 网络架构参考
更多细节请参阅项目内部文档及相关文献。

📬 联系方式

如有疑问或建议，请提交 Issue 或邮件联系 siyuan-c23@mails.tsinghua.edu.cn。
欢迎 Star ⭐ / Fork 🍴 / PR 🚀！