feat(column-io): sync column-io 0.3.0 and open-source cleanup for v1.2.0 Cherry-pick 74 commits from xrec (v1.1.0..v1.2.0) Sync column-io 0.3.0 from internal master Fix INTERNAL_VERSION conditional compilation (py_interface, dataset_impl, arrow_reader) Fix cmake URLs to use GitHub public links (rapidjson, protobuf) Clean up internal references (ODPS endpoints, paths, kmonitor deps) Remove internal submodule torch_fx_tool, conditionalize import Conditionalize openlm_hub import in mos.py Fix from_list_string empty array bug (all([]) returns True) Remove hardcoded Alibaba Cloud AccessKey from integration tests Replace hardcoded ODPS paths with env vars (ODPS_TABLE_PATH, etc.) Remove .aoneci/ directory Update CHANGELOG.md with v1.2.0 release notes
feat(column-io): sync column-io 0.3.0 and open-source cleanup for v1.2.0
English Version
RecIS:一个专为超大规模稀疏+稠密计算设计的统一架构深度学习框架。基于 PyTorch 开源生态构建,为推荐模型训练,或推荐结合多模态/大模型训练提供了完整的解决方案。由阿里控股集团爱橙科技智能引擎事业部和淘天广告技术、淘天算法技术团队联合推出。目前已在阿里巴巴广告、推荐、搜索等场景广泛应用。
统一框架
性能优化
易用性
RecIS 采用模块化设计,主要包含以下核心组件:
ColumnIO: 数据读取
Feature Engine: 特征处理
Embedding Engine: Embedding 管理与计算
Saver: 参数保存与加载
Pipelines: 训练流程编排
RecIS 框架通过一种两级存储架构实现了高效的动态嵌入(HashTable):
GPU 并发优化:
参数表合并优化:
算子实现优化:
如果遇到问题,可以:
本项目基于 Apache 2.0 许可证开源。
版权所有:中国计算机学会技术支持:开源发展技术委员会 京ICP备13000930号-9 京公网安备 11010802047560号
RecIS (Recommendation Intelligence System)
English Version
RecIS:一个专为超大规模稀疏+稠密计算设计的统一架构深度学习框架。基于 PyTorch 开源生态构建,为推荐模型训练,或推荐结合多模态/大模型训练提供了完整的解决方案。由阿里控股集团爱橙科技智能引擎事业部和淘天广告技术、淘天算法技术团队联合推出。目前已在阿里巴巴广告、推荐、搜索等场景广泛应用。
🎯 设计目标
统一框架
性能优化
易用性
🏗️ 核心架构
RecIS 采用模块化设计,主要包含以下核心组件:
ColumnIO: 数据读取
Feature Engine: 特征处理
Embedding Engine: Embedding 管理与计算
Saver: 参数保存与加载
Pipelines: 训练流程编排
🚀 关键优化
高效动态 Embedding
RecIS 框架通过一种两级存储架构实现了高效的动态嵌入(HashTable):
分布式优化
高效利用硬件计算资源
GPU 并发优化:
参数表合并优化:
算子实现优化:
📚 文档
🤝 支持与反馈
如果遇到问题,可以:
📄 许可证
本项目基于 Apache 2.0 许可证开源。