目录

English | 简体中文

nf-tencentcloud Logo

nf-tencentcloud

Nextflow Release TencentCos TencentOmics nf-tencentcloud license

nf-tencentcloud是一个 nextflow 插件,旨在为 nextflow 工作流引擎添加腾讯云 COS 对象存储和腾讯健康组学平台执行器适配支持,通过该组件,还能实现平台所需的一些细节功能适配,例如 metadata 文件生成等,确保工作流的高效运行与管理。它的设计目标是扩展腾讯云对Nextflow工作流的原生支持,使得用户能通过简单易用的方式调用腾讯云资源运行Nextflow工作流。

我们使用 Task Execution Schema (TES) 协议作为nextflow对接腾讯健康组学平台的协议,相比官方插件,我们对一部分自定义字段进行了利用以适配平台功能。

Feature

  • 支持对接腾讯云 COS 对象存储,可以直接在文件和配置中依赖腾讯云文件。
  • 支持腾讯健康组学平台对接,快速获得高性能弹性计算能力。(了解腾讯健康组学平台的更多内容,可参考:腾讯健康组学平台

安装

  • 确保您的系统中已经安装好了 nextflow。
  • 执行以下命令安装nf-tencentcloud。
    nextflow plugin install nf-tencentcloud
    可以安装到符合您当前环境的nf-tencentcloud插件。
  • 您也可以在配置文件中指定插件从而进行安装。
    plugins {
        id 'nf-tencentcloud@2.0.3'
    }
  • 也可以使用 -plugins 命令行参数来指定工具。
    nextflow run <pipeline> -plugins nf-tencentcloud@2.0.3

使用腾讯云对象存储

本插件集成了 COS 对象存储支持,您可以在腾讯云完成对象存储相关服务开通后,方便地在 nextflow 中集成使用腾讯云对象存储。

腾讯云 CAM 控制台页面中获取密钥,然后按照以下步骤进行操作:

  • 在 nextflow 配置文件中对密钥进行配置。

    tencentcloud {
        secretId = "your_secret_id"
        secretKey = "your_secret_key"
    }
  • 您如果使用临时密钥授权,可以配置 accessToken 以启用临时密钥。

    tencentcloud {
        secretId = "your_secret_id"
        secretKey = "your_secret_key"
        accessToken = "your_access_token"
    }
  • 配置完成后,您可以在流程,配置中任意使用 COS 存储,例如:

    workDir = "cos://test-bucket-1258888888/nextflow/workdir"

使用腾讯健康组学平台

本插件集成了腾讯健康组学平台执行器,您可以在组学平台中开启 sandbox 以进行调试,也可以等待后续开放外网访问终端接口后,在您自己的电脑上进行相应配置后,使用腾讯组学平台提供的弹性计算资源。

为了使用腾讯健康组学平台执行器,您需要在腾讯云上开通并使用腾讯健康组学平台,然后按照以下步骤进行操作:

  • 您需要在组学平台获取请求 endpoint 和 accessToken,用于接口调用和鉴权,并在nextflow 配置文件中进行如下配置:
    tencentcloud {
        omics {
            endpoint = "http://your_endpoint/api"
            accessToken = "your_access_token"
        }
    }

    请注意:这里的 accessToken 用于腾讯健康组学平台 oauth 鉴权,与上文中提到的腾讯云 cam 临时授权 accessToken 不同,不可混用。

  • 完成相关配置后,设置执行器为tencentcloud-omics,即可使用腾讯健康组学平台弹性计算能力。
    process {
        executor = 'tencentcloud-omics'
    }

Contributing

有关贡献问题或拉取请求的更多信息,请参阅我们的 nf-tencentcloud 贡献指南

License

nf-tencentcloud 采用 Apache-2.0 许可证。有关详细信息,请参阅 LICENSE

Support

该插件由腾讯健康组学平台团队开发,并可在腾讯健康组学平台上使用。腾讯健康组学平台基于 PaaS 架构,为基因组企业提供高效部署、灵活调度、用户友好的生物信息学云环境以及各种计算资源。

如有产品测试和使用方面的咨询,请通过电子邮件联系: omics@tencent.com

邀请码
    Gitlink(确实开源)
  • 加入我们
  • 官网邮箱:gitlink@ccf.org.cn
  • QQ群
  • QQ群
  • 公众号
  • 公众号

版权所有:中国计算机学会技术支持:开源发展技术委员会
京ICP备13000930号-9 京公网安备 11010802032778号