达摩院开源的 MaaS 平台，AI 模型即服务共享！

魔塔是由阿里达摩院开源的 MaaS 平台，它为开发者提供了模型体验、推理、训练、部署和应用的一站式服务，相当于国内版的 Hugging Face。

简介&特性

ModelScope 是一个“模型即服务”(MaaS)平台，旨在汇集来自 AI 社区的最先进的机器学习模型，并简化在实际应用中使用 AI 模型的流程。ModelScope 库使开发人员能够通过丰富的 API 设计执行推理、训练和评估，从而促进跨不同 AI 领域的最先进模型的统一体验。
ModelScope Library 为模型贡献者提供了必要的分层 API，以便将来自 CV、NLP、语音、多模态以及科学计算的模型集成到 ModelScope 生态系统中。所有这些不同模型的实现都以一种简单统一访问的方式进行封装，用户只需几行代码即可完成模型推理、微调和评估。同时，灵活的模块化设计使得在必要时也可以自定义模型训练推理过程中的不同组件。
除了包含各种模型的实现之外，ModelScope Library 还支持与 ModelScope 后端服务进行必要的交互，特别是与 Model-Hub 和 Dataset-Hub 的交互。这种交互促进了模型和数据集的管理在后台无缝执行，包括模型数据集查询、版本控制、缓存管理等。

部分模型

自然语言处理

GPT-3 预训练生成模型-中文-2.7B
元语功能型对话大模型
孟子 T5 预训练生成模型-中文-base
CSANMT 连续语义增强机器翻译-英中-通用领域-large
RaNER 命名实体识别-中文-新闻领域-base
BAStructBERT 分词-中文-新闻领域-base
二郎神-RoBERTa-330M-情感分类
SPACE-T 表格问答预训练模型-中文-通用领域-base

计算机视觉

ControlNet 可控图像生成
DAMOYOLO-高性能通用检测模型-S
DCT-Net 人像卡通化
读光-文字识别-行识别模型-中英-通用领域
人体检测-通用-Base
RetinaFace 人脸检测关键点模型
BSHM 人像抠图
图像分割-商品展示图场景的商品分割-电商领域
万物识别-中文-通用领域

语音

Paraformer 语音识别-中文-通用-16k-离线-large-pytorch
语音合成-中文-多情感领域-16k-多发音人
CTC 语音唤醒-移动端-单麦-16k-小云小云
WeNet-U2pp_Conformer-语音识别-中文-16k-实时
FRCRN 语音降噪-单麦-16k
DFSMN 回声消除-单麦单参考-16k

科学计算：

Uni-Fold-Monomer 开源的蛋白质单体结构预测模型
Uni-Fold-Multimer 开源的蛋白质复合物结构预测模型

快速上手

我们针对不同任务提供了统一的使用接口，使用 pipeline 进行模型推理、使用 Trainer 进行微调和评估。

对于任意类型输入（图像、文本、音频、视频…）的任何任务，只需 3 行代码即可加载模型并获得推理结果，如下所示：

>>> from modelscope.pipelines import pipeline
>>> word_segmentation = pipeline('word-segmentation',model='damo/nlp_structbert_word-segmentation_chinese-base')
>>> word_segmentation('今天天气不错，适合出去游玩')
{'output': '今天 天气 不错 ， 适合 出去 游玩'}

给定一张图片，你可以使用如下代码进行人像抠图.

>>> import cv2
>>> from modelscope.pipelines import pipeline

>>> portrait_matting = pipeline('portrait-matting')
>>> result = portrait_matting('https://modelscope.oss-cn-beijing.aliyuncs.com/test/images/image_matting.png')
>>> cv2.imwrite('result.png', result['output_img'])

输出图像如下对于微调和评估模型，你需要通过十多行代码构建 dataset 和 trainer，调用 trainer.train()和 trainer.evaluate()即可。

例如我们利用 gpt3 1.3B 的模型，加载是诗歌数据集进行 finetune，可以完成古诗生成模型的训练。

>>> from modelscope.metainfo import Trainers
>>> from modelscope.msdatasets import MsDataset
>>> from modelscope.trainers import build_trainer

>>> train_dataset = MsDataset.load('chinese-poetry-collection', split='train'). remap_columns({'text1': 'src_txt'})
>>> eval_dataset = MsDataset.load('chinese-poetry-collection', split='test').remap_columns({'text1': 'src_txt'})
>>> max_epochs = 10
>>> tmp_dir = './gpt3_poetry'

>>> kwargs = dict(
     model='damo/nlp_gpt3_text-generation_1.3B',
     train_dataset=train_dataset,
     eval_dataset=eval_dataset,
     max_epochs=max_epochs,
     work_dir=tmp_dir)

>>> trainer = build_trainer(name=Trainers.gpt3_trainer, default_args=kwargs)
>>> trainer.train()

安装

镜像

ModelScope Library 目前支持 tensorflow，pytorch 深度学习框架进行模型训练、推理，在 Python 3.7+, Pytorch 1.8+,Tensorflow1.15/Tensorflow2.0+测试可运行。

CPU 镜像

# py37
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py37-torch1.11.0-tf1.15.5-1.6.1

# py38
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-py38-torch1.11.0-tf1.15.5-1.6.1

GPU 镜像

# py37
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.3.0-py37-torch1.11.0-tf1.15.5-1.6.1

# py38
registry.cn-hangzhou.aliyuncs.com/modelscope-repo/modelscope:ubuntu20.04-cuda11.3.0-py38-torch1.11.0-tf1.15.5-1.6.1