5.6K star! 来自全球开源大模型排行榜第一的国产项目，太酷了！

* 戳上方蓝字“开源先锋”关注我

大家好，我是开源君！

在人工智能领域，大型语言模型一直是研究的热点，也是各大厂商竞相发力的领域。

阿里作为全球知名的互联网大厂，最近可谓是国产大模型“最靓的仔”。

就在今天凌晨，阿里开源的Qwen-2 72B力压科技、社交巨头Meta的Llama-3、法国著名大模型平台Mistralai的Mixtral等强大对手，登顶全球最权威的开源模型测评榜单Open LLM Leaderboard。

HuggingFace联合创始人兼CEO Clem发文表示：“Qwen2是王者，中国在全球开源大模型领域处于领导地位。”

Qwen-2开源地址：

https://huggingface.co/Qwen/Qwen2-72B-Instruct

https://github.com/QwenLM/Qwen2

早在本月7日，阿里云通义千问推出全球性能最强的开源模型Qwen2-72B，性能超过美国最强的开源模型Llama3-70B，两小时后即冲上HuggingFace 开源大模型榜单首位。

今天是他们本月第二次发榜，Qwen2-72B还是第一。

现在谁还敢说，国产大模型很水的？

项目简介

Qwen2 由阿里云的 Qwen 团队开发，是一个包含多个尺寸模型的系列，其中包括 Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B（MoE模型），以及 Qwen2-72B。这些模型在 Hugging Face 和 ModelScope 上均有提供，支持多语言处理，并且在性能上有着显著的提升，特别是在代码处理、数学计算等方面。

和同级别的大模型相比，Qwen2-72B模型的效果都表现很优秀，尤其在代码、数学、中文尤为明显，

性能特色

Qwen2 的性能特色在于其对多语言的支持和上下文长度的处理能力。

除了英文和中文，Qwen2 还支持其他 27 种语言，这得益于其训练数据中加入了多种语言的高质量数据。

所有模型均稳定支持32K长度上下文，而Qwen2-72B-Instruct 型号能够处理高达 128k tokens 的上下文长度，这使得它在处理长文本信息抽取任务时更为出色。

快速安装体验

想要快速体验 Qwen2 的能力，可以通过 Hugging Face 的 Transformers 库来实现。官方建议使用Python3.8及以上版本和Pytorch 2.0及以上版本。

#Pip安装
pip install transformers -U
#Conda安装
conda install conda-forge::transformers
#从源码安装
pip install git+https://github.com/huggingface/transformers

以下是一个使用 Qwen2-72B-Instruct 模型的简单示例：

from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen2-72B-Instruct"
device = "cuda" 

model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype="auto",
    device_map="auto"
)
tokenizer = AutoTokenizer.from_pretrained(model_name)

prompt = "Give me a short introduction to large language models."
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)
model_inputs = tokenizer([text], return_tensors="pt").to(device)

generated_ids = model.generate(
    **model_inputs,
    max_new_tokens=512
)
generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]

response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0]
print(response)