Nexa SDK 简介
Nexa SDK[1] 是一个本地设备上的推理框架，支持ONNX和GGML模型，具备文本生成、图像生成、视觉-语言模型、语音识别和文本到语音的能力。
项目特点
主要特点
-
设备支持：支持CPU、GPU（CUDA、Metal、ROCm）、iOS。 -
服务器：兼容OpenAI的API，支持JSON模式调用和流媒体支持。 -
本地UI：使用Streamlit进行交互式模型部署和测试。
使用场景
-
文本生成：利用Nexa SDK，可以在本地设备上生成文本内容。 -
图像生成：支持在本地设备上生成图像。 -
视觉-语言模型：结合视觉和语言处理能力，提供更丰富的交互体验。 -
自动语音识别：将语音转换为文本，适用于多种应用场景。 -
文本到语音：将文本转换为语音输出，增强应用的可访问性。
项目使用
安装
选项1：可执行安装程序
-
macOS安装程序：下载链接[2] -
Windows安装程序：下载链接[3] -
Linux安装程序：通过命令行安装：
curl -fsSL https://public-storage.nexa4ai.com/install.sh | sh
选项2：Python包
-
CPU：
pip install nexaai --prefer-binary --index-url https://nexaai.github.io/nexa-sdk/whl/cpu --extra-index-url https://pypi.org/simple --no-cache-dir
-
Apple GPU (Metal)：
CMAKE_ARGS="-DGGML_METAL=ON -DSD_METAL=ON" pip install nexaai --prefer-binary --index-url https://nexaai.github.io/nexa-sdk/whl/metal --extra-index-url https://pypi.org/simple --no-cache-dir
-
Nvidia GPU (CUDA)：确保已安装CUDA Toolkit 12.0或更高版本[4]，然后使用对应平台的安装命令。
运行模型
使用nexa run命令运行各种任务的推理，例如：nexa run omniaudio运行音频语言模型。
项目资源
-
CLI文档[5] -
服务器文档[6] -
Swift SDK[7] -
模型中心[8]
注：本文内容仅供参考，具体项目特性请参照官方 GitHub 页面的最新说明。
欢迎关注&点赞&在看，感谢你的阅读~
Github地址: https://github.com/NexaAI/nexa-sdk
[2]
macOS安装程序: https://public-storage.nexa4ai.com/nexa-sdk-executable-installer/nexa-sdk-0.0.9.2-macos-installer.pkg
[3]
Windows安装程序: https://public-storage.nexa4ai.com/nexa-sdk-executable-installer/nexa-sdk-0.0.9.2-windows-setup.exe
[4]
CUDA Toolkit: https://developer.nvidia.com/cuda-12-0-0-download-archive
[5]
CLI文档: /NexaAI/nexa-sdk/blob/main/CLI.md
[6]
服务器设置: /NexaAI/nexa-sdk/blob/main/SERVER.md
[7]
Swift SDK: https://github.com/NexaAI/nexa-sdk/tree/main/swift
[8]
模型中心: https://model-hub.nexa4ai.com/
原文始发于微信公众号（AIGC创想者）：3.8K+ Star！Nexa SDK：一个本地设备上的推理框架，支持ONNX和GGML模型
版权声明：本文内容由互联网用户自发贡献，该文观点仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 举报，一经查实，本站将立刻删除。
文章由极客之音整理，本文链接：https://www.bmabk.com/index.php/post/314863.html
