python 使用文心一言大模型API

0 背景

生成式人工智能AIGC（Artificial Intelligence Generated Content）是人工智能1.0时代进入2.0时代的重要标志。

AIGC对于人类社会、人工智能的意义是里程碑式的。短期来看AIGC改变了基础的生产力工具，中期来看会改变社会的生产关系，长期来看促使整个社会生产力发生质的突破，在这样的生产力工具、生产关系、生产力变革中，生产要素——数据价值被极度放大。

AIGC把数据要素提到时代核心资源的位置，在一定程度上加快了整个社会的数字化转型进程。

2023年8月31日，文心一言向全社会全面开放。本文使用python调用文心一言大模型API, 实现文本生成式服务。

1 注册

1 注册百度千帆平台账户 & api

打开下面的百度智能云官网, 注册或者登录, 可以使用百度网盘扫码登录, 因为百度产品都是通用的

https://login.bce.baidu.com/?redirect=https%3A%2F%2Fconsole.bce.baidu.com%2Fqianfan%2Foverview

登录之后, 进行百度智能云的控制台

https://console.bce.baidu.com/qianfan/overview

2 开通服务接口

依次选择左栏的应用接入, 再创建应用, 创建过程中, 填写当前服务的名称和描述, 其他的默认就行, 因为它服务都默认勾选了.

3 获取API参数

开通服务后, 获取到当前应用服务的AppID & API Key & Secret Key, 这三个参数, 在后面要用.

4 开通付费服务

文心一言的API服务是需要充钱的, 它有很多个大模型可以选择, 这里我选了最便宜的ERNIE-Bot-turbo大模型公有云在线调用服务, 因为它可能已经满足我后续服务的一些需求了.

氪金之后, 就可以使用它的API了, 文心大模型的官网文档如下, 本文也提供一个python案例可以直接使用.

所有大模型对话能力的API列表:

https://cloud.baidu.com/doc/WENXINWORKSHOP/s/wlmhm7vuo

ERNIE-Bot的API的编程实现

https://cloud.baidu.com/doc/WENXINWORKSHOP/s/jlil56u11

2 使用

本次代码直接通过python类实现, 实现生成服务总共需要两个步骤

• 1 获取access_token

• 2 请求相应的大模型API, 输入问题的生成内容

from requests import session
import diskcache as dc
from rich.console import Console
from rich.markdown import Markdown


class YiYan(object):
    def __init__(self, appid, ak, sk):
        self.appid = appid
        self.ak = ak
        self.sk = sk
        self.s = session()
        headers = {
            'Content-Type': 'application/json'
        }
        self.s.headers.update(headers)
        self.cache = dc.Cache('./cache')

    def get_access_token(self):
        key = 'access_token'
        if not (access_token := self.cache.get(key)):
            response = self.s.post(f'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id={self.ak}&client_secret={self.sk}', json='""')
            access_token = response.json()['access_token']
            self.cache.set(key, access_token, expire=60 * 60 * 24 * 1)
        return access_token

    def generate_content(self, question):
        access_token = self.get_access_token()
        url = f"https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/eb-instant?access_token={access_token}"
        data = {"messages": [{
            "role": "user",
            "content": question
        }]}
        response = self.s.post(url, json=data)
        result = response.json()['result']
        self.print_markdown(result, question)
        return result

    def print_markdown(self, content, question):
        # content = f'## Q: {question} nn---nn{content}'
        markdown_content = Markdown(content)
        console = Console()
        console.print(markdown_content)


def main():
    appid = '12345676'
    ak = 'xxxxxxxxxxxx'
    sk = 'xxxxxxxxxxxxxxxxxxxxxxxx'
    app = YiYan(appid, ak, sk)
    question = input('请输入你的问题: ')
    app.generate_content(question)


if __name__ == '__main__':
    main()

百度的access_token 默认是30天内有效, 因为我们获取一次之后, 可以将这个access_token的值保存下来, 以便后续使用, 便不需要每次都请求一次, 生成access_token由get_access_token()函数实现. 上面的代码在保存access_token的时候使用了python的一个 第三方库diskcache, 该库可以帮助我们缓存该变量, 并设置在定期时间后过期, 当本地缓存中还存在access_token 时, 直接从本地获取, 如果本地不存在或过期了这个字段, 那就从远程获取(同时再放入本地缓存中). 关键代码如下:

if not (access_token := self.cache.get(key)):
    response = self.s.post(f'https://xxxxxxxxx')
    access_token = response.json()['access_token']
    self.cache.set(key, access_token, expire=60 * 60 * 24 * 29)

另外, 上述代码中还使用了第三方库: rich.

rich 库主要是在控制台中美观的处理和输入API响应的markdown内容, 关键代码是:

markdown_content = Markdown(content)
console = Console()
console.print(markdown_content)

生成效果如下:

3 关于

参考链接

1. https://baike.baidu.com/item/AIGC/59988381?fr=ge_ala

欢迎关注我的微信公众号