基于行空板M10探索多场景下与大语言模型进行语音聊天 中等

基于行空板M10探索多场景下与大语言模型进行语音聊天

        现在智能聊天很是热门，我在教学中为了能够让学生体验自己动手制作和体验智能聊天，增加学习兴趣，考虑机器人硬件设备的局限性，从多方面实现了与大语言模型进行语音聊天的编程探索。

一、基于行空板实现与大语言模型聊天

1.硬件清单：

行空板M10一块。

USB喇叭一个。

2.实现环境：

利用Mind+图形化编程软件python模式，为行空板提供WIFI上网信号，加载百度语音和Kimi图形化编程插件。

3.编程代码：

二、在电脑端实现与大语言模型聊天

1.硬件清单：

电脑。

麦克风一个。

2.实现环境：

利用Mind+图形化编程软件python模式，加载百度语音和Kimi图形化编程插件。

3.编程代码：

4.运行调试，视频如下：

三、利用python编程在电脑端与大语言模型聊天

1.硬件清单：

电脑。

麦克风一个。

2.实现环境：

利用python编程，加载百度语音和Kimi的API。

3.编程代码：

#  -*- coding: UTF-8 -*-

# MindPlus

# Python

import time

from unihiker import GUI

from aip import AipSpeech

import openai

import json

from unihiker import Audio

def readAudio(src):

  try:

    with open(src, "rb") as f:

      return f.read()

  except FileNotFoundError as e:

    print(f"[文件不存在] {e}")

    return None

  except TypeError as e:

    print(f"[输入类型异常] {e}")

    return None

  except BaseException as e:

    print(f"[通用异常] {e}")

    return None

def asr(b, f, r):

  global aip_asr_result

  aip_asr_result = aip_speech_client.asr(b, f, r)

  if aip_asr_result["err_no"] == 0:

    return " ".join(aip_asr_result["result"])

  else:

    print(str(aip_asr_result["err_no"]) + " " +aip_asr_result["err_msg"])

    return None

def synthesis(text):

  try:

    return aip_speech_client.synthesis(text,"zh", 1, aip_synthesis_option)

  except Exception:

    return aip_speech_client.synthesis(text,"zh", 1)

def synthesisIsOk():

  if not isinstance(aip_synthesis_result, dict):

    return True

  else:

    print(str(aip_synthesis_result["err_no"]) + " " + aip_synthesis_result["err_msg"])

    return False

def saveAudio(src):

  try:

    with open(src, "wb") as f:

      return f.write(aip_synthesis_result)

  except FileNotFoundError as e:

    print(f"[文件不存在] {e}")

    return None

  except TypeError as e:

    print(f"[输入类型异常] {e}")

    return None

  except BaseException as e:

    print(f"[通用异常] {e}")

    return None

# 事件回调函数

def on_a_click_callback():

    u_audio.start_record("record.wav")

    time.sleep(4)

    u_audio.stop_record()

    voice.config(text="识别中……")

    ShiBie = asr(readAudio("record.wav"), "wav", 16000)

    voice.config(text=ShiBie)

    FanHuiJieGuo = kimi_chat(ShiBie,kimi_history, kimi_model, kimi_temperature)

    global aip_synthesis_option

    aip_synthesis_option = {"aue": 6, "per": 0, "spd": 5, "pit": 5, "vol": 5}

    global aip_synthesis_result

    aip_synthesis_result = synthesis(FanHuiJieGuo)

    while not (synthesisIsOk()):

        pass

    saveAudio("speech.wav")

    u_audio.start_play("speech.wav")

    ai.config(text=FanHuiJieGuo)

    print(FanHuiJieGuo)

u_gui=GUI()

u_audio = Audio()

aip_speech_client = AipSpeech("百度ID", "百度API  Key", "百度Secret Key")

u_gui.on_key_click("a", on_a_click_callback)

cc=u_gui.draw_text(text="按一下a键提问",x=0,y=300,font_size=10, color="#0000FF")

voice=u_gui.draw_text(text="        ",x=0,y=0,font_size=15, color="#00FF00")

voice.config(w=240)

ai=u_gui.draw_text(text="       ",x=0,y=70,font_size=10, color="#000000")

ai.config(w=240)

client = openai.OpenAI(api_key="添加我的密钥", base_url="https://api.moonshot.cn/v1")

kimi_model = "moonshot-v1-8k"

kimi_temperature = 0.3

kimi_history = [

    {"role": "system", "content": """你是 Kimi，由 Moonshot AI 提供的人工智能助手，

    你更擅长中文和英文的对话。你会为用户提供安全，有帮助，准确的回答。

    回答问题的时候尽量精简词语，尽量将回答控制在100字以内。

    也不需要在回答中添加关于时效性或者是请注意之类的额外说明"""}

]

def kimi_chat(query, kimi_history, kimi_model, kimi_temperature):

    kimi_history.append({

        "role": "user",

        "content": query

    })

    completion = client.chat.completions.create(

        model=kimi_model,

        messages=kimi_history,

        temperature=kimi_temperature,

    )

    result = completion.choices[0].message.content

    kimi_history.append({

        "role": "assistant",

        "content": result

    })

    return result

voice.config(text="请说话……")

while True:

    pass

4.运行调试，视频如下：

四、基于行空板实现与大语言模型聊天

1.硬件清单：

行空板M10一块。

语音合成模块一个。

2.实现环境：

利用Mind+图形化编程软件python模式，为行空板提供WIFI上网信号，加载百度语音和Kimi图形化编程插件。

3.编程代码：

4.运行调试，视频如下：

五、总结对比

1.行空板+USB喇叭成本低，但是USB喇叭性能不稳使用声音控制模块可以控制喇叭正常发音。

2.行空板+语音合成模块成本高，但是发音稳定，V2模式语音合成质量比百度语音效果没什么差别。

3.Mind+图形化编程在电脑端进行只用一个麦克风，更容易实现教学。

4.python代码编程可以调节一些编程参数，更加灵活。