快捷搜索:  汽车  科技

python阿里语音合成(Python让AI虚拟主播接入微软Azure语音合成并精准嘴型同步)

python阿里语音合成(Python让AI虚拟主播接入微软Azure语音合成并精准嘴型同步)import sys import threading import urllib import ssl from urllib.parse import urlparse from scripts import watcher webdriver from config.helper import config import requests def sendFile(filename filepath): url = "http://192.168.3.131:8080/cgi/savewav" header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chro

上一篇文字中讲了利用Python实现利用微软Azure无限免费将文本转mp3格式的音频文件并下载到本地。微软Azure TTS的优点不用多说,今天将讲如何利用Python将其接入到虚拟主播中来。

看过专栏其他文章的朋友,一定知道,我们使用的虚拟主播软件为Motionface,其支持一些简单好用的接口。我们先看看Motionface的效果:

python阿里语音合成(Python让AI虚拟主播接入微软Azure语音合成并精准嘴型同步)(1)

python阿里语音合成(Python让AI虚拟主播接入微软Azure语音合成并精准嘴型同步)(2)

我们看到了其要求是需要wav格式的音频来驱动嘴型同步 但是微软Azure语音合成为mp3格式,这时,我们需要将mp3音频文件转换成wav的音频切采样率为11025。

这个转换过程是利用ffmeg,通过python脚本调用实现。

ffmpeg -i mp3\output_1649494987952.mp3 -f wav -ac 1 -ar 16000 ./output_1649494987952.wav

python阿里语音合成(Python让AI虚拟主播接入微软Azure语音合成并精准嘴型同步)(3)

开始python代码吧!

from ffmpy import FFmpeg as mpy import os def read_folder(mp3_folder wav_folder): ''' 文件夹读取函数 :param mp3_folder: :param wav_folder: :return: ''' # 遍历需要转换的MP3文件夹中的MP3文件 for a in os.listdir(mp3_folder): # 创建MP3文件的绝对路径 mp3_File = os.path.join(mp3_folder a) # 调用格式转换函数 trans_to_wav(mp3_file wav_folder) def trans_to_wav(mp3_file wav_folder): ''' 格式转换格式 :param mp3_file: :param wav_folder: :return: ''' # 格式化文件 file_fmt = os.path.basename(mp3_file).strip() # 获取文件格式 file_fmt = file_fmt.split('.')[-1] # 校验文件格式 if file_fmt.strip() != 'mp3': raise Exception('改文件不是MP3格式,请检查!') elif file_fmt.strip() == '': raise Exception('文件格式出现异常,请检查!') # 创建wav的文件以供转换完成后输出 wav_file_path = os.path.join(wav_folder) wav_file_path = os.path.join(wav_file_path '{}.{}'.format( os.path.basename(mp3_file).strip().split('.')[0] 'wav' )) # 创建转换时的命令行参数字符串 cmder = '-f wav -ac 1 -ar 11025' # 创建转换器对象 mpy_obj = mpy(executable='ffmpeg.exe' inputs={ mp3_file: None } outputs={ wav_file_path: cmder } ) print('执行CMDER 命令:{}'.format(mpy_obj.cmd)) mpy_obj.run() if __name__ == '__main__': ''' 主函数入口 ''' # 输入MP3文件夹 mp3_folder = input('输入MP3文件夹路径:\n') # 校验MP3文件夹是否存在 if mp3_folder.strip() == '': raise Exception('输入空值,请检查!') elif mp3_folder.strip() != '': if os.path.exists(mp3_folder) is False: raise Exception('文件路径不存在') # 输入wav文件夹路径 wav_folder = input('输入wav文件夹路径:\n') # 校验wav文件夹是否存在 if wav_folder.strip() == '': raise Exception('输入空值,请检查!') elif wav_folder.strip() != '': if os.path.exists(wav_folder) is False: raise Exception('文件路径不存在') # 调用文件夹读取批量文件 read_folder(mp3_folder wav_folder)

python阿里语音合成(Python让AI虚拟主播接入微软Azure语音合成并精准嘴型同步)(4)

接下来,我们将利用python,将wav音频文件传给motionface即可进行嘴型同步了:

import sys import threading import urllib import ssl from urllib.parse import urlparse from scripts import watcher webdriver from config.helper import config import requests def sendFile(filename filepath): url = "http://192.168.3.131:8080/cgi/savewav" header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/96.0.4664.45 Safari/537.36'} files = {'file': open(filepath 'rb') } files1 = { 'file':(filename open(filepath 'rb') 'audio/wav') } data = { 'file':filename 'objectName': filename 'fileDownloadName': filename } upload_res = requests.post(url data=data files=files1) if __name__ == '__main__': print('1') sendFile('rec.wav' 'rec.wav')

python阿里语音合成(Python让AI虚拟主播接入微软Azure语音合成并精准嘴型同步)(5)

猜您喜欢: