python阿里语音合成(Python让AI虚拟主播接入微软Azure语音合成并精准嘴型同步)
python阿里语音合成(Python让AI虚拟主播接入微软Azure语音合成并精准嘴型同步)import sys import threading import urllib import ssl from urllib.parse import urlparse from scripts import watcher webdriver from config.helper import config import requests def sendFile(filename filepath): url = "http://192.168.3.131:8080/cgi/savewav" header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chro
上一篇文字中讲了利用Python实现利用微软Azure无限免费将文本转mp3格式的音频文件并下载到本地。微软Azure TTS的优点不用多说,今天将讲如何利用Python将其接入到虚拟主播中来。
看过专栏其他文章的朋友,一定知道,我们使用的虚拟主播软件为Motionface,其支持一些简单好用的接口。我们先看看Motionface的效果:
我们看到了其要求是需要wav格式的音频来驱动嘴型同步 但是微软Azure语音合成为mp3格式,这时,我们需要将mp3音频文件转换成wav的音频切采样率为11025。
这个转换过程是利用ffmeg,通过python脚本调用实现。
ffmpeg -i mp3\output_1649494987952.mp3 -f wav -ac 1 -ar 16000 ./output_1649494987952.wav
开始python代码吧!
from ffmpy import FFmpeg as mpy
import os
def read_folder(mp3_folder wav_folder):
'''
文件夹读取函数
:param mp3_folder:
:param wav_folder:
:return:
'''
# 遍历需要转换的MP3文件夹中的MP3文件
for a in os.listdir(mp3_folder):
# 创建MP3文件的绝对路径
mp3_File = os.path.join(mp3_folder a)
# 调用格式转换函数
trans_to_wav(mp3_file wav_folder)
def trans_to_wav(mp3_file wav_folder):
'''
格式转换格式
:param mp3_file:
:param wav_folder:
:return:
'''
# 格式化文件
file_fmt = os.path.basename(mp3_file).strip()
# 获取文件格式
file_fmt = file_fmt.split('.')[-1]
# 校验文件格式
if file_fmt.strip() != 'mp3':
raise Exception('改文件不是MP3格式,请检查!')
elif file_fmt.strip() == '':
raise Exception('文件格式出现异常,请检查!')
# 创建wav的文件以供转换完成后输出
wav_file_path = os.path.join(wav_folder)
wav_file_path = os.path.join(wav_file_path '{}.{}'.format(
os.path.basename(mp3_file).strip().split('.')[0] 'wav'
))
# 创建转换时的命令行参数字符串
cmder = '-f wav -ac 1 -ar 11025'
# 创建转换器对象
mpy_obj = mpy(executable='ffmpeg.exe'
inputs={
mp3_file: None
}
outputs={
wav_file_path: cmder
}
)
print('执行CMDER 命令:{}'.format(mpy_obj.cmd))
mpy_obj.run()
if __name__ == '__main__':
'''
主函数入口
'''
# 输入MP3文件夹
mp3_folder = input('输入MP3文件夹路径:\n')
# 校验MP3文件夹是否存在
if mp3_folder.strip() == '':
raise Exception('输入空值,请检查!')
elif mp3_folder.strip() != '':
if os.path.exists(mp3_folder) is False:
raise Exception('文件路径不存在')
# 输入wav文件夹路径
wav_folder = input('输入wav文件夹路径:\n')
# 校验wav文件夹是否存在
if wav_folder.strip() == '':
raise Exception('输入空值,请检查!')
elif wav_folder.strip() != '':
if os.path.exists(wav_folder) is False:
raise Exception('文件路径不存在')
# 调用文件夹读取批量文件
read_folder(mp3_folder wav_folder)
接下来,我们将利用python,将wav音频文件传给motionface即可进行嘴型同步了:
import sys
import threading
import urllib
import ssl
from urllib.parse import urlparse
from scripts import watcher webdriver
from config.helper import config
import requests
def sendFile(filename filepath):
url = "http://192.168.3.131:8080/cgi/savewav"
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/96.0.4664.45 Safari/537.36'}
files = {'file': open(filepath 'rb') }
files1 = {
'file':(filename open(filepath 'rb') 'audio/wav')
}
data = {
'file':filename
'objectName': filename
'fileDownloadName': filename
}
upload_res = requests.post(url
data=data
files=files1)
if __name__ == '__main__':
print('1')
sendFile('rec.wav' 'rec.wav')