OmniVoice؛ کلون‌کردن صدا در بیش از ۶۰۰ زبان روی سیستم شخصی

پروژه متن‌باز OmniVoice مدلی برای تبدیل متن به گفتار، طراحی صدا و کلون‌کردن صدا است که از بیش از ۶۰۰ زبان پشتیبانی می‌کند. این مدل را می‌توان روی سیستم شخصی اجرا کرد؛ بنابراین استفاده از قابلیت‌های اصلی آن به پرداخت اشتراک سرویس‌های تبدیل متن به گفتار وابسته نیست، هرچند اجرای مدل همچنان به سخت‌افزار و منابع پردازشی مناسب نیاز دارد.

#OmniVoice چه قابلیت‌هایی دارد؟

براساس توضیحات مخزن OmniVoice در GitHub، این مدل از معماری مبتنی بر مدل زبانی انتشاری استفاده می‌کند و سه حالت تولید دارد. کاربر می‌تواند با یک نمونه صوتی کوتاه، صدا را شبیه‌سازی کند یا ویژگی‌هایی مانند سن، زیر و بمی صدا، گویش، لهجه و حالت نجوا را برای طراحی صدا تعیین کند.

OmniVoice همچنین از نشانه‌های غیرکلامی مانند خنده پشتیبانی می‌کند و امکان اصلاح تلفظ با پین‌یین یا واج‌ها را دارد. در حالت کلون صدا، متن نمونه را می‌توان دستی وارد کرد یا رونویسی آن را به Whisper سپرد. راهنمای پروژه استفاده از یک نمونه صوتی ۳ تا ۱۰ ثانیه‌ای را پیشنهاد می‌کند و هشدار می‌دهد نمونه‌های طولانی‌تر ممکن است تولید را کندتر و کیفیت شبیه‌سازی را ضعیف‌تر کنند.

#راه‌اندازی رابط محلی OmniVoice

برای نصب، می‌توان نسخه پایدار OmniVoice را از PyPI دریافت کرد، تازه‌ترین کد را مستقیماً از GitHub نصب کرد یا مخزن را برای توسعه کلون کرد. مستندات پروژه استفاده از یک محیط مجازی تازه را برای جلوگیری از تداخل وابستگی‌ها توصیه می‌کند. PyTorch نیز باید متناسب با سخت‌افزار و پشتیبانی CUDA یا XPU نصب شود؛ در نمونه کد پروژه برای Apple Silicon هم از MPS استفاده شده است.

پس از کلون‌کردن مخزن و همگام‌سازی وابستگی‌ها با uv، رابط وب محلی با فرمان omnivoice-demo --ip 0.0.0.0 --port 8001 اجرا می‌شود. قابلیت‌های پروژه از طریق API پایتون و ابزارهای خط فرمان نیز در دسترس‌اند.

#محدودیت کیفیت و ضرورت رضایت صاحب صدا

پشتیبانی از بیش از ۶۰۰ زبان به‌خودی‌خود به معنای کیفیت یکسان در همه زبان‌ها نیست. مستندات می‌گویند برای تلفظ استاندارد بهتر است زبان صدای مرجع با زبان گفتار خروجی یکسان باشد؛ در شبیه‌سازی بین‌زبانی، خروجی می‌تواند لهجه زبان نمونه مرجع را حفظ کند.

متن‌باز و رایگان‌بودن نرم‌افزار نیز هزینه و نیاز سخت‌افزاری اجرای محلی مدل را حذف نمی‌کند. افزون بر این، معرفی OmniVoice در شبکه اجتماعی X بر استفاده از صدای دیگران فقط با اجازه آنان تأکید کرده است؛ اصلی که در کار با ابزارهای کلون صدا باید رعایت شود.