Video Modelsveed

معرفی و مستندات مدل هوش مصنوعی fabric-1.0-fast

مستندات مدل fabric-1.0-fast از veed، ارائه شده توسط ای آی کار (AI-KAR)

معرفی و بررسی فنی

⚡ وضعیت پشتیبانی از زبان فارسی

این مدل از زبان فارسی به صورت متوسط پشتیبانی می‌کند. درک متن فارسی در حد قابل قبولی است اما ممکن است در تولید ویدیو، تلفظ و حرکات لب به طور کامل با زبان فارسی هماهنگ نباشد.

مدل fabric-1.0-fast یک مدل تبدیل تصویر به ویدیو است که توسط veed توسعه داده شده و توسط ای آی کار (AI-KAR) ارائه می‌شود. این مدل قادر است هر تصویری را به یک ویدیوی واقع‌گرایانه تبدیل کند که در آن شخص یا شیء موجود در تصویر در حال صحبت کردن به نظر می‌رسد. این فرایند با استفاده از تکنیک‌های پیشرفته یادگیری عمیق و پردازش تصویر انجام می‌شود تا حرکات لب و صورت به طور طبیعی با صدای ورودی هماهنگ شوند. این مدل برای تولید محتوای ویدیویی جذاب و خلاقانه بسیار مناسب است و می‌تواند در زمینه‌های مختلفی مانند تبلیغات، آموزش، سرگرمی و تولید محتوای شبکه‌های اجتماعی مورد استفاده قرار گیرد. کاربران می‌توانند با ارائه یک تصویر و یک فایل صوتی، ویدیویی تولید کنند که در آن تصویر به نظر می‌رسد در حال صحبت کردن با صدای موجود در فایل صوتی است. این مدل از کیفیت بالایی برخوردار است و ویدیوهای تولید شده بسیار واقع‌گرایانه و طبیعی به نظر می‌رسند. همچنین، این مدل به کاربران امکان می‌دهد تا با استفاده از تصاویر مختلف و فایل‌های صوتی گوناگون، محتوای ویدیویی متنوعی تولید کنند. این مدل با استفاده از API ارائه می‌شود و کاربران می‌توانند به راحتی آن را در برنامه‌ها و پروژه‌های خود ادغام کنند. برای استفاده از این مدل، کاربران باید ابتدا یک کلید API از ای آی کار (AI-KAR) دریافت کنند و سپس با استفاده از API، درخواست‌های خود را به سرور ارسال کنند. این مدل از دو endpoint اصلی تشکیل شده است: یکی برای ایجاد و ارسال درخواست تولید ویدیو به سرور و دیگری برای دریافت ویدیوی تولید شده از سرور. فرایند تولید ویدیو ممکن است چند دقیقه طول بکشد و کاربران می‌توانند با استفاده از generation ID، وضعیت درخواست خود را پیگیری کنند. این مدل یک ابزار قدرتمند و کارآمد برای تولید محتوای ویدیویی است و می‌تواند به کاربران کمک کند تا با کمترین تلاش، ویدیوهای جذاب و حرفه‌ای تولید کنند. با استفاده از این مدل، کاربران می‌توانند به راحتی تصاویر خود را به ویدیوهای زنده و پویا تبدیل کنند و محتوای خود را به شکلی جذاب‌تر و مؤثرتر ارائه دهند. این مدل به طور مداوم در حال بهبود و توسعه است و ای آی کار (AI-KAR) تلاش می‌کند تا با ارائه ویژگی‌ها و امکانات جدید، تجربه کاربری را بهبود بخشد.

مشخصات فنی (API References)

پارامترنوعتوضیحات و مقادیر
model
stringRequired
نام مدل. باید `veed/fabric-1.0-fast` باشد.
مقادیر مجاز (کلیک برای کپی):
image_url
stringRequired
یک لینک مستقیم به یک تصویر آنلاین یا یک تصویر Base64-encoded که به عنوان پایه بصری یا فریم اول برای ویدیو استفاده خواهد شد.
audio_url
stringRequired
آدرس فایل صوتی مرجع. باید شامل موسیقی و آواز باشد. باید یک فایل .wav یا .mp3 با طول بیشتر از 15 ثانیه باشد.
resolution
stringRequired
رزولوشن ویدیوی تولید شده. گزینه‌های موجود عبارتند از 480p و 720p.
مقادیر مجاز (کلیک برای کپی):
generation_id
stringRequired
شناسه تولید (generation ID) که برای بازیابی ویدیوی تولید شده استفاده می‌شود.

نمونه کدهای درخواست

نکته مهم برای توسعه‌دهندگان:

برای احراز هویت، حتما کلید API خود را جایگزین YOUR_API_KEY کنید. هدر Authorization الزامی است.

import requests
import time

# Insert your ای آی کار (AI-KAR) key instead of <YOUR_AI-KARAPI_KEY>:
api_key = "<YOUR_AI-KARAPI_KEY>"

# Creating and sending a video generation task to the server
def generate_video():
    url = "https://api.ai-kar.com/v1/video/generations"
    headers = {
        "Authorization": f"Bearer {api_key}",
    }
    data = {
        "model": "veed/fabric-1.0-fast",
        "image_url": "https://v3.fal.media/files/koala/NLVPfOI4XL1cWT2PmmqT3_Hope.png",
        "audio_url": "https://v3.fal.media/files/elephant/Oz_g4AwQvXtXpUHL3Pa7u_Hope.mp3",
        "resolution": "720p"
    }
    response = requests.post(url, json=data, headers=headers)
    if response.status_code >= 400:
        print(f"Error: {response.status_code} - {response.text}")
    else:
        response_data = response.json()
        print(response_data)
        return response_data

# Requesting the result of the task from the server using the generation_id
def get_video(gen_id):
    url = "https://api.ai-kar.com/v1/video/generations"
    params = {
        "generation_id": gen_id,
    }
    headers = {
        "Authorization": f"Bearer {api_key}",
        "Content-Type": "application/json"
    }
    response = requests.get(url, params=params, headers=headers)
    return response.json()

def main():
    # Generate video
    gen_response = generate_video()
    gen_id = gen_response.get("id")
    print("Generation ID:  ", gen_id)

    # Try to retrieve the video from the server every 10 sec
    if gen_id:
        start_time = time.time()
        timeout = 600
        while time.time() - start_time < timeout:
            response_data = get_video(gen_id)
            if response_data is None:
                print("Error: No response from API")
                break
            status = response_data.get("status")
            print("Status:", status)
            if status == "waiting" or status == "active" or  status == "queued" or status == "generating":
                print("Still waiting... Checking again in 10 seconds.")
                time.sleep(10)
            else:
                print("Processing complete:/n", response_data)
                return response_data
        print("Timeout reached. Stopping.")
        return None

if __name__ == "__main__":
    main()

نمونه پاسخ موفق (JSON)

RESPONSE (200 OK)
{
  "id": "60ac7c34-3224-4b14-8e7d-0aa0db708325",
  "status": "completed",
  "video": {
    "url": "#",
    "duration": 8
  },
  "duration": 8,
  "error": null,
  "meta": {
    "usage": {
      "tokens_used": 120000
    }
  }
}