Text Models (LLM)meta

معرفی و مستندات مدل هوش مصنوعی llama-3.3-70b-instruct-turbo

مستندات مدل llama-3.3-70b-instruct-turbo ارائه شده توسط ای ای کار (AI-KAR)

معرفی و بررسی فنی

⚡ وضعیت پشتیبانی از زبان فارسی

این مدل از زبان فارسی به صورت متوسط پشتیبانی می‌کند. درک نسبتا خوبی از دستور زبان فارسی دارد اما در تولید متون پیچیده ممکن است دچار مشکل شود.

مدل llama-3.3-70b-instruct-turbo یک مدل زبانی بزرگ (LLM) بهینه شده است که توسط Meta توسعه یافته است. این مدل برای تولید متن کارآمد با ویژگی‌های پیشرفته و پشتیبانی چند زبانه طراحی شده است. به طور خاص، این مدل برای انجام وظایف مبتنی بر دستورالعمل تنظیم شده است، که آن را برای برنامه‌هایی که نیاز به قابلیت‌های مکالمه و پاسخ‌های مبتنی بر وظیفه دارند، مناسب می‌سازد. این مدل می‌تواند در زمینه‌های مختلفی از جمله تولید محتوا، پاسخ به سوالات، خلاصه‌سازی متن، ترجمه زبان و تولید کد مورد استفاده قرار گیرد. یکی از ویژگی‌های کلیدی این مدل، توانایی آن در درک و پیروی از دستورالعمل‌های پیچیده است. این امر به کاربران اجازه می‌دهد تا مدل را برای تولید متن با سبک، لحن و قالب خاص هدایت کنند. مدل llama-3.3-70b-instruct-turbo با استفاده از مجموعه داده‌های گسترده‌ای از متن و کد آموزش داده شده است. این مجموعه داده‌ها شامل منابع مختلفی از جمله کتاب‌ها، مقالات، وب‌سایت‌ها و کد منبع است. این آموزش گسترده به مدل اجازه می‌دهد تا دانش و مهارت‌های زبانی گسترده‌ای را کسب کند. این مدل از معماری ترانسفورمر استفاده می‌کند که یک معماری عصبی محبوب برای مدل‌های زبانی بزرگ است. معماری ترانسفورمر به مدل اجازه می‌دهد تا روابط بین کلمات و عبارات را در یک متن درک کند. این امر به مدل کمک می‌کند تا متن منسجم و مرتبط تولید کند. مدل llama-3.3-70b-instruct-turbo یک ابزار قدرتمند برای تولید متن است که می‌تواند در زمینه‌های مختلفی مورد استفاده قرار گیرد. این مدل به ویژه برای برنامه‌هایی که نیاز به قابلیت‌های مکالمه و پاسخ‌های مبتنی بر وظیفه دارند، مناسب است. با توجه به توانایی‌های پیشرفته و پشتیبانی چند زبانه، این مدل می‌تواند به کاربران در سراسر جهان کمک کند تا به طور موثرتر و کارآمدتر با زبان ارتباط برقرار کنند. تیم ای ای کار (AI-KAR) این مدل را به شما پیشنهاد می کند.

مشخصات فنی (API References)

پارامتر	نوع	توضیحات و مقادیر
model	stringRequired	مدلی که برای تولید پاسخ استفاده می‌شود. مقادیر مجاز (کلیک برای کپی):
messages	one of[]Required	لیستی از پیام‌ها که مکالمه را تا به اینجا تشکیل می‌دهند. بسته به مدلی که استفاده می‌کنید، انواع مختلفی از پیام‌ها (modalities) مانند متن، اسناد (txt, pdf)، تصاویر و صدا پشتیبانی می‌شوند.
max_tokens	number	حداکثر تعداد توکن‌هایی که می‌توانند در تکمیل چت تولید شوند. این مقدار می‌تواند برای کنترل هزینه‌های متن تولید شده از طریق API استفاده شود.
stream	boolean	اگر روی True تنظیم شود، داده‌های پاسخ مدل به صورت جریانی (streamed) به کلاینت ارسال می‌شوند، زیرا با استفاده از رویدادهای ارسال شده توسط سرور (server-sent events) تولید می‌شود.
stream_options	object	گزینه‌های مربوط به استریم کردن پاسخ.
tools	object[]	لیستی از ابزارهایی که مدل ممکن است فراخوانی کند. در حال حاضر، فقط توابع به عنوان ابزار پشتیبانی می‌شوند. از این برای ارائه لیستی از توابعی که مدل ممکن است ورودی‌های JSON را برای آنها تولید کند، استفاده کنید. حداکثر 128 تابع پشتیبانی می‌شود.
tool_choice	any of	کنترل می‌کند که کدام ابزار (در صورت وجود) توسط مدل فراخوانی شود. none به این معنی است که مدل هیچ ابزاری را فراخوانی نمی‌کند و در عوض یک پیام تولید می‌کند. auto به این معنی است که مدل می‌تواند بین تولید یک پیام یا فراخوانی یک یا چند ابزار انتخاب کند. required به این معنی است که مدل باید یک یا چند ابزار را فراخوانی کند. تعیین یک ابزار خاص از طریق {"type": "function", "function": {"name": "my_function"}} مدل را مجبور می‌کند تا آن ابزار را فراخوانی کند. none مقدار پیش‌فرض است وقتی هیچ ابزاری وجود نداشته باشد. auto مقدار پیش‌فرض است اگر ابزارها وجود داشته باشند. مقادیر مجاز (کلیک برای کپی):
parallel_tool_calls	boolean	فعال کردن فراخوانی موازی توابع در حین استفاده از ابزار.
echo	boolean	اگر True باشد، پاسخ شامل prompt خواهد بود. می‌تواند با logprobs برای برگرداندن prompt logprobs استفاده شود.
temperature	number	از چه دمای نمونه‌برداری استفاده شود. مقادیر بالاتر مانند 0.8 خروجی را تصادفی‌تر می‌کنند، در حالی که مقادیر پایین‌تر مانند 0.2 آن را متمرکزتر و قطعی‌تر می‌کنند. ما به طور کلی توصیه می‌کنیم این مقدار یا top_p را تغییر دهید، اما نه هر دو را.
top_p	number	جایگزینی برای نمونه‌برداری با دما، به نام نمونه‌برداری هسته‌ای، که در آن مدل نتایج توکن‌ها را با جرم احتمال top_p در نظر می‌گیرد. بنابراین 0.1 به این معنی است که فقط توکن‌هایی که شامل 10٪ جرم احتمال برتر هستند در نظر گرفته می‌شوند.
n	integer	چند انتخاب تکمیل چت برای هر پیام ورودی تولید شود. توجه داشته باشید که هزینه شما بر اساس تعداد توکن‌های تولید شده در تمام انتخاب‌ها محاسبه می‌شود. n را به عنوان 1 نگه دارید تا هزینه‌ها را به حداقل برسانید.
stop	any of	حداکثر 4 دنباله که API تولید توکن‌های بیشتر را متوقف می‌کند. متن برگشتی شامل دنباله توقف نخواهد بود.
logprobs	boolean	آیا احتمال ورود به سیستم توکن های خروجی را برگردانیم یا خیر. اگر درست باشد، احتمال ورود به سیستم هر توکن خروجی را که در محتوای پیام برگردانده شده است، برمی گرداند.
top_logprobs	number	عدد صحیحی بین 0 و 20 که تعداد محتمل ترین نشانه ها را برای بازگشت در هر موقعیت نشانه مشخص می کند، هر کدام با احتمال ورود به سیستم مرتبط. اگر از این پارامتر استفاده شود، logprobs باید روی True تنظیم شود.
logit_bias	object	احتمال ظاهر شدن نشانه های مشخص شده در تکمیل را تغییر دهید. یک شی JSON را می پذیرد که نشانه ها (مشخص شده توسط شناسه نشانه آنها در نشانه ساز) را به یک مقدار بایاس مرتبط از -100 تا 100 نگاشت می کند. از نظر ریاضی، بایاس به logits تولید شده توسط مدل قبل از نمونه برداری اضافه می شود. اثر دقیق در هر مدل متفاوت خواهد بود، اما مقادیر بین -1 و 1 باید احتمال انتخاب را کاهش یا افزایش دهند. مقادیری مانند -100 یا 100 باید منجر به ممنوعیت یا انتخاب انحصاری نشانه مربوطه شوند.
frequency_penalty	number	عددی بین -2.0 و 2.0. مقادیر مثبت، نشانه های جدید را بر اساس فراوانی موجود آنها در متن تا کنون جریمه می کنند و احتمال تکرار همان خط را توسط مدل کاهش می دهند.
prediction	object	پیکربندی برای یک خروجی پیش بینی شده، که می تواند زمان پاسخ را تا حد زیادی بهبود بخشد زمانی که بخش های بزرگی از پاسخ مدل از قبل شناخته شده باشد.
presence_penalty	number	مقادیر مثبت، نشانه های جدید را بر اساس اینکه آیا در متن تا کنون ظاهر شده اند یا خیر، جریمه می کنند و احتمال صحبت مدل در مورد موضوعات جدید را افزایش می دهند.
seed	integer	این ویژگی در نسخه بتا است. اگر مشخص شود، سیستم ما تمام تلاش خود را می کند تا به طور قطعی نمونه برداری کند، به طوری که درخواست های مکرر با همان دانه و پارامترها باید همان نتیجه را برگردانند.
min_p	number	عددی بین 0.001 و 0.999 که می تواند به عنوان جایگزینی برای top_p و top_k استفاده شود.
top_k	number	فقط از K گزینه برتر برای هر نشانه بعدی نمونه برداری کنید. برای حذف پاسخ های کم احتمال "دنباله بلند" استفاده می شود. فقط برای موارد استفاده پیشرفته توصیه می شود. معمولاً فقط باید از دما استفاده کنید.
repetition_penalty	number	عددی که تنوع متن تولید شده را با کاهش احتمال توالی های تکراری کنترل می کند. مقادیر بالاتر تکرار را کاهش می دهند.

نمونه کدهای درخواست

نکته مهم برای توسعه‌دهندگان:

برای احراز هویت، حتما کلید API خود را جایگزین YOUR_API_KEY کنید. هدر Authorization الزامی است.

import requests
import json  # for getting a structured output with indentation
response = requests.post(
    "https://api.ai-kar.com/v1/chat/completions",
    headers={
        # Insert your AI-KAR API Key instead of <YOUR_AI-KARAPI_KEY>:
        "Authorization":"Bearer <YOUR_AI-KARAPI_KEY>",
        "Content-Type":"application/json"
    },
    json={
        "model":"meta-llama/Llama-3.3-70B-Instruct-Turbo",
        "messages":[
            {
                "role":"user",
                "content":"Hello"  # insert your prompt here, instead of Hello
            }
        ],
    }
)
data = response.json()
print(json.dumps(data, indent=2, ensure_ascii=False))

نمونه پاسخ موفق (JSON)

RESPONSE (200 OK)

{
  "id": "text",
  "object": "text",
  "created": 1,
  "choices": [
    {
      "index": 1,
      "message": {
        "role": "text",
        "content": "text",
        "refusal": null,
        "annotations": [
          {
            "type": "text",
            "url_citation": {
              "end_index": 1,
              "start_index": 1,
              "title": "text",
              "url": "text"
            }
          }
        ],
        "audio": {
          "id": "text",
          "data": "text",
          "transcript": "text",
          "expires_at": 1
        },
        "tool_calls": [
          {
            "id": "text",
            "type": "text",
            "function": {
              "arguments": "text",
              "name": "text"
            }
          }
        ]
      },
      "finish_reason": "stop",
      "logprobs": {
        "content": [
          {
            "bytes": [
              1
            ],
            "logprob": 1,
            "token": "text",
            "top_logprobs": [
              {
                "bytes": [
                  1
                ],
                "logprob": 1,
                "token": "text"
              }
            ]
          }
        ],
        "refusal": []
      }
    }
  ],
  "model": "text",
  "usage": {
    "prompt_tokens": 1,
    "completion_tokens": 1,
    "total_tokens": 1,
    "completion_tokens_details": {
      "accepted_prediction_tokens": 1,
      "audio_tokens": 1,
      "reasoning_tokens": 1,
      "rejected_prediction_tokens": 1
    },
    "prompt_tokens_details": {
      "audio_tokens": 1,
      "cached_tokens": 1
    }
  }
}