Text Models (LLM)meta

معرفی و مستندات مدل هوش مصنوعی meta-llama-3.1-405b-instruct-turbo

مستندات مدل meta-llama-3.1-405b-instruct-turbo ارائه شده توسط ای آی کار (AI-KAR).

معرفی و بررسی فنی

⚡ وضعیت پشتیبانی از زبان فارسی

این مدل از زبان فارسی به صورت متوسط پشتیبانی می‌کند. برای دریافت بهترین نتیجه، بهتر است از دستورات ساده و واضح استفاده کنید.

مدل meta-llama-3.1-405b-instruct-turbo یک مدل زبانی بزرگ (LLM) پیشرفته است که توسط Meta AI توسعه داده شده است. این مدل برای تولید متن با کیفیت بالا و مرتبط با زمینه در حوزه‌های مختلف طراحی شده است. این مدل با استفاده از معماری ترانسفورمر آموزش داده شده و قادر است الگوهای پیچیده زبانی را یاد بگیرد و متونی منسجم و قابل فهم تولید کند. مدل meta-llama-3.1-405b-instruct-turbo در وظایف مختلفی از جمله تولید محتوا، پاسخ به سوالات، خلاصه سازی متون، ترجمه ماشینی و تولید کد کاربرد دارد. این مدل با داشتن 405 میلیارد پارامتر، یکی از بزرگترین و قدرتمندترین مدل‌های زبانی موجود است و می‌تواند درک عمیقی از زبان طبیعی داشته باشد. این مدل به خوبی برای تولید متن‌های طولانی و پیچیده بهینه شده است و می‌تواند در کاربردهایی که نیاز به دقت و خلاقیت بالا دارند، مورد استفاده قرار گیرد. از جمله ویژگی‌های برجسته این مدل می‌توان به توانایی تولید متن با سبک‌های مختلف، درک و پاسخ به سوالات چند مرحله‌ای، و تولید کد با کیفیت بالا اشاره کرد. این مدل همچنین از قابلیت تنظیم دقیق پارامترها برای کنترل رفتار مدل برخوردار است، که به کاربران امکان می‌دهد تا خروجی مدل را بر اساس نیازهای خاص خود تنظیم کنند. مدل meta-llama-3.1-405b-instruct-turbo به طور مداوم در حال بهبود است و Meta AI به طور منظم نسخه‌های جدیدی از این مدل را با قابلیت‌ها و عملکرد بهتر منتشر می‌کند. این مدل به عنوان یک ابزار قدرتمند برای توسعه دهندگان، محققان و کسب و کارها در دسترس است و می‌تواند در طیف گسترده‌ای از کاربردها مورد استفاده قرار گیرد. با استفاده از این مدل، کاربران می‌توانند به سرعت و به آسانی محتوای با کیفیت بالا تولید کنند و بهره‌وری خود را افزایش دهند. این مدل به ویژه برای کاربردهایی که نیاز به تولید متن با حجم بالا و کیفیت بالا دارند، مناسب است.

مشخصات فنی (API References)

پارامتر	نوع	توضیحات و مقادیر
model	stringRequired	مدل مورد استفاده برای تولید پاسخ. مقدار این فیلد باید `meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo` باشد. مقادیر مجاز (کلیک برای کپی):
messages	one of[]Required	لیستی از پیام‌ها که مکالمه را تا به اینجا تشکیل می‌دهند. بسته به مدلی که استفاده می‌کنید، انواع مختلفی از پیام‌ها (modalities) مانند متن، اسناد (txt، pdf)، تصاویر و صدا پشتیبانی می‌شوند.
max_tokens	number	حداکثر تعداد توکن‌هایی که می‌توانند در تکمیل چت تولید شوند. این مقدار می‌تواند برای کنترل هزینه‌های تولید متن از طریق API استفاده شود.
stream	boolean	اگر روی True تنظیم شود، داده‌های پاسخ مدل به صورت جریانی (stream) با استفاده از رویدادهای ارسال شده از سرور (server-sent events) به کلاینت ارسال می‌شوند.
stream_options	object	تنظیمات مربوط به استریم کردن داده‌ها.
tools	object[]	لیستی از ابزارهایی که مدل می‌تواند فراخوانی کند. در حال حاضر، فقط توابع به عنوان ابزار پشتیبانی می‌شوند. از این برای ارائه لیستی از توابعی که مدل می‌تواند ورودی‌های JSON را برای آنها تولید کند، استفاده کنید. حداکثر 128 تابع پشتیبانی می‌شود.
tool_choice	any of	کنترل می‌کند که کدام ابزار (در صورت وجود) توسط مدل فراخوانی شود. `none` به این معنی است که مدل هیچ ابزاری را فراخوانی نمی‌کند و به جای آن یک پیام تولید می‌کند. `auto` به این معنی است که مدل می‌تواند بین تولید یک پیام یا فراخوانی یک یا چند ابزار انتخاب کند. `required` به این معنی است که مدل باید یک یا چند ابزار را فراخوانی کند. تعیین یک ابزار خاص از طریق `{"type": "function", "function": {"name": "my_function"}}` مدل را مجبور می‌کند تا آن ابزار را فراخوانی کند. `none` مقدار پیش‌فرض است وقتی هیچ ابزاری وجود نداشته باشد. `auto` مقدار پیش‌فرض است اگر ابزارها وجود داشته باشند. مقادیر مجاز (کلیک برای کپی):
parallel_tool_calls	boolean	تعیین اینکه آیا فراخوانی موازی تابع در حین استفاده از ابزار فعال شود یا خیر.
echo	boolean	اگر True باشد، پاسخ شامل پرامپت خواهد بود. می‌تواند با logprobs برای برگرداندن logprobs پرامپت استفاده شود.
temperature	number	از چه دمای نمونه‌برداری استفاده شود. مقادیر بالاتر مانند 0.8 خروجی را تصادفی‌تر می‌کنند، در حالی که مقادیر پایین‌تر مانند 0.2 آن را متمرکزتر و قطعی‌تر می‌کنند. ما به طور کلی توصیه می‌کنیم این مقدار یا top_p را تغییر دهید، اما نه هر دو را.
top_p	number	جایگزینی برای نمونه‌برداری با دما، به نام نمونه‌برداری هسته‌ای (nucleus sampling)، که در آن مدل نتایج توکن‌ها را با جرم احتمال top_p در نظر می‌گیرد. بنابراین 0.1 به این معنی است که فقط توکن‌هایی که 10٪ جرم احتمال برتر را تشکیل می‌دهند در نظر گرفته می‌شوند. ما به طور کلی توصیه می‌کنیم این مقدار یا temperature را تغییر دهید، اما نه هر دو را.
n	integer	چند انتخاب تکمیل چت برای هر پیام ورودی تولید شود. توجه داشته باشید که هزینه بر اساس تعداد توکن‌های تولید شده در تمام انتخاب‌ها محاسبه می‌شود. n را به عنوان 1 نگه دارید تا هزینه‌ها به حداقل برسد.
stop	any of	حداکثر 4 دنباله که API تولید توکن‌های بیشتر را متوقف می‌کند. متن برگشتی شامل دنباله توقف نخواهد بود.
logprobs	boolean	آیا احتمال لگاریتمی توکن‌های خروجی برگردانده شود یا خیر. اگر True باشد، احتمال لگاریتمی هر توکن خروجی برگردانده شده در محتوای پیام را برمی‌گرداند.
top_logprobs	number	یک عدد صحیح بین 0 و 20 که تعداد محتمل‌ترین توکن‌ها را برای بازگشت در هر موقعیت توکن مشخص می‌کند، هر کدام با یک احتمال لگاریتمی مرتبط. اگر این پارامتر استفاده شود، logprobs باید روی True تنظیم شود.
logit_bias	object	احتمال ظاهر شدن توکن‌های مشخص شده در تکمیل را تغییر دهید. یک شی JSON را می‌پذیرد که توکن‌ها (مشخص شده توسط شناسه توکن آنها در توکن‌ساز) را به یک مقدار بایاس مرتبط از -100 تا 100 نگاشت می‌کند. از نظر ریاضی، بایاس به logits تولید شده توسط مدل قبل از نمونه‌برداری اضافه می‌شود. اثر دقیق برای هر مدل متفاوت خواهد بود، اما مقادیر بین -1 و 1 باید احتمال انتخاب را کاهش یا افزایش دهند. مقادیری مانند -100 یا 100 باید منجر به ممنوعیت یا انتخاب انحصاری توکن مربوطه شوند.
frequency_penalty	number	عددی بین -2.0 و 2.0. مقادیر مثبت، توکن‌های جدید را بر اساس فراوانی موجود آنها در متن تا کنون جریمه می‌کنند، و احتمال تکرار همان خط را به صورت کلمه به کلمه کاهش می‌دهند.
prediction	object	پیکربندی برای یک خروجی پیش‌بینی‌شده، که می‌تواند زمان پاسخ را هنگام مشخص بودن بخش‌های بزرگ پاسخ مدل از قبل، بسیار بهبود بخشد.
presence_penalty	number	مقادیر مثبت، توکن‌های جدید را بر اساس اینکه آیا در متن تا کنون ظاهر شده‌اند یا خیر، جریمه می‌کنند، و احتمال صحبت کردن مدل در مورد موضوعات جدید را افزایش می‌دهند.
seed	integer	این ویژگی در نسخه بتا است. اگر مشخص شود، سیستم ما تمام تلاش خود را می‌کند تا به طور قطعی نمونه‌برداری کند، به طوری که درخواست‌های مکرر با همان seed و پارامترها باید نتیجه یکسانی را برگردانند.
min_p	number	عددی بین 0.001 و 0.999 که می‌تواند به عنوان جایگزینی برای top_p و top_k استفاده شود.
top_k	number	فقط از K گزینه برتر برای هر توکن بعدی نمونه‌برداری کنید. برای حذف پاسخ‌های «دم بلند» با احتمال کم استفاده می‌شود. فقط برای موارد استفاده پیشرفته توصیه می‌شود. معمولاً فقط باید از temperature استفاده کنید.
repetition_penalty	number	عددی که تنوع متن تولید شده را با کاهش احتمال تکرار دنباله‌های تکراری کنترل می‌کند. مقادیر بالاتر تکرار را کاهش می‌دهند.

نمونه کدهای درخواست

نکته مهم برای توسعه‌دهندگان:

برای احراز هویت، حتما کلید API خود را جایگزین YOUR_API_KEY کنید. هدر Authorization الزامی است.

import requests
response = requests.post(
    "https://api.ai-kar.com/v1/chat/completions",
    headers={
        "Content-Type":"application/json",
        # Insert your AI-KAR API Key instead of <YOUR_AI-KARAPI_KEY>:
        "Authorization":"Bearer <YOUR_AI-KARAPI_KEY>",
        "Content-Type":"application/json"
    },
    json={
        "model":"meta-llama/Meta-Llama-3.1-405B-Instruct-Turbo",
        "messages":[
            {
                "role":"user",
                # Insert your question for the model here, instead of Hello:
                "content":"Hello"
            }
        ]
    }
)
data = response.json()
print(data)

نمونه پاسخ موفق (JSON)

RESPONSE (200 OK)

{
  "id": "text",
  "object": "text",
  "created": 1,
  "choices": [
    {
      "index": 1,
      "message": {
        "role": "text",
        "content": "text",
        "refusal": null,
        "annotations": [
          {
            "type": "text",
            "url_citation": {
              "end_index": 1,
              "start_index": 1,
              "title": "text",
              "url": "text"
            }
          }
        ],
        "audio": {
          "id": "text",
          "data": "text",
          "transcript": "text",
          "expires_at": 1
        },
        "tool_calls": [
          {
            "id": "text",
            "type": "text",
            "function": {
              "arguments": "text",
              "name": "text"
            }
          }
        ]
      },
      "finish_reason": "stop",
      "logprobs": {
        "content": [
          {
            "bytes": [
              1
            ],
            "logprob": 1,
            "token": "text",
            "top_logprobs": [
              {
                "bytes": [
                  1
                ],
                "logprob": 1,
                "token": "text"
              }
            ]
          }
        ],
        "refusal": []
      }
    }
  ],
  "model": "text",
  "usage": {
    "prompt_tokens": 1,
    "completion_tokens": 1,
    "total_tokens": 1,
    "completion_tokens_details": {
      "accepted_prediction_tokens": 1,
      "audio_tokens": 1,
      "reasoning_tokens": 1,
      "rejected_prediction_tokens": 1
    },
    "prompt_tokens_details": {
      "audio_tokens": 1,
      "cached_tokens": 1
    }
  }
}