Text Models (LLM)nvidia

معرفی و مستندات مدل هوش مصنوعی llama-3.1-nemotron-70b

مستندات مدل llama-3.1-nemotron-70b ارائه شده توسط ای آی کار (AI-KAR)

معرفی و بررسی فنی

⚡ وضعیت پشتیبانی از زبان فارسی

این مدل از زبان فارسی به صورت متوسط پشتیبانی می‌کند و برای استفاده در متون فارسی پیچیده ممکن است نیاز به تنظیمات و آموزش‌های تکمیلی داشته باشد.

مدل llama-3.1-nemotron-70b یک مدل زبانی بزرگ (LLM) پیشرفته است که توسط nvidia توسعه داده شده و برای بهبود عملکرد در وظایف پیروی از دستورالعمل‌ها طراحی شده است. این مدل از تکنیک‌های آموزشی پیشرفته و یک معماری قوی بهره می‌برد تا پاسخ‌هایی شبیه به انسان در طیف گسترده‌ای از برنامه‌ها تولید کند. این مدل قادر است متن را درک کرده، خلاصه کند، ترجمه کند، تولید کند و به سوالات پاسخ دهد. مدل llama-3.1-nemotron-70b با استفاده از مجموعه داده‌های گسترده‌ای آموزش داده شده است که شامل متن و کد از منابع مختلف است. این آموزش به مدل امکان می‌دهد تا الگوها و روابط پیچیده در داده‌ها را یاد بگیرد و پاسخ‌های دقیق و مرتبطی تولید کند. یکی از ویژگی‌های کلیدی این مدل، توانایی آن در درک و پاسخگویی به دستورالعمل‌های پیچیده است. این مدل می‌تواند دستورالعمل‌ها را به طور دقیق تفسیر کند و پاسخ‌هایی تولید کند که به طور خاص برای برآورده کردن نیازهای کاربر طراحی شده‌اند. این قابلیت، مدل llama-3.1-nemotron-70b را برای طیف گسترده‌ای از کاربردها، از جمله چت‌بات‌ها، دستیارهای مجازی و تولید محتوا، ایده‌آل می‌سازد. علاوه بر این، مدل llama-3.1-nemotron-70b از یک معماری قوی برخوردار است که به آن امکان می‌دهد تا با حجم زیادی از داده‌ها به طور موثر کار کند. این معماری به مدل اجازه می‌دهد تا اطلاعات را به سرعت پردازش کند و پاسخ‌هایی را در زمان واقعی تولید کند. این ویژگی به ویژه برای برنامه‌هایی که نیاز به پاسخ‌های فوری دارند، مانند خدمات مشتری و پشتیبانی فنی، مهم است. مدل llama-3.1-nemotron-70b همچنین دارای قابلیت‌های یادگیری مداوم است. این بدان معناست که مدل می‌تواند به طور مداوم از داده‌های جدید یاد بگیرد و عملکرد خود را با گذشت زمان بهبود بخشد. این قابلیت به مدل امکان می‌دهد تا با آخرین روندها و تحولات در زمینه هوش مصنوعی همگام شود و پاسخ‌های دقیق و مرتبطی را ارائه دهد. در مجموع، مدل llama-3.1-nemotron-70b یک ابزار قدرتمند برای تولید متن، پاسخ به سوالات و انجام وظایف مختلف پردازش زبان طبیعی است. با استفاده از تکنیک‌های آموزشی پیشرفته و یک معماری قوی، این مدل می‌تواند پاسخ‌هایی شبیه به انسان را در طیف گسترده‌ای از برنامه‌ها تولید کند. این مدل به طور مداوم در حال بهبود است و انتظار می‌رود که در آینده نقش مهمی در زمینه هوش مصنوعی ایفا کند. این مدل برای استفاده در زمینه‌های مختلفی مانند تولید محتوا، ترجمه زبان، پاسخگویی به سوالات، و توسعه چت‌بات‌ها مناسب است.

مشخصات فنی (API References)

پارامتر	نوع	توضیحات و مقادیر
model	stringRequired	مدل مورد استفاده برای تولید پاسخ. مقدار این فیلد باید `nvidia/llama-3.1-nemotron-70b-instruct` باشد. مقادیر مجاز (کلیک برای کپی):
messages	one of[]Required	لیستی از پیام‌ها که مکالمه را تا به اینجا تشکیل می‌دهند. بسته به مدلی که استفاده می‌کنید، انواع مختلفی از پیام‌ها (modalities) مانند متن، اسناد (txt، pdf)، تصاویر و صدا پشتیبانی می‌شوند.
max_completion_tokens	integer	حد بالایی برای تعداد توکن‌هایی که می‌توان برای تکمیل تولید کرد، از جمله توکن‌های خروجی قابل مشاهده و توکن‌های استدلال. حداقل مقدار: 1
max_tokens	number	حداکثر تعداد توکن‌هایی که می‌توان در تکمیل چت تولید کرد. این مقدار می‌تواند برای کنترل هزینه‌های متن تولید شده از طریق API استفاده شود. حداقل مقدار: 1
stream	boolean	اگر روی True تنظیم شود، داده‌های پاسخ مدل به صورت جریانی با استفاده از رویدادهای ارسال شده توسط سرور به کلاینت ارسال می‌شوند. مقدار پیش‌فرض: false
stream_options	object	تنظیمات مربوط به جریان داده
temperature	number	چه دمای نمونه‌برداری استفاده شود. مقادیر بالاتر مانند 0.8 خروجی را تصادفی‌تر می‌کنند، در حالی که مقادیر پایین‌تر مانند 0.2 آن را متمرکزتر و قطعی‌تر می‌کنند. ما به طور کلی توصیه می‌کنیم این مقدار یا top_p را تغییر دهید، اما نه هر دو را.
top_p	number	جایگزینی برای نمونه‌برداری با دما، به نام نمونه‌برداری هسته‌ای، که در آن مدل نتایج توکن‌ها را با جرم احتمال top_p در نظر می‌گیرد. بنابراین 0.1 به این معنی است که فقط توکن‌هایی که شامل 10٪ جرم احتمال برتر هستند در نظر گرفته می‌شوند. ما به طور کلی توصیه می‌کنیم این مقدار یا دما را تغییر دهید، اما نه هر دو را. حداقل مقدار: 0.01، حداکثر مقدار: 1
seed	integer	این ویژگی در حالت بتا است. اگر مشخص شود، سیستم ما تمام تلاش خود را می‌کند تا به طور قطعی نمونه‌برداری کند، به طوری که درخواست‌های مکرر با همان seed و پارامترها باید نتیجه یکسانی را برگردانند. حداقل مقدار: 1
min_p	number	عددی بین 0.001 و 0.999 که می‌تواند به عنوان جایگزینی برای top_p و top_k استفاده شود.
top_k	number	فقط از K گزینه برتر برای هر توکن بعدی نمونه‌برداری کنید. برای حذف پاسخ‌های کم احتمال "long tail" استفاده می‌شود. فقط برای موارد استفاده پیشرفته توصیه می‌شود. معمولاً فقط باید از دما استفاده کنید.
repetition_penalty	number \| nullable	عددی که تنوع متن تولید شده را با کاهش احتمال تکرار توالی‌ها کنترل می‌کند. مقادیر بالاتر تکرار را کاهش می‌دهند.
top_a	number	پارامتر نمونه‌برداری برتر جایگزین. حداکثر مقدار: 1
frequency_penalty	number \| nullable	عددی بین -2.0 و 2.0. مقادیر مثبت توکن‌های جدید را بر اساس فراوانی موجود آنها در متن تا به امروز جریمه می‌کنند و احتمال تکرار همان خط را توسط مدل کاهش می‌دهند.
prediction	object	پیکربندی برای یک خروجی پیش‌بینی‌شده، که می‌تواند زمان پاسخ را در زمانی که بخش‌های بزرگی از پاسخ مدل از قبل مشخص هستند، بسیار بهبود بخشد.
presence_penalty	number \| nullable	مقادیر مثبت توکن‌های جدید را بر اساس اینکه آیا در متن تا به امروز ظاهر می‌شوند جریمه می‌کنند و احتمال صحبت مدل در مورد موضوعات جدید را افزایش می‌دهند.
tools	object[]	لیستی از ابزارهایی که مدل ممکن است فراخوانی کند. در حال حاضر، فقط توابع به عنوان یک ابزار پشتیبانی می‌شوند. از این برای ارائه لیستی از توابعی استفاده کنید که مدل ممکن است ورودی‌های JSON را برای آنها تولید کند. حداکثر 128 تابع پشتیبانی می‌شود.
tool_choice	any of	کنترل می‌کند که کدام ابزار (در صورت وجود) توسط مدل فراخوانی شود. none به این معنی است که مدل هیچ ابزاری را فراخوانی نمی‌کند و در عوض یک پیام تولید می‌کند. auto به این معنی است که مدل می‌تواند بین تولید یک پیام یا فراخوانی یک یا چند ابزار انتخاب کند. required به این معنی است که مدل باید یک یا چند ابزار را فراخوانی کند. تعیین یک ابزار خاص از طریق {"type": "function", "function": {"name": "my_function"}} مدل را مجبور می‌کند تا آن ابزار را فراخوانی کند. none مقدار پیش‌فرض زمانی است که هیچ ابزاری وجود نداشته باشد. auto مقدار پیش‌فرض در صورت وجود ابزار است. مقادیر مجاز (کلیک برای کپی):
parallel_tool_calls	boolean	اینکه آیا فراخوانی تابع موازی را در طول استفاده از ابزار فعال کنیم یا خیر.
stop	any of	حداکثر 4 توالی که API تولید توکن‌های بیشتر را متوقف می‌کند. متن برگشتی شامل توالی توقف نخواهد بود.
logprobs	boolean \| nullable	اینکه آیا احتمالات لگاریتمی توکن‌های خروجی را برگردانیم یا خیر. اگر True باشد، احتمالات لگاریتمی هر توکن خروجی برگشتی در محتوای پیام را برمی‌گرداند.
top_logprobs	number \| nullable	یک عدد صحیح بین 0 و 20 که تعداد محتمل‌ترین توکن‌ها را برای بازگشت در هر موقعیت توکن مشخص می‌کند، هر کدام با یک احتمال لگاریتمی مرتبط. اگر این پارامتر استفاده شود، logprobs باید روی True تنظیم شود.
logit_bias	object \| nullable	احتمال ظاهر شدن توکن‌های مشخص شده در تکمیل را تغییر دهید. یک شی JSON را می‌پذیرد که توکن‌ها (مشخص شده توسط شناسه توکن آنها در توکن‌ساز) را به یک مقدار بایاس مرتبط از -100 تا 100 نگاشت می‌کند. از نظر ریاضی، بایاس به logits تولید شده توسط مدل قبل از نمونه‌برداری اضافه می‌شود. اثر دقیق در هر مدل متفاوت خواهد بود، اما مقادیر بین -1 و 1 باید احتمال انتخاب را کاهش یا افزایش دهند. مقادیری مانند -100 یا 100 باید منجر به ممنوعیت یا انتخاب انحصاری توکن مربوطه شوند.
response_format	one of	شیئی که فرمتی را مشخص می‌کند که مدل باید خروجی دهد.

نمونه کدهای درخواست

نکته مهم برای توسعه‌دهندگان:

برای احراز هویت، حتما کلید API خود را جایگزین YOUR_API_KEY کنید. هدر Authorization الزامی است.

import requests
import json  # for getting a structured output with indentation
response = requests.post(
    "https://api.ai-kar.com/v1/chat/completions",
    headers={
        # Insert your AI-KAR API Key instead of <YOUR_AI-KARAPI_KEY>:
        "Authorization":"Bearer <YOUR_AI-KARAPI_KEY>",
        "Content-Type":"application/json"
    },
    json={
        "model":"nvidia/llama-3.1-nemotron-70b-instruct",
        "messages":[
            {
                "role":"user",
                "content":"Hello"  # insert your prompt here, instead of Hello
            }
        ]
    }
)
data = response.json()
print(json.dumps(data, indent=4))

نمونه پاسخ موفق (JSON)

RESPONSE (200 OK)

{
  "id": "text",
  "object": "text",
  "created": 1,
  "choices": [
    {
      "index": 1,
      "message": {
        "role": "text",
        "content": "text",
        "refusal": null,
        "annotations": [
          {
            "type": "text",
            "url_citation": {
              "end_index": 1,
              "start_index": 1,
              "title": "text",
              "url": "text"
            }
          }
        ],
        "audio": {
          "id": "text",
          "data": "text",
          "transcript": "text",
          "expires_at": 1
        },
        "tool_calls": [
          {
            "id": "text",
            "type": "text",
            "function": {
              "arguments": "text",
              "name": "text"
            }
          }
        ]
      },
      "finish_reason": "stop",
      "logprobs": {
        "content": [
          {
            "bytes": [
              1
            ],
            "logprob": 1,
            "token": "text",
            "top_logprobs": [
              {
                "bytes": [
                  1
                ],
                "logprob": 1,
                "token": "text"
              }
            ]
          }
        ],
        "refusal": []
      }
    }
  ],
  "model": "text",
  "usage": {
    "prompt_tokens": 1,
    "completion_tokens": 1,
    "total_tokens": 1,
    "completion_tokens_details": {
      "accepted_prediction_tokens": 1,
      "audio_tokens": 1,
      "reasoning_tokens": 1,
      "rejected_prediction_tokens": 1
    },
    "prompt_tokens_details": {
      "audio_tokens": 1,
      "cached_tokens": 1
    }
  }
}