Text Models (LLM)meta

معرفی و مستندات مدل هوش مصنوعی meta-llama-3-8b-instruct-lite

مستندات مدل meta-llama-3-8b-instruct-lite ارائه شده توسط ای آی کار (AI-KAR)

معرفی و بررسی فنی

⚡ وضعیت پشتیبانی از زبان فارسی

این مدل از زبان فارسی به صورت متوسط پشتیبانی می‌کند و برای درک کامل مفاهیم پیچیده فارسی ممکن است با مشکل مواجه شود.

مدل meta-llama-3-8b-instruct-lite یک مدل تولید متن است که برای مکالمه و پیروی از دستورالعمل‌ها بهینه شده است. این مدل از معماری ترنسفورمر اصلاح شده بهره می‌برد تا عملکرد بالایی در وظایف تولید متن ارائه دهد. این مدل به طور خاص برای پاسخگویی به سوالات، تولید محتوای خلاقانه، و انجام وظایفی که نیاز به درک دقیق دستورالعمل‌ها دارند، طراحی شده است. با استفاده از این مدل، کاربران می‌توانند به راحتی متن‌های منسجم و مرتبط با موضوعات مختلف تولید کنند. این مدل قابلیت درک و پاسخگویی به زبان‌های مختلف را دارد و می‌تواند در زمینه‌های گوناگون مانند تولید مقالات، پاسخ به سوالات کاربران، تولید کد، و خلاصه‌سازی متون مورد استفاده قرار گیرد. یکی از ویژگی‌های برجسته این مدل، توانایی آن در تولید پاسخ‌های دقیق و مرتبط با سوالات مطرح شده است. این مدل با استفاده از الگوریتم‌های پیشرفته، قادر است الگوهای موجود در داده‌ها را شناسایی کرده و بر اساس آن‌ها، پاسخ‌های مناسبی تولید کند. همچنین، این مدل قابلیت یادگیری از داده‌های جدید را دارد و می‌تواند با گذشت زمان، عملکرد خود را بهبود بخشد. این مدل برای توسعه‌دهندگان و محققانی که به دنبال یک ابزار قدرتمند برای تولید متن هستند، بسیار مناسب است. با استفاده از این مدل، می‌توان به سرعت و با دقت بالا، متن‌های مورد نیاز را تولید کرده و در پروژه‌های مختلف از آن‌ها استفاده کرد. این مدل در مقایسه با مدل‌های مشابه، دارای سرعت و دقت بالاتری است و می‌تواند در زمان و هزینه کاربران صرفه‌جویی کند. همچنین، این مدل دارای رابط کاربری ساده و آسانی است که به کاربران اجازه می‌دهد به راحتی با آن کار کنند. این مدل قابلیت تنظیم پارامترهای مختلف را دارد که به کاربران اجازه می‌دهد خروجی مدل را بر اساس نیازهای خود تنظیم کنند. این مدل می‌تواند به عنوان یک ابزار قدرتمند در زمینه‌های مختلف مانند آموزش، بازاریابی، و تحقیقات علمی مورد استفاده قرار گیرد. با استفاده از این مدل، می‌توان محتوای آموزشی جذاب و موثری تولید کرد، کمپین‌های بازاریابی هدفمندی را طراحی کرد، و تحقیقات علمی دقیقی را انجام داد. این مدل به طور مداوم در حال توسعه و بهبود است و در آینده، قابلیت‌های جدیدی به آن اضافه خواهد شد.

مشخصات فنی (API References)

پارامتر	نوع	توضیحات و مقادیر
model	stringRequired	نام مدلی که می‌خواهید استفاده کنید. مقدار این پارامتر باید `meta-llama/Meta-Llama-3-8B-Instruct-Lite` باشد. مقادیر مجاز (کلیک برای کپی):
messages	one of[]Required	لیستی از پیام‌ها که مکالمه را تا به اینجا تشکیل می‌دهند. بسته به مدلی که استفاده می‌کنید، انواع مختلف پیام‌ها (modalities) مانند متن، اسناد (txt, pdf)، تصاویر و صدا پشتیبانی می‌شوند.
max_tokens	number	حداکثر تعداد توکن‌هایی که می‌توانند در تکمیل چت تولید شوند. این مقدار می‌تواند برای کنترل هزینه‌های متن تولید شده از طریق API استفاده شود.
stream	boolean	اگر روی True تنظیم شود، داده‌های پاسخ مدل به صورت جریانی (stream) به کلاینت ارسال می‌شوند، به این معنی که داده‌ها به محض تولید شدن، ارسال می‌شوند.
stream_options	object	تنظیمات مربوط به استریم کردن پاسخ.
echo	boolean	اگر True باشد، پاسخ شامل درخواست (prompt) نیز خواهد بود. می‌تواند با logprobs برای برگرداندن logprobs درخواست استفاده شود.
temperature	number	چه دمایی برای نمونه‌برداری استفاده شود. مقادیر بالاتر مانند 0.8 خروجی را تصادفی‌تر می‌کنند، در حالی که مقادیر پایین‌تر مانند 0.2 خروجی را متمرکزتر و قطعی‌تر می‌کنند. به طور کلی توصیه می‌کنیم این مقدار یا top_p را تغییر دهید، اما نه هر دو را.
top_p	number	جایگزینی برای نمونه‌برداری با دما، به نام نمونه‌برداری هسته‌ای (nucleus sampling)، که در آن مدل نتایج توکن‌ها را با جرم احتمال top_p در نظر می‌گیرد. بنابراین 0.1 به این معنی است که فقط توکن‌هایی که شامل 10٪ جرم احتمال برتر هستند، در نظر گرفته می‌شوند. به طور کلی توصیه می‌کنیم این مقدار یا temperature را تغییر دهید، اما نه هر دو را.
n	integer	چند انتخاب تکمیل چت برای هر پیام ورودی تولید شود. توجه داشته باشید که هزینه بر اساس تعداد توکن‌های تولید شده در تمام انتخاب‌ها محاسبه می‌شود. مقدار n را 1 نگه دارید تا هزینه‌ها به حداقل برسد.
stop	any of	حداکثر 4 دنباله که API تولید توکن‌های بیشتر را متوقف می‌کند. متن برگشتی شامل دنباله توقف نخواهد بود.
logprobs	boolean	اینکه آیا احتمال لگاریتمی (log probabilities) توکن‌های خروجی برگردانده شود یا خیر. اگر True باشد، احتمال لگاریتمی هر توکن خروجی که در محتوای پیام برگردانده شده است را برمی‌گرداند.
top_logprobs	number	یک عدد صحیح بین 0 و 20 که تعداد محتمل‌ترین توکن‌ها را برای برگرداندن در هر موقعیت توکن مشخص می‌کند، هر کدام با یک احتمال لگاریتمی مرتبط. اگر این پارامتر استفاده شود، logprobs باید روی True تنظیم شود.
logit_bias	object	احتمال ظاهر شدن توکن‌های مشخص شده در تکمیل را تغییر می‌دهد. یک شی JSON را می‌پذیرد که توکن‌ها (مشخص شده توسط شناسه توکن آن‌ها در توکنایزر) را به یک مقدار بایاس مرتبط از -100 تا 100 نگاشت می‌کند. از نظر ریاضی، بایاس به logits تولید شده توسط مدل قبل از نمونه‌برداری اضافه می‌شود. اثر دقیق برای هر مدل متفاوت خواهد بود، اما مقادیر بین -1 و 1 باید احتمال انتخاب را کاهش یا افزایش دهند؛ مقادیری مانند -100 یا 100 باید منجر به ممنوعیت یا انتخاب انحصاری توکن مربوطه شوند.
frequency_penalty	number	عددی بین -2.0 و 2.0. مقادیر مثبت، توکن‌های جدید را بر اساس فراوانی موجود آن‌ها در متن تا به حال جریمه می‌کنند، و احتمال تکرار عین به عین یک خط توسط مدل را کاهش می‌دهند.
prediction	object	پیکربندی برای یک خروجی پیش‌بینی‌شده، که می‌تواند زمان پاسخ را در زمانی که بخش‌های بزرگی از پاسخ مدل از قبل مشخص هستند، به میزان زیادی بهبود بخشد.
presence_penalty	number	مقادیر مثبت، توکن‌های جدید را بر اساس اینکه آیا در متن تا به حال ظاهر شده‌اند یا خیر، جریمه می‌کنند، و احتمال صحبت کردن مدل در مورد موضوعات جدید را افزایش می‌دهند.
seed	integer	اگر مشخص شود، سیستم ما تمام تلاش خود را می‌کند تا به طور قطعی نمونه‌برداری کند، به طوری که درخواست‌های مکرر با همان seed و پارامترها باید نتیجه یکسانی را برگردانند.
min_p	number	عددی بین 0.001 و 0.999 که می‌تواند به عنوان جایگزینی برای top_p و top_k استفاده شود.
top_k	number	فقط از K گزینه برتر برای هر توکن بعدی نمونه‌برداری کنید. برای حذف پاسخ‌های کم احتمال "دنباله بلند" استفاده می‌شود. فقط برای موارد استفاده پیشرفته توصیه می‌شود. معمولاً فقط باید از temperature استفاده کنید.
repetition_penalty	number	عددی که تنوع متن تولید شده را با کاهش احتمال تکرار دنباله‌های تکراری کنترل می‌کند. مقادیر بالاتر تکرار را کاهش می‌دهند.

نمونه کدهای درخواست

نکته مهم برای توسعه‌دهندگان:

برای احراز هویت، حتما کلید API خود را جایگزین YOUR_API_KEY کنید. هدر Authorization الزامی است.

import requests
import json  # for getting a structured output with indentation
response = requests.post(
    "https://api.ai-kar.com/v1/chat/completions",
    headers={
        # Insert your AI-KAR API Key instead of <YOUR_AI-KARAPI_KEY>:
        "Authorization":"Bearer <YOUR_AI-KARAPI_KEY>",
        "Content-Type":"application/json"
    },
    json={
        "model":"meta-llama/Meta-Llama-3-8B-Instruct-Lite",
        "messages":[
            {
                "role":"user",
                "content":"Hello"  # insert your prompt here, instead of Hello
            }
        ],
    }
)
data = response.json()
print(json.dumps(data, indent=2, ensure_ascii=False))

نمونه پاسخ موفق (JSON)

RESPONSE (200 OK)

{
  "id": "o95Ai5e-2j9zxn-976ad7df3ef49b19",
  "object": "chat.completion",
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "logprobs": null,
      "message": {
        "role": "assistant",
        "content": "Hello! It's nice to meet you. Is there something I can help you with, or would you like to chat?",
        "tool_calls": []
      }
    }
  ],
  "created": 1756457871,
  "model": "meta-llama/Meta-Llama-3-8B-Instruct-Lite",
  "usage": {
    "prompt_tokens": 2,
    "completion_tokens": 5,
    "total_tokens": 7
  }
}