Text Models (LLM)meta
معرفی و مستندات مدل هوش مصنوعی llama-3.2-3b-instruct-turbo
مدل زبانی بزرگ llama-3.2-3b-instruct-turbo، ارائه شده توسط ای ای کار (AI-KAR).
معرفی و بررسی فنی
⚡ وضعیت پشتیبانی از زبان فارسی
این مدل از زبان فارسی به صورت متوسط پشتیبانی میکند. درک نسبی از دستور زبان فارسی دارد اما ممکن است در تولید متون پیچیده و ظریف با مشکل مواجه شود.
مدل زبانی بزرگ (LLM) llama-3.2-3b-instruct-turbo از Meta، یک مدل بهینه شده برای انجام وظایف مبتنی بر دستورالعمل است که تعادلی بین کارایی محاسباتی و عملکرد با کیفیت بالا برقرار میکند. این مدل در وظایف چند زبانه عالی عمل میکند و یک راه حل سبک وزن بدون افت کیفیت ارائه میدهد. این مدل به طور خاص برای درک و پاسخگویی به دستورالعملهای پیچیده طراحی شده است و آن را برای طیف گستردهای از کاربردها مناسب میسازد. از جمله این کاربردها میتوان به تولید متن، ترجمه زبان، خلاصه سازی، پاسخ به سوالات و تولید کد اشاره کرد. مدل llama-3.2-3b-instruct-turbo با بهرهگیری از معماری پیشرفته ترنسفورمر، قادر است الگوهای ظریف زبانی را درک کرده و پاسخهایی منسجم و مرتبط با زمینه ارائه دهد. این مدل با حجم نسبتاً کم خود، امکان استقرار و استفاده آسان را در محیطهای مختلف فراهم میکند و برای توسعهدهندگان و محققانی که به دنبال یک راه حل کارآمد و در عین حال قدرتمند هستند، ایدهآل است. از ویژگیهای برجسته این مدل میتوان به توانایی آن در تولید متن با سبکها و قالبهای مختلف، درک و پاسخگویی به سوالات پیچیده، و انجام وظایف ترجمه با دقت بالا اشاره کرد. همچنین، این مدل از قابلیت یادگیری مداوم برخوردار است و میتواند با دادههای جدید، عملکرد خود را بهبود بخشد. در مجموع، مدل llama-3.2-3b-instruct-turbo یک ابزار قدرتمند و کارآمد برای توسعهدهندگان و محققانی است که به دنبال یک راه حل زبانی با کیفیت بالا هستند. این مدل با ارائه تعادلی بین کارایی و عملکرد، امکان ایجاد برنامههای کاربردی متنوع و نوآورانه را فراهم میکند. این مدل برای استفاده در زمینههای مختلفی از جمله خدمات مشتری، آموزش، تحقیقات و توسعه مناسب است. با توجه به تواناییهای چند زبانه این مدل، میتوان از آن برای ایجاد برنامههای کاربردی که با کاربران در سراسر جهان ارتباط برقرار میکنند، استفاده کرد. ای ای کار (AI-KAR) مفتخر است که این مدل پیشرفته را به جامعه توسعهدهندگان و محققان ارائه میدهد و امیدوار است که این مدل بتواند به پیشرفت علم و فناوری کمک کند.
مشخصات فنی (API References)
| پارامتر | نوع | توضیحات و مقادیر |
|---|---|---|
model | stringRequired | نام مدلی که میخواهید استفاده کنید. مقادیر مجاز (کلیک برای کپی): |
messages | one of[]Required | لیستی از پیامها که مکالمه را تا کنون تشکیل میدهند. بسته به مدلی که استفاده میکنید، انواع مختلف پیام ( modalities ) مانند متن، اسناد (txt, pdf)، تصاویر و صدا پشتیبانی میشوند. |
max_tokens | number | حداکثر تعداد توکنهایی که میتوانند در تکمیل چت تولید شوند. این مقدار میتواند برای کنترل هزینهها برای متن تولید شده از طریق API استفاده شود. |
stream | boolean | اگر روی True تنظیم شود، دادههای پاسخ مدل به صورت جریانی (streamed) به کلاینت ارسال میشوند، همانطور که با استفاده از رویدادهای ارسال شده از سرور (server-sent events) تولید میشوند. |
stream_options | object | گزینههای مربوط به جریان داده. |
tools | object[] | لیستی از ابزارهایی که مدل ممکن است فراخوانی کند. در حال حاضر، فقط توابع به عنوان ابزار پشتیبانی میشوند. از این برای ارائه لیستی از توابعی که مدل ممکن است ورودیهای JSON را برای آنها تولید کند، استفاده کنید. حداکثر 128 تابع پشتیبانی میشود. |
tool_choice | any of | کنترل میکند که کدام ابزار (در صورت وجود) توسط مدل فراخوانی شود. none به این معنی است که مدل هیچ ابزاری را فراخوانی نمیکند و در عوض یک پیام تولید میکند. auto به این معنی است که مدل میتواند بین تولید یک پیام یا فراخوانی یک یا چند ابزار انتخاب کند. required به این معنی است که مدل باید یک یا چند ابزار را فراخوانی کند. تعیین یک ابزار خاص از طریق {"type": "function", "function": {"name": "my_function"}} مدل را مجبور میکند که آن ابزار را فراخوانی کند.
none مقدار پیشفرض است زمانی که هیچ ابزاری وجود نداشته باشد. auto مقدار پیشفرض است اگر ابزارها وجود داشته باشند. مقادیر مجاز (کلیک برای کپی): |
parallel_tool_calls | boolean | تعیین اینکه آیا فراخوانی موازی تابع در طول استفاده از ابزار فعال شود یا خیر. |
temperature | number | از چه دمای نمونهبرداری استفاده شود. مقادیر بالاتر مانند 0.8 خروجی را تصادفیتر میکنند، در حالی که مقادیر پایینتر مانند 0.2 آن را متمرکزتر و قطعیتر میکنند. ما معمولاً توصیه میکنیم این مقدار یا top_p را تغییر دهید، اما نه هر دو را. |
top_p | number | جایگزینی برای نمونهبرداری با دما، به نام نمونهبرداری هستهای، که در آن مدل نتایج توکنها را با جرم احتمال top_p در نظر میگیرد. بنابراین 0.1 به این معنی است که فقط توکنهایی که شامل 10٪ جرم احتمال برتر هستند در نظر گرفته میشوند.
ما معمولاً توصیه میکنیم این مقدار یا دما را تغییر دهید، اما نه هر دو را. |
n | integer | چند انتخاب تکمیل چت برای هر پیام ورودی تولید شود. توجه داشته باشید که هزینه شما بر اساس تعداد توکنهای تولید شده در تمام انتخابها محاسبه میشود. n را به عنوان 1 نگه دارید تا هزینهها را به حداقل برسانید. |
stop | any of | حداکثر 4 دنباله که API تولید توکنهای بیشتر را متوقف میکند. متن بازگشتی شامل دنباله توقف نخواهد بود. |
logprobs | boolean | آیا احتمال ورود (log probabilities) توکنهای خروجی برگردانده شود یا خیر. اگر True باشد، احتمال ورود هر توکن خروجی که در محتوای پیام برگردانده شده است را برمیگرداند. |
top_logprobs | number | یک عدد صحیح بین 0 و 20 که تعداد محتملترین توکنها را برای بازگشت در هر موقعیت توکن مشخص میکند، هر کدام با یک احتمال ورود مرتبط. اگر این پارامتر استفاده شود، logprobs باید روی True تنظیم شود. |
logit_bias | object | احتمال ظاهر شدن توکنهای مشخص شده در تکمیل را تغییر دهید.
یک شی JSON را میپذیرد که توکنها (مشخص شده توسط شناسه توکن آنها در توکنساز) را به یک مقدار بایاس مرتبط از -100 تا 100 نگاشت میکند. از نظر ریاضی، بایاس به logits تولید شده توسط مدل قبل از نمونهبرداری اضافه میشود. اثر دقیق برای هر مدل متفاوت خواهد بود، اما مقادیر بین -1 و 1 باید احتمال انتخاب را کاهش یا افزایش دهند. مقادیری مانند -100 یا 100 باید منجر به ممنوعیت یا انتخاب انحصاری توکن مربوطه شوند. |
frequency_penalty | number | عدد بین -2.0 و 2.0. مقادیر مثبت توکنهای جدید را بر اساس فراوانی موجود آنها در متن تا کنون جریمه میکنند، و احتمال تکرار عین به عین همان خط توسط مدل را کاهش میدهند. |
prediction | object | پیکربندی برای یک خروجی پیشبینی شده، که میتواند زمان پاسخ را در زمانی که بخشهای بزرگی از پاسخ مدل از قبل مشخص هستند، بسیار بهبود بخشد. |
presence_penalty | number | مقادیر مثبت توکنهای جدید را بر اساس اینکه آیا در متن تا کنون ظاهر شدهاند یا خیر جریمه میکنند، و احتمال صحبت کردن در مورد موضوعات جدید توسط مدل را افزایش میدهند. |
seed | integer | این ویژگی در نسخه بتا است. اگر مشخص شود، سیستم ما تمام تلاش خود را میکند تا به صورت قطعی نمونهبرداری کند، به طوری که درخواستهای مکرر با همان seed و پارامترها باید نتیجه یکسانی را برگردانند. |
min_p | number | عددی بین 0.001 و 0.999 که میتواند به عنوان جایگزینی برای top_p و top_k استفاده شود. |
top_k | number | فقط از K گزینه برتر برای هر توکن بعدی نمونهبرداری کنید. برای حذف پاسخهای کم احتمال "دنباله بلند" استفاده میشود. فقط برای موارد استفاده پیشرفته توصیه میشود. معمولاً فقط باید از دما استفاده کنید. |
repetition_penalty | number | عددی که تنوع متن تولید شده را با کاهش احتمال تکرار دنبالههای تکراری کنترل میکند. مقادیر بالاتر تکرار را کاهش میدهند. |
نمونه کدهای درخواست
نکته مهم برای توسعهدهندگان:
برای احراز هویت، حتما کلید API خود را جایگزین YOUR_API_KEY کنید. هدر Authorization الزامی است.
import requests
import json # for getting a structured output with indentation
response = requests.post(
"https://api.ai-kar.com/v1/chat/completions",
headers={
# Insert your AI-KAR API Key instead of <YOUR_AI-KARAPI_KEY>:
"Authorization":"Bearer <YOUR_AI-KARAPI_KEY>",
"Content-Type":"application/json"
},
json={
"model":"meta-llama/Llama-3.2-3B-Instruct-Turbo",
"messages":[
{
"role":"user",
"content":"Hello" # insert your prompt here, instead of Hello
}
],
}
)
data = response.json()
print(json.dumps(data, indent=2, ensure_ascii=False))نمونه پاسخ موفق (JSON)
RESPONSE (200 OK)
{
"id": "text",
"object": "text",
"created": 1,
"choices": [
{
"index": 1,
"message": {
"role": "text",
"content": "text",
"refusal": null,
"annotations": [
{
"type": "text",
"url_citation": {
"end_index": 1,
"start_index": 1,
"title": "text",
"url": "text"
}
}
],
"audio": {
"id": "text",
"data": "text",
"transcript": "text",
"expires_at": 1
},
"tool_calls": [
{
"id": "text",
"type": "text",
"function": {
"arguments": "text",
"name": "text"
}
}
]
},
"finish_reason": "stop",
"logprobs": {
"content": [
{
"bytes": [
1
],
"logprob": 1,
"token": "text",
"top_logprobs": [
{
"bytes": [
1
],
"logprob": 1,
"token": "text"
}
]
}
],
"refusal": []
}
}
],
"model": "text",
"usage": {
"prompt_tokens": 1,
"completion_tokens": 1,
"total_tokens": 1,
"completion_tokens_details": {
"accepted_prediction_tokens": 1,
"audio_tokens": 1,
"reasoning_tokens": 1,
"rejected_prediction_tokens": 1
},
"prompt_tokens_details": {
"audio_tokens": 1,
"cached_tokens": 1
}
}
}