Text Models (LLM)mistral-ai
معرفی و مستندات مدل هوش مصنوعی mixtral-8x7b-instruct-v0.1
مستندات مدل mixtral-8x7b-instruct-v0.1 ارائه شده توسط ای ای کار (AI-KAR)
معرفی و بررسی فنی
⚡ وضعیت پشتیبانی از زبان فارسی
این مدل از زبان فارسی به صورت متوسط پشتیبانی میکند. درک نسبی از دستورات فارسی دارد اما ممکن است در تولید متون پیچیده فارسی با مشکل مواجه شود.
مدل mixtral-8x7b-instruct-v0.1 یک مدل هوش مصنوعی پیشرفته است که برای انجام وظایف مربوط به پیروی از دستورالعملها طراحی شده است. این مدل با پیکربندی عظیم 56 میلیارد پارامتری، در درک و اجرای دستورالعملهای پیچیده بسیار عالی عمل میکند و پاسخهای دقیق و مرتبط را در طیف گستردهای از زمینهها ارائه میدهد. این مدل برای ایجاد سیستمهای بسیار تعاملی و هوشمند که میتوانند وظایف خاصی را بر اساس دستورات کاربر انجام دهند، ایدهآل است. به طور خاص، این مدل میتواند در زمینههای مختلفی از جمله تولید متن، ترجمه زبان، خلاصهسازی متن، پاسخ به سوالات، و تولید کد مورد استفاده قرار گیرد. این مدل به خوبی میتواند دستورالعملهای پیچیده را درک کرده و پاسخهای دقیق و مرتبط را ارائه دهد. همچنین، این مدل میتواند به طور موثر با کاربران تعامل داشته باشد و به سوالات آنها پاسخ دهد. با استفاده از این مدل، میتوانید سیستمهای هوشمندی را ایجاد کنید که قادر به انجام وظایف مختلفی باشند و به طور موثر با کاربران تعامل داشته باشند. این مدل از معماری Mixture of Experts (MoE) استفاده میکند که به آن امکان میدهد تا با کارایی بیشتری نسبت به مدلهای سنتی عمل کند. در معماری MoE، مدل از چندین زیرمدل (expert) تشکیل شده است و هر زیرمدل در یک زمینه خاص تخصص دارد. هنگامی که یک ورودی به مدل داده میشود، یک دروازه (gate) تصمیم میگیرد که کدام زیرمدلها باید برای پردازش ورودی استفاده شوند. این امر به مدل امکان میدهد تا با تمرکز بر روی زیرمدلهای مرتبط، با کارایی بیشتری عمل کند. مدل mixtral-8x7b-instruct-v0.1 یک انتخاب عالی برای توسعهدهندگانی است که به دنبال یک مدل هوش مصنوعی قدرتمند و کارآمد برای انجام وظایف مربوط به پیروی از دستورالعملها هستند. این مدل میتواند در زمینههای مختلفی از جمله تولید متن، ترجمه زبان، خلاصهسازی متن، پاسخ به سوالات، و تولید کد مورد استفاده قرار گیرد. برای شروع کار با این مدل، میتوانید از API ارائه شده توسط ای ای کار (AI-KAR) استفاده کنید. این API به شما امکان میدهد تا به راحتی با مدل تعامل داشته باشید و از قابلیتهای آن بهرهمند شوید.
مشخصات فنی (API References)
| پارامتر | نوع | توضیحات و مقادیر |
|---|---|---|
model | stringRequired | مدل مورد استفاده برای تولید پاسخ. مقدار این فیلد باید `mistralai/Mixtral-8x7B-Instruct-v0.1` باشد. مقادیر مجاز (کلیک برای کپی): |
messages | arrayRequired | لیستی از پیامها که مکالمه را تا به اینجا تشکیل میدهند. بسته به مدلی که استفاده میکنید، انواع مختلف پیامها (modalities) مانند متن، اسناد (txt، pdf)، تصاویر و صدا پشتیبانی میشوند. |
max_completion_tokens | integer | حد بالایی برای تعداد توکنهایی که میتوان برای تکمیل تولید کرد، از جمله توکنهای خروجی قابل مشاهده و توکنهای استدلال. حداقل مقدار: 1 |
max_tokens | number | حداکثر تعداد توکنهایی که میتوان در تکمیل چت تولید کرد. این مقدار میتواند برای کنترل هزینهها برای متن تولید شده از طریق API استفاده شود. حداقل مقدار: 1 |
stream | boolean | اگر روی True تنظیم شود، دادههای پاسخ مدل به صورت جریانی با استفاده از رویدادهای ارسال شده توسط سرور به کلاینت ارسال میشوند. مقدار پیشفرض: false مقادیر مجاز (کلیک برای کپی): |
stream_options | object | تنظیمات مربوط به استریم کردن دادهها. |
temperature | number | از چه دمای نمونهبرداری استفاده شود. مقادیر بالاتر مانند 0.8 خروجی را تصادفیتر میکنند، در حالی که مقادیر پایینتر مانند 0.2 آن را متمرکزتر و قطعیتر میکنند. ما معمولاً توصیه میکنیم این مقدار یا top_p را تغییر دهید، اما نه هر دو را. |
top_p | number | جایگزینی برای نمونهبرداری با دما، به نام نمونهبرداری هستهای، که در آن مدل نتایج توکنها را با جرم احتمال top_p در نظر میگیرد. بنابراین 0.1 به این معنی است که فقط توکنهایی که 10٪ جرم احتمال برتر را تشکیل میدهند در نظر گرفته میشوند. ما معمولاً توصیه میکنیم این مقدار یا temperature را تغییر دهید، اما نه هر دو را. حداقل مقدار: 0.01، حداکثر مقدار: 1 |
n | integer | چند انتخاب تکمیل چت برای هر پیام ورودی تولید شود. توجه داشته باشید که هزینه شما بر اساس تعداد توکنهای تولید شده در تمام انتخابها محاسبه میشود. n را روی 1 نگه دارید تا هزینهها را به حداقل برسانید. |
stop | any | حداکثر 4 دنباله که API تولید توکنهای بیشتر را متوقف میکند. متن بازگشتی شامل دنباله توقف نخواهد بود. |
logprobs | boolean | اینکه آیا احتمالات لگاریتمی توکنهای خروجی برگردانده شوند یا خیر. اگر True باشد، احتمالات لگاریتمی هر توکن خروجی که در محتوای پیام برگردانده شده است را برمیگرداند. مقادیر مجاز (کلیک برای کپی): |
top_logprobs | number | یک عدد صحیح بین 0 و 20 که تعداد محتملترین توکنها را برای بازگشت در هر موقعیت توکن مشخص میکند، هر کدام با یک احتمال لگاریتمی مرتبط. اگر این پارامتر استفاده شود، logprobs باید روی True تنظیم شود. |
logit_bias | object | احتمال ظاهر شدن توکنهای مشخص شده در تکمیل را تغییر دهید. یک شی JSON را میپذیرد که توکنها (مشخص شده توسط شناسه توکن آنها در توکنایزر) را به یک مقدار بایاس مرتبط از -100 تا 100 نگاشت میکند. از نظر ریاضی، بایاس به logits تولید شده توسط مدل قبل از نمونهبرداری اضافه میشود. اثر دقیق در هر مدل متفاوت خواهد بود، اما مقادیر بین -1 و 1 باید احتمال انتخاب را کاهش یا افزایش دهند. مقادیری مانند -100 یا 100 باید منجر به ممنوعیت یا انتخاب انحصاری توکن مربوطه شوند. |
frequency_penalty | number | عددی بین -2.0 و 2.0. مقادیر مثبت توکنهای جدید را بر اساس فراوانی موجود آنها در متن تا کنون جریمه میکنند، و احتمال تکرار عین به عین همان خط توسط مدل را کاهش میدهند. |
prediction | object | پیکربندی برای یک خروجی پیشبینیشده، که میتواند زمانهای پاسخ را در زمانی که بخشهای بزرگی از پاسخ مدل از قبل مشخص هستند، بسیار بهبود بخشد. |
presence_penalty | number | مقادیر مثبت توکنهای جدید را بر اساس اینکه آیا در متن تا کنون ظاهر شدهاند یا خیر جریمه میکنند، و احتمال صحبت کردن مدل در مورد موضوعات جدید را افزایش میدهند. |
seed | integer | این ویژگی در بتا است. اگر مشخص شود، سیستم ما تمام تلاش خود را میکند تا به طور قطعی نمونهبرداری کند، به طوری که درخواستهای مکرر با همان seed و پارامترها باید همان نتیجه را برگردانند. حداقل مقدار: 1 |
min_p | number | عددی بین 0.001 و 0.999 که میتواند به عنوان جایگزینی برای top_p و top_k استفاده شود. |
top_k | number | فقط از K گزینه برتر برای هر توکن بعدی نمونهبرداری کنید. برای حذف پاسخهای کم احتمال "دنباله بلند" استفاده میشود. فقط برای موارد استفاده پیشرفته توصیه میشود. معمولاً فقط باید از temperature استفاده کنید. |
repetition_penalty | number | عددی که تنوع متن تولید شده را با کاهش احتمال تکرار دنبالههای تکراری کنترل میکند. مقادیر بالاتر تکرار را کاهش میدهند. |
نمونه کدهای درخواست
نکته مهم برای توسعهدهندگان:
برای احراز هویت، حتما کلید API خود را جایگزین YOUR_API_KEY کنید. هدر Authorization الزامی است.
import requests
import json # for getting a structured output with indentation
response = requests.post(
"https://api.ai-kar.com/v1/chat/completions",
headers={
# Insert your AI-KAR API Key instead of <YOUR_AI-KARAPI_KEY>:
"Authorization":"Bearer <YOUR_AI-KARAPI_KEY>",
"Content-Type":"application/json"
},
json={
"model":"mistralai/Mixtral-8x7B-Instruct-v0.1",
"messages":[
{
"role":"user",
"content":"Hello" # insert your prompt here, instead of Hello
}
]
}
)
data = response.json()
print(json.dumps(data, indent=2, ensure_ascii=False))نمونه پاسخ موفق (JSON)
RESPONSE (200 OK)
{
"id": "text",
"object": "text",
"created": 1,
"choices": [
{
"index": 1,
"message": {
"role": "text",
"content": "text",
"refusal": null,
"annotations": [
{
"type": "text",
"url_citation": {
"end_index": 1,
"start_index": 1,
"title": "text",
"url": "text"
}
}
],
"audio": {
"id": "text",
"data": "text",
"transcript": "text",
"expires_at": 1
},
"tool_calls": [
{
"id": "text",
"type": "text",
"function": {
"arguments": "text",
"name": "text"
}
}
]
},
"finish_reason": "stop",
"logprobs": {
"content": [
{
"bytes": [
1
],
"logprob": 1,
"token": "text",
"top_logprobs": [
{
"bytes": [
1
],
"logprob": 1,
"token": "text"
}
]
}
],
"refusal": []
}
}
],
"model": "text",
"usage": {
"prompt_tokens": 1,
"completion_tokens": 1,
"total_tokens": 1,
"completion_tokens_details": {
"accepted_prediction_tokens": 1,
"audio_tokens": 1,
"reasoning_tokens": 1,
"rejected_prediction_tokens": 1
},
"prompt_tokens_details": {
"audio_tokens": 1,
"cached_tokens": 1
}
}
}