Text Models (LLM)anthracite

معرفی و مستندات مدل هوش مصنوعی magnum-v4

مستندات مدل magnum-v4 از ای آی کار (AI-KAR)

معرفی و بررسی فنی

⚡ وضعیت پشتیبانی از زبان فارسی

این مدل از زبان فارسی به صورت متوسط پشتیبانی می‌کند.

مدل magnum-v4 که توسط Anthracite توسعه داده شده، یک مدل زبانی بزرگ (LLM) است که بر پایه Qwen2.5 ساخته شده است. این مدل به طور خاص برای تقلید کیفیت نثر مدل‌های Claude 3، به ویژه Sonnet و Opus، طراحی شده است. magnum-v4 در تولید متن‌های منسجم و غنی از نظر بافتی عالی عمل می‌کند. این مدل با درک عمیق از زبان و توانایی تولید پاسخ‌های مرتبط و جذاب، می‌تواند در طیف گسترده‌ای از کاربردها مورد استفاده قرار گیرد. از جمله این کاربردها می‌توان به تولید محتوا، پاسخگویی به سوالات، خلاصه‌سازی متون، ترجمه ماشینی و تولید کد اشاره کرد.

یکی از ویژگی‌های برجسته magnum-v4، توانایی آن در حفظ انسجام و پیوستگی در طول متن‌های طولانی است. این مدل قادر است تا با در نظر گرفتن اطلاعات قبلی در متن، پاسخ‌هایی تولید کند که به طور منطقی با متن همخوانی داشته باشند. علاوه بر این، magnum-v4 از نظر دقت و صحت اطلاعات نیز عملکرد بسیار خوبی دارد. این مدل با استفاده از دانش گسترده‌ای که در طول آموزش خود کسب کرده است، می‌تواند پاسخ‌هایی تولید کند که مبتنی بر واقعیت باشند و از ارائه اطلاعات نادرست خودداری کند.

magnum-v4 همچنین از نظر خلاقیت و نوآوری نیز حرف‌های زیادی برای گفتن دارد. این مدل می‌تواند با استفاده از تکنیک‌های مختلف، متن‌هایی تولید کند که از نظر سبک و محتوا منحصر به فرد باشند. برای مثال، magnum-v4 می‌تواند با تقلید سبک نویسندگی یک نویسنده خاص، متن‌هایی تولید کند که به سختی بتوان آن‌ها را از آثار اصلی آن نویسنده تشخیص داد.

به طور کلی، magnum-v4 یک مدل زبانی بزرگ قدرتمند و انعطاف‌پذیر است که می‌تواند در طیف گسترده‌ای از کاربردها مورد استفاده قرار گیرد. این مدل با توانایی‌های برجسته‌ای که در زمینه تولید متن، درک زبان و خلاقیت دارد، می‌تواند به عنوان یک ابزار ارزشمند برای افراد و سازمان‌ها در زمینه‌های مختلف مورد استفاده قرار گیرد. این مدل برای تولید محتوای با کیفیت، پاسخگویی به سوالات پیچیده، خلاصه‌سازی متون طولانی و ترجمه ماشینی دقیق بسیار مناسب است. همچنین، magnum-v4 می‌تواند در تولید کد و توسعه نرم‌افزار نیز به کار گرفته شود. با توجه به ویژگی‌های منحصر به فرد و عملکرد بالای magnum-v4، انتظار می‌رود که این مدل در آینده نقش مهمی در توسعه هوش مصنوعی و کاربردهای آن ایفا کند.

مشخصات فنی (API References)

پارامتر	نوع	توضیحات و مقادیر
model	stringRequired	مدل مورد استفاده. مقدار این فیلد باید `anthracite-org/magnum-v4-72b` باشد. مقادیر مجاز (کلیک برای کپی):
messages	one of[]Required	لیستی از پیام‌ها که مکالمه را تا به اینجا تشکیل می‌دهند. بسته به مدلی که استفاده می‌کنید، انواع مختلف پیام (modalities) مانند متن، اسناد (txt، pdf)، تصاویر و صدا پشتیبانی می‌شوند.
max_completion_tokens	integer	حد بالایی برای تعداد توکن‌هایی که می‌توان برای تکمیل تولید کرد، از جمله توکن‌های خروجی قابل مشاهده و توکن‌های استدلال. حداقل مقدار: 1
max_tokens	number	حداکثر تعداد توکن‌هایی که می‌توان در تکمیل چت تولید کرد. این مقدار می‌تواند برای کنترل هزینه‌های متن تولید شده از طریق API استفاده شود. حداقل مقدار: 1
stream	boolean	اگر روی True تنظیم شود، داده‌های پاسخ مدل به صورت جریانی با استفاده از رویدادهای ارسال شده توسط سرور به کلاینت ارسال می‌شوند. مقدار پیش‌فرض: false
stream_options	object	تنظیمات مربوط به استریم کردن
temperature	number	از چه دمای نمونه‌برداری استفاده شود. مقادیر بالاتر مانند 0.8 خروجی را تصادفی‌تر می‌کنند، در حالی که مقادیر پایین‌تر مانند 0.2 آن را متمرکزتر و قطعی‌تر می‌کنند. ما به طور کلی توصیه می‌کنیم این مقدار یا top_p را تغییر دهید، اما نه هر دو را. حداکثر مقدار: 2
top_p	number	جایگزینی برای نمونه‌برداری با دما، به نام نمونه‌برداری هسته‌ای، که در آن مدل نتایج توکن‌ها را با جرم احتمال top_p در نظر می‌گیرد. بنابراین 0.1 به این معنی است که فقط توکن‌هایی که شامل 10٪ جرم احتمال برتر هستند در نظر گرفته می‌شوند. ما به طور کلی توصیه می‌کنیم این مقدار یا temperature را تغییر دهید، اما نه هر دو را. حداقل مقدار: 0.01، حداکثر مقدار: 1
seed	integer	این ویژگی در نسخه بتا است. اگر مشخص شود، سیستم ما تمام تلاش خود را می‌کند تا به طور قطعی نمونه‌برداری کند، به طوری که درخواست‌های مکرر با همان seed و پارامترها باید نتیجه یکسانی را برگردانند. حداقل مقدار: 1
frequency_penalty	number \| nullable	عدد بین -2.0 و 2.0. مقادیر مثبت، توکن‌های جدید را بر اساس فراوانی موجود آنها در متن تا کنون جریمه می‌کنند، و احتمال تکرار عین به عین همان خط توسط مدل را کاهش می‌دهند.
prediction	object	پیکربندی برای خروجی پیش‌بینی‌شده، که می‌تواند زمان پاسخ را در زمانی که بخش‌های بزرگی از پاسخ مدل از قبل مشخص هستند، بسیار بهبود بخشد.
presence_penalty	number \| nullable	مقادیر مثبت، توکن‌های جدید را بر اساس اینکه آیا در متن تا کنون ظاهر شده‌اند جریمه می‌کنند، و احتمال صحبت کردن مدل در مورد موضوعات جدید را افزایش می‌دهند.
stop	any of	حداکثر 4 دنباله که API تولید توکن‌های بیشتر را متوقف می‌کند. متن بازگشتی شامل دنباله توقف نخواهد بود.
logit_bias	object \| nullable	احتمال ظاهر شدن توکن‌های مشخص شده در تکمیل را تغییر دهید. یک شی JSON را می‌پذیرد که توکن‌ها (مشخص شده توسط شناسه توکن آنها در توکن‌ساز) را به یک مقدار بایاس مرتبط از -100 تا 100 نگاشت می‌کند. از نظر ریاضی، بایاس به logits تولید شده توسط مدل قبل از نمونه‌برداری اضافه می‌شود. اثر دقیق در هر مدل متفاوت خواهد بود، اما مقادیر بین -1 و 1 باید احتمال انتخاب را کاهش یا افزایش دهند. مقادیری مانند -100 یا 100 باید منجر به ممنوعیت یا انتخاب انحصاری توکن مربوطه شوند.
response_format	one of	شیئی که فرمتی را مشخص می‌کند که مدل باید خروجی دهد.
min_p	number	عددی بین 0.001 و 0.999 که می‌تواند به عنوان جایگزینی برای top_p و top_k استفاده شود.
top_k	number	فقط از K گزینه برتر برای هر توکن بعدی نمونه‌برداری کنید. برای حذف پاسخ‌های با احتمال کم "دنباله بلند" استفاده می‌شود. فقط برای موارد استفاده پیشرفته توصیه می‌شود. معمولاً فقط باید از temperature استفاده کنید.
repetition_penalty	number \| nullable	عددی که تنوع متن تولید شده را با کاهش احتمال تکرار دنباله‌های تکراری کنترل می‌کند. مقادیر بالاتر تکرار را کاهش می‌دهند.
top_a	number	پارامتر نمونه‌برداری برتر جایگزین. حداکثر مقدار: 1

نمونه کدهای درخواست

نکته مهم برای توسعه‌دهندگان:

برای احراز هویت، حتما کلید API خود را جایگزین YOUR_API_KEY کنید. هدر Authorization الزامی است.

import requests
import json  # for getting a structured output with indentation
response = requests.post(
    "https://api.ai-kar.com/v1/chat/completions",
    headers={
        # Insert your AI-KAR API Key instead of <YOUR_AI-KARAPI_KEY>:
        "Authorization":"Bearer <YOUR_AI-KARAPI_KEY>",
        "Content-Type":"application/json"
    },
    json={
        "model":"anthracite-org/magnum-v4-72b",
        "messages":[
            {
                "role":"user",
                "content":"Hello"  # insert your prompt here, instead of Hello
            }
        ],
        "enable_thinking": False
    }
)
data = response.json()
print(json.dumps(data, indent=2, ensure_ascii=False))

نمونه پاسخ موفق (JSON)

RESPONSE (200 OK)

{
  "id": "text",
  "object": "text",
  "created": 1,
  "choices": [
    {
      "index": 1,
      "message": {
        "role": "text",
        "content": "text",
        "refusal": null,
        "annotations": [
          {
            "type": "text",
            "url_citation": {
              "end_index": 1,
              "start_index": 1,
              "title": "text",
              "url": "text"
            }
          }
        ],
        "audio": {
          "id": "text",
          "data": "text",
          "transcript": "text",
          "expires_at": 1
        },
        "tool_calls": [
          {
            "id": "text",
            "type": "text",
            "function": {
              "arguments": "text",
              "name": "text"
            }
          }
        ]
      },
      "finish_reason": "stop",
      "logprobs": {
        "content": [
          {
            "bytes": [
              1
            ],
            "logprob": 1,
            "token": "text",
            "top_logprobs": [
              {
                "bytes": [
                  1
                ],
                "logprob": 1,
                "token": "text"
              }
            ]
          }
        ],
        "refusal": []
      }
    }
  ],
  "model": "text",
  "usage": {
    "prompt_tokens": 1,
    "completion_tokens": 1,
    "total_tokens": 1,
    "completion_tokens_details": {
      "accepted_prediction_tokens": 1,
      "audio_tokens": 1,
      "reasoning_tokens": 1,
      "rejected_prediction_tokens": 1
    },
    "prompt_tokens_details": {
      "audio_tokens": 1,
      "cached_tokens": 1
    }
  }
}