Streaming در Gemini
پاسخ تدریجی با SSE، تجمیع متن و مدیریت پایان یا قطع جریان.
فعالکردن جریان
HTTP
POST https://efars.com/gemini/v1beta/models/GEMINI_MODEL_NAME:streamGenerateContent?alt=sse
x-goog-api-key: YOUR_EFARS_API_KEY
Content-Type: application/jsonعملیات مسیر را به streamGenerateContent تغییر دهید و alt=sse بفرستید. بدنه مانند GenerateContent است؛ stream:true به بدنه اضافه نکنید.
نمونهها آموزشیاند و حاصل اجرای زنده نیستند. YOUR_EFARS_API_KEY و نامهای ختمشونده به MODEL_NAME جاینگهدارند؛ پیش از اجرا، کلید ایفارس و مدل مجاز حساب خود را جایگزین کنید. مقادیر شناسه و مصرف در پاسخهای نمونه، گزارش مصرف واقعی نیستند.
رویدادها و استخراج متن
هر data یک قطعه JSON است. متن parts را به ترتیب برای هر candidate جمع کنید. finishReason، promptFeedback و safetyRatings را بررسی کنید؛ ممکن است به دلیل ایمنی متن خالی باشد. پایان انتقال SSE و finishReason را دنبال کنید؛ انتظار [DONE] مربوط به OpenAI را نداشته باشید.
SSE · توالی نمایشی، نه خروجی زنده
data: {"candidates":[{"index":0,"content":{"role":"model","parts":[{"text":"سلام!"}]}}]}
data: {"candidates":[{"index":0,"content":{"role":"model","parts":[]},"finishReason":"STOP"}],"usageMetadata":{"promptTokenCount":0,"candidatesTokenCount":0,"totalTokenCount":0}}نمونه کد Streaming
curl
# مدل جاینگهدار را با مدل مجاز حساب خود جایگزین کنید.
curl -N --fail-with-body 'https://efars.com/gemini/v1beta/models/GEMINI_MODEL_NAME:streamGenerateContent?alt=sse' \
-H "x-goog-api-key: ${EFARS_API_KEY}" \
-H "Content-Type: application/json" \
--data '{
"contents": [
{
"role": "user",
"parts": [
{
"text": "سلام! لطفاً خودت را معرفی کن."
}
]
}
],
"generationConfig": {
"maxOutputTokens": 256
}
}'قطع اتصال و تکمیل پاسخ
- پیش از بازکردن parser، HTTP status و Content-Type را بررسی کنید؛ خطا ممکن است JSON عادی باشد.
- مرز chunk شبکه با مرز رویداد یکی نیست. data چندخطی، UTF-8 و فاصله بین رویدادها را درست پردازش کنید.
- پایان مورد انتظار پروتکل را ثبت کنید؛ EOF یا متن دریافتشده بهتنهایی تضمین تکمیل پاسخ نیست.
- رویداد error، timeout و انصراف کاربر را از پایان عادی جدا کنید. پاسخ ناقص را کامل معرفی نکنید.
- با قطع جریان ممکن است مصرف انجامشده ثبت شود. retry خودکار میتواند درخواست و هزینه جدید ایجاد کند.
نمونههای Python و JavaScript این صفحه متن delta را نمایش میدهند. برای کاربرد تولیدی، ثبت وضعیت پایان، usage، بلوکهای ابزار، لغو درخواست و سیاست retry متناسب با برنامه را اضافه کنید. timeout نمونه ۶۰ ثانیه است و تضمین زمان پاسخ سرویس نیست.