Streaming در OpenAI
پاسخ تدریجی با SSE، تجمیع متن و مدیریت پایان یا قطع جریان.
فعالکردن جریان
HTTP
POST https://efars.com/v1/chat/completions
Authorization: Bearer YOUR_EFARS_API_KEY
Content-Type: application/jsonدر همان مسیر عادی، stream را true قرار دهید. به جای یک سند JSON کامل، رویدادهای text/event-stream دریافت میکنید.
نمونهها آموزشیاند و حاصل اجرای زنده نیستند. YOUR_EFARS_API_KEY و نامهای ختمشونده به MODEL_NAME جاینگهدارند؛ پیش از اجرا، کلید ایفارس و مدل مجاز حساب خود را جایگزین کنید. مقادیر شناسه و مصرف در پاسخهای نمونه، گزارش مصرف واقعی نیستند.
رویدادها و استخراج متن
متن را از choices[].delta.content جمع کنید. finish_reason علت پایان انتخاب را مشخص میکند و [DONE] پایان جریان است. delta خالی، اطلاعات ابزار و رویدادهای فاقد متن را هم مدیریت کنید.
SSE · توالی نمایشی، نه خروجی زنده
data: {"choices":[{"index":0,"delta":{"role":"assistant","content":"سلام!"},"finish_reason":null}]}
data: {"choices":[{"index":0,"delta":{},"finish_reason":"stop"}]}
data: [DONE]نمونه کد Streaming
curl
# مدل جاینگهدار را با مدل مجاز حساب خود جایگزین کنید.
curl -N --fail-with-body 'https://efars.com/v1/chat/completions' \
-H "Authorization: Bearer ${EFARS_API_KEY}" \
-H "Content-Type: application/json" \
--data '{
"model": "OPENAI_MODEL_NAME",
"messages": [
{
"role": "user",
"content": "سلام! لطفاً خودت را معرفی کن."
}
],
"max_tokens": 256,
"stream": true
}'قطع اتصال و تکمیل پاسخ
- پیش از بازکردن parser، HTTP status و Content-Type را بررسی کنید؛ خطا ممکن است JSON عادی باشد.
- مرز chunk شبکه با مرز رویداد یکی نیست. data چندخطی، UTF-8 و فاصله بین رویدادها را درست پردازش کنید.
- پایان مورد انتظار پروتکل را ثبت کنید؛ EOF یا متن دریافتشده بهتنهایی تضمین تکمیل پاسخ نیست.
- رویداد error، timeout و انصراف کاربر را از پایان عادی جدا کنید. پاسخ ناقص را کامل معرفی نکنید.
- با قطع جریان ممکن است مصرف انجامشده ثبت شود. retry خودکار میتواند درخواست و هزینه جدید ایجاد کند.
نمونههای Python و JavaScript این صفحه متن delta را نمایش میدهند. برای کاربرد تولیدی، ثبت وضعیت پایان، usage، بلوکهای ابزار، لغو درخواست و سیاست retry متناسب با برنامه را اضافه کنید. timeout نمونه ۶۰ ثانیه است و تضمین زمان پاسخ سرویس نیست.