Rate limit

Batas berlaku per API key. Dua kunci dalam satu organisasi punya batas masing-masing, jadi batch job yang sibuk di satu kunci tidak memperlambat kunci produksi Anda.

Batas default

Kedua respons membawa header Retry-After berisi jumlah detik yang perlu ditunggu. Request yang ditolak tidak ditagih.

HTTP/1.1 429 Too Many Requests
Retry-After: 3
Content-Type: application/json

{"error":{"message":"…","type":"rate_limit_exceeded","code":"concurrency_limit_exceeded","param":null}}

Hal lain yang bisa mengembalikan 429

• Perlindungan tingkat IP. Laju request yang sangat tinggi dari satu alamat IP ditolak dengan 429 ip_rate_limited, terlepas dari kuncinya.
• Penyedia model. Jika penyedia membatasi sebuah request, respons 429 dan Retry-After darinya diteruskan kepada Anda apa adanya.

Untuk semua kasus: tunggu sesuai Retry-After, lalu coba lagi. Lihat Error & retry.

Saldo Anda juga membatasi

Setiap request yang sedang berjalan menahan sebagian saldo wallet Anda sampai selesai (lihat Billing). Dengan saldo kecil, hold untuk request yang berjalan bisa menghabiskannya sebelum Anda mencapai 16 request bersamaan; request baru lalu gagal dengan 402 insufficient_credit sampai request sebelumnya selesai atau Anda mengisi saldo.

Agar tetap di bawah batas

• Batasi konkurensi. Gunakan worker pool atau semaphore paling banyak 16 per kunci.
• Sebar pekerjaan batch dari waktu ke waktu, jangan dikirim sekaligus.
• Gunakan satu kunci per environment atau beban kerja, supaya batas dan anggaran terpisah.
• Stream jawaban yang panjang. Streaming tidak mengubah batas, tetapi memungkinkan Anda menampilkan progres selama request memakai slot konkurensinya.

Jika batas default tidak cocok dengan beban kerja Anda, kirim email ke [email protected] beserta perkiraan trafik Anda.