Bridge

Wajah HTTP mesin inferensi: apa yang termuat, siapa yang berkontribusi, dan completion — dan tidak lebih dari itu.

Bridge adalah satu-satunya hal yang diajak bicara gateway penyelesaian untuk inferensi. Ia adalah sebuah OUTER dalam istilah p4: ia memasang sesi melintasi stage-stage model, mengirim permintaan ke stage kepala, mengumpulkan aliran token, lalu melaporkan kontribusi tiap node. Ia tak memiliki penempatan, tak memiliki penjadwalan, dan tak menyimpan status apa pun di luar katalog apa yang termuat — sengaja dibuat kecil, karena segala yang tidak diputuskannya adalah sesuatu yang tak bisa menyimpang.

Setiap rute kecuali /api/health memerlukan service token bersama, dikirim sebagai X-Kvasir-Service-Token. Token itu adalah satu-satunya yang berdiri di antara internet terbuka dan pemakaian ring secara cuma-cuma, dan itulah sebabnya bridge mengikat loopback serta dijangkau lewat terowongan alih-alih dipublikasikan.

• Template chat. p4 menyerahkan prompt buram ke stage server dan tak menerapkan format giliran apa pun. Bridge merender format milik model — dibaca dari GGUF dan disebut di katalog sebagai prompt_format. Lewati itu dan model instruct akan melanjutkan teks Anda alih-alih menjawabnya, tak pernah memancarkan token akhir-gilirannya, dan setiap kali berjalan sampai batas token.
• Blok penalaran. Model penalaran membuka jawabannya dengan berpikir. Bridge mengembalikan itu sebagai reasoning_content, terpisah dari content, dan menghormati enable_thinking: false dengan menutup bloknya di dalam prompt — jika tidak, sesi berpikir yang panjang bisa melahap seluruh anggaran dan menyerahkan jawaban kosong kepada pemanggil yang sudah membayarnya.

Meminta bridge melayani sebuah model menghasilkan 409. Lapisan mana duduk di GPU mana, pada load generation berapa, berasal dari rencana penempatan yang ditulis dan dimuat seorang operator; tak ada muat-ulang jarak jauh yang bisa dilakukan. Watchdog ring gateway mempelajari ini sekali lalu berhenti bertanya alih-alih mencoba ulang sesuatu yang memang tak bisa berhasil.