Phase 0 — Mesinnya: linkcpp, bidang kendali untuk mesin inferensi

mesin inferensi membawa bidang data RPC yang cakap tapi tanpa bidang kendali. linkcpp menambahkan separuh yang hilang — penemuan, perencanaan, peluncuran, dan gateway — di sekeliling binari yang dibangun dekat dengan upstream.

Semua yang dijalankan Kvasir bermula di sini. linkcpp adalah bidang kendali bersumber tersedia (Business Source License) di sekeliling bidang data RPC mesin inferensi: ia menjalankan model AI besar di banyak GPU dan mesin memakai binari ggml-rpc-server / llama-server yang dibangun dekat dengan upstream. Bidang datanya hanya membawa sekumpulan kecil patch — semua hal lain yang ditambahkan linkcpp adalah orkestrasi.

mesin inferensi sudah bisa membagi model antar mesin lewat RPC — tapi seseorang harus menemukan GPU, memutuskan lapisan mana ke mana, meluncurkan worker yang tepat dengan anggaran yang tepat, memeriksa bahwa tiap node berbicara protokol yang sama, dan mengekspos API yang benar-benar bisa dipanggil pengembang. Melakukannya manual untuk satu klaster merepotkan; melakukannya untuk jaringan terbuka berisi perangkat orang asing mustahil. Lapisan koordinasi itulah linkcpp.

browser / SDK
  → hub :19000                      # FastAPI control plane (single Docker image)
  → GPU-less llama-server master    # per-controller, :8080+
  → ggml-rpc-server workers         # local slots, remote units, managed agents

• Tiga cara mesin bergabung: slot node lokal tetap dengan anggaran VRAM/RAM/CPU yang dapat diedit; unit jarak jauh — daftarkan hub lain dan impor node-nodenya; dan agen node terkelola — layanan khusus-worker yang bergabung lewat HTTP request/response sederhana, sengaja tanpa stream persisten agar bertahan di perutean LAN/VPN sederhana.
• Gerbang kompatibilitas kelas satu: tiap unit, node, dan agen melaporkan identitas protokol/runtime-pack plus detail backend. Ketidakcocokan unit, runtime-pack, revisi mesin inferensi, dan ABI RPC diblokir keras sebelum bind, plan, load, atau infer — perbedaan backend (CUDA/Metal/Vulkan/CPU) dicatat sebagai kapabilitas, bukan penolakan.
• Planner membaca metadata GGUF dan menghasilkan penempatan lapisan bersambung per node, --tensor-split, perkiraan VRAM KV-cache/lapisan/pakar, dan offload FFN pakar opsional ke RAM.
• Gateway: tiap controller mengekspos endpoint kompatibel OpenAI (/v1/chat/completions, /v1/models) dan kompatibel Anthropic (/anthropic/v1/messages|models), ditopang model termuat yang sama — klien yang ada bekerja tanpa perubahan.

Pemisahan yang disengaja ini — bidang data yang tetap dekat dengan upstream di bawah bidang kendali bersumber tersedia — adalah fondasi semua yang menyusul: ring runtime, pasar lapisan, dan akhirnya swarm pakar semuanya adalah evolusi bidang kendali di atas komputasi yang sama.