Visual Studio Mudah Menghubungkan Model. Reliabilitas Agent Tetap Perlu Diuji
Visual Studio 18.10 Insiders dapat menghubungkan model lokal dan hosted ke mode Agent, tetapi satu uji langsung menunjukkan bahwa endpoint yang tersedia tidak berarti pekerjaan coding yang andal.
Microsoft telah memasukkan Bring Your Own Model (BYOM) ke pengalaman Agent baru di Visual Studio 18.10 Insiders. Developer dapat menghubungkan Microsoft Foundry, OpenAI, Anthropic, atau Ollama, lalu memilih model yang ditambahkan dari model picker Visual Studio. Ini membuat penyiapan provider lebih mudah. Namun, hal itu tidak membuktikan bahwa setiap model yang dapat dipilih bisa secara andal memeriksa repository, memanggil tool, mengedit file, dan pulih dari kegagalan.
BYOM adalah lapisan koneksi, bukan sertifikat kompatibilitas. Reliabilitas bergantung pada build Visual Studio yang tepat, endpoint, revisi model, kapabilitas tool, tipe project, dan set tugas. Koneksi yang berhasil hampir tidak memberi informasi tentang bagaimana kombinasi lengkap itu akan berperilaku saat melakukan pekerjaan agent yang nyata.
Kehati-hatian ini bukan hipotesis. Dalam satu uji hands-on independen, model Qwen3:4b lokal yang terhubung melalui Ollama menjawab pertanyaan dasar tentang project, tetapi gagal menyelesaikan tugas coding kecil setelah 25 menit. Claude Sonnet 4.6 menyelesaikan edit dan build yang sama dalam hitungan detik. Satu uji tidak dapat menentukan peringkat kedua keluarga model; uji itu menunjukkan mengapa koneksi yang berhasil dan coding agent yang dapat diandalkan adalah hasil yang berbeda.
Apa yang sebenarnya dihubungkan Visual Studio BYOM
Pengumuman BYOM Microsoft pada 24 Agustus menempatkan preview ini di Visual Studio 18.10 Insiders dan Agent baru (Preview), yang menggunakan harness bertenaga GitHub Copilot SDK. Fitur ini aktif secara default di edisi preview Community, Professional, dan Enterprise. Model picker dapat menambahkan provider Microsoft Foundry, OpenAI, Anthropic, dan Ollama, dan alurnya berfungsi baik ketika developer masuk ke GitHub maupun tidak.
“Bring your own model” tidak berarti mengimpor file bobot model ke Visual Studio. IDE menghubungkan harness agent-nya ke provider atau endpoint. Model lokal dapat berpartisipasi ketika software seperti Ollama menyajikannya melalui endpoint yang kompatibel, sedangkan provider hosted biasanya memerlukan kredensialnya sendiri.
Preview saat ini juga menggantikan pengalaman BYOM sebelumnya di mode Ask dan Agent lama. Microsoft mengatakan model yang sebelumnya ditambahkan harus ditambahkan lagi. Panduan pemilihan model Visual Studio 17.14 yang lama (bahasa Inggris), yang terakhir diperbarui pada 2025, menjelaskan daftar provider dan batas Business serta Enterprise yang berbeda. Panduan itu tidak boleh diperlakukan sebagai acuan untuk preview 18.10.
| Permukaan preview | Yang didukung sumber saat ini | Yang masih perlu diverifikasi |
|---|---|---|
| Rilis Visual Studio | 18.10 Insiders dengan Agent baru (Preview) | Nomor build yang tepat dan apakah pembaruan mengubah perilaku provider |
| Provider | Microsoft Foundry, OpenAI, Anthropic, dan Ollama | Model dan kapabilitas yang tersedia dan diekspos oleh setiap endpoint |
| Kapabilitas agent | Model dapat muncul di model picker Agent | Penggunaan tool, penanganan konteks, edit, pengujian, dan pemulihan pada tugas tim |
| Kompatibilitas | Visual Studio menampilkan sebagian informasi kapabilitas model | Microsoft secara eksplisit tidak mensertifikasi setiap kombinasi model-provider |
| Kontrol enterprise | BYOM hadir dalam preview Professional dan Enterprise | Kebijakan penonaktifan dan manajemen model terpusat masih direncanakan, belum tersedia |
Ada juga ketidakcocokan dalam dokumentasi yang masih aktif. Pengumuman mengatakan URL kustom didukung untuk OpenAI dan Ollama. Release notes Insiders Microsoft, yang diperbarui pada 25 Agustus, mengatakan dukungan endpoint kustom untuk provider tersebut masih akan hadir. Catatan yang sama menyebut model Ollama yang ditambahkan di Insiders 1 harus ditambahkan lagi di Insiders 2 setelah perubahan backend.
Konflik ini merupakan risiko preview, bukan detail yang boleh dihaluskan. Catat build yang tepat dan uji jalur endpoint, alih-alih menjanjikan kepada tim bahwa “18.10 mendukung URL kustom” secara abstrak.
Satu uji lokal-versus-hosted menunjukkan batas sebenarnya
Uji hands-on Visual Studio Magazine menggunakan aplikasi Blazor .NET 10 standar. Visual Studio menemukan tujuh model dari server Ollama lokal dan menandai perbedaan kapabilitas di picker. Penguji memilih Qwen3:4b karena Visual Studio mengidentifikasinya sebagai model yang mendukung tool.
Model lokal secara umum mengidentifikasi project tersebut, meskipun salah menyebutkan sebagian struktur aplikasi. Pada tugas kedua—menambahkan tombol reset ke penghitung contoh—model membaca file target dan mulai menggunakan tool Agent, tetapi menjadi bingung oleh instruksi, isi file, dan hasil tool. Penguji menghentikan run setelah sekitar 25 menit tanpa edit yang selesai.
Claude Sonnet 4.6 kemudian menyelesaikan perubahan yang sama, berhasil melakukan build project, dan mengonsumsi 0,9 kredit Copilot menurut laporan tersebut. Perbandingan itu hanya mengendalikan satu revisi model, satu project kecil, satu tugas, satu mesin lokal, dan satu run hosted. Perbandingan itu tidak mengendalikan hardware, konstruksi konteks, pengaturan inferensi, atau variasi run berulang. Karena itu, kesimpulannya hanya sempit: endpoint lokal berfungsi, sedangkan konfigurasi model tersebut gagal menyelesaikan tugas agent itu.
Inilah celah yang perlu diukur oleh tim. Pekerjaan agent bukan chat biasa. Model harus menafsirkan skema tool, memisahkan tujuan pengguna dari output file dan tool, memilih tindakan berikutnya, mendeteksi error, dan berhenti dengan hasil yang dapat diverifikasi. Model yang dapat merangkum kode secara akurat tetap bisa gagal ketika harness menambahkan beberapa putaran state dan umpan balik tool.
Prinsip yang sama berlaku untuk penentuan ukuran hardware. Model lokal yang muat di memori tetap dapat terlalu lambat atau tidak cukup andal untuk workflow yang dimaksud; analisis deployment lokal Qwen menjelaskan mengapa bobot, konteks, state runtime, dan penerimaan tugas harus diukur bersama.
Model picker menunjukkan pilihan, bukan kapabilitas yang setara
Hasil hands-on itu memperjelas perbedaannya: Visual Studio dapat menemukan model lokal dan mengekspos tool Agent, tetapi konfigurasi tersebut tidak menyelesaikan edit kecil setelah sekitar 25 menit. Kompatibilitas endpoint itu nyata; reliabilitas agent tidak otomatis mengikutinya.
Satu tugas tidak dapat menentukan peringkat model lokal dan hosted, dan laporan tersebut tidak mengendalikan hardware, konstruksi konteks, pengaturan inferensi, atau variasi run berulang. Namun, laporan itu menunjukkan mengapa model picker adalah awal evaluasi, bukan bukti bahwa setiap model yang tercantum dapat menggunakan tool yang sama dengan reliabilitas yang sama.
Tata kelola preview masih belum lengkap
Microsoft sebagian memperkenalkan BYOM sebagai cara menggunakan model yang disetujui dan endpoint privat. Itu dapat meningkatkan kontrol, tetapi preview saat ini tidak otomatis membuktikan ke mana setiap byte pergi. Tim perlu memverifikasi log provider, autentikasi endpoint, pengindeksan repository, telemetri, penyimpanan secret, serta layanan apa pun yang masih berada di luar jalur model yang dipilih.
Microsoft mengatakan kebijakan ADMX untuk menonaktifkan BYOM bagi pengguna Professional dan Enterprise direncanakan untuk rilis general availability 18.10. Konfigurasi model terpusat, kontrol konteks dan tool yang lebih terperinci, deteksi kompatibilitas yang lebih cerdas, dan integrasi Foundry yang lebih dalam juga masih menjadi pekerjaan mendatang. Sampai kontrol tersebut dikirim dan diverifikasi, kemunculannya di SKU Enterprise tidak boleh disamakan dengan tata kelola terpusat.
Kontrol administratif yang belum ada itu penting karena pilihan provider hanya bertahan selama endpoint, model, dan kebijakan yang dipilih tetap tersedia. Analisis pensiun model Copilot (bahasa Indonesia) menunjukkan betapa cepat katalog itu dapat berubah di balik nama produk yang stabil.
Pilihan adalah fiturnya; reliabilitas adalah keputusan deployment
Visual Studio BYOM mengurangi hambatan untuk menempatkan deployment lokal atau provider lain di balik interface Agent yang sama. Ini bernilai untuk eksperimen, pengendalian biaya, spesialisasi, dan pilihan batas data. Fitur ini juga memindahkan lebih banyak tanggung jawab validasi model dan endpoint kepada developer atau organisasi.
Bukti berikutnya yang perlu dipantau bukan jumlah model yang ditampilkan di picker. Yang perlu dipantau adalah apakah Microsoft menutup celah dokumentasi endpoint kustom, mengirimkan kontrol administratif yang dijanjikan, dan meningkatkan deteksi kapabilitas—serta apakah pengujian berulang yang spesifik terhadap build menunjukkan model yang dipilih dapat menyelesaikan pekerjaan nyata tim tanpa pemulihan yang tidak aman atau mahal.