Tagihan Reproduksibilitas: 918 Paper AI Memetakan Biaya Artefak yang Hilang
Studi terhadap 918 paper memetakan biaya mereproduksi riset AI. Gunakan temuannya untuk menganggarkan kode, data, komputasi, dan waktu reviewer.
Tag
#evaluation
9artikeldengan tag ini.
ChatGPT Menaikkan Nilai Tugas. Studi Bocconi Tidak Mengukur Pembelajaran
Uji coba terhadap 1.053 mahasiswa menemukan ChatGPT meningkatkan skor rekomendasi, tetapi metrik orisinalitasnya bersifat komputasional dan studi tersebut tidak mengukur pembelajaran berikutnya.
API Foundation Models Apple Menyembunyikan Tiga Batas Trust yang Berbeda
API sesi Swift bersama milik Apple dapat menjangkau model on-device, Private Cloud Compute, atau provider lain, tetapi tiap jalur berbeda dalam privasi, kapasitas, dan ketersediaan.
Pensiunnya Model GitHub Copilot Menunjukkan Mengapa Model Fallback Itu Sementara
Enam model Copilot pensiun pada 1 September, dan satu pengganti yang disarankan pensiun sembilan hari kemudian. Nama produknya lebih stabil daripada katalog modelnya.
Google HEIR Membuat Private Inference Dapat Dikompilasi, Bukan Otomatis Praktis
Compiler HEIR dari Google dapat menerjemahkan beberapa model menjadi komputasi terenkripsi, tetapi ekspansi ciphertext, memori, latensi, dan perubahan model tetap menentukan.
Sentence Transformers v6 Mempermudah Late Interaction, Bukan Membuatnya Lebih Murah
Sentence Transformers v6 menambahkan retrieval multi-vector, sementara hasilnya sendiri menunjukkan kenaikan kualitas rata-rata yang moderat di samping biaya penyimpanan yang jauh lebih besar.
Penghindaran Contrail AI Google Beralih ke Uji Coba Wilayah Udara
Operation Blue Skies akan menguji apakah perubahan ketinggian yang dipandu AI mengurangi contrail yang menghangatkan di wilayah udara Atlantik Utara yang sibuk, bukan hanya pada penerbangan terpilih.
Transfer Cache KV Lintas Model Cepat—dan Mengejutkan: Sangat Spesifik pada Pasangan
Peneliti NVIDIA melaporkan percepatan komponen 25× untuk satu pemetaan cache KV, sementara beberapa pasangan model lain kehilangan sebagian besar akurasi tugas model target.
Sesi Debug 24 Patch Linus Torvalds Menunjukkan Di Mana AI Membantu—dan Gagal
Asisten AI membantu mengiterasi 24 patch debug dan 18 boot, tetapi berulang kali mendesak Linus Torvalds menghentikan investigasi sebelum bukti menemukan bug tersebut.