Tidak ada solusi, satu solusi, atau banyak solusi

Tiga dataset yang masing-masing hanya memiliki dua baris dapat membuat model yang sama berperilaku dalam tiga cara yang sangat berbeda. Misalkan aturan prediksi afin adalah

$$\widehat y=wx+b,$$

dengan bilangan real $w$ dan $b$ sebagai bobot dan bias yang belum diketahui.

Dataset	Observasi pertama	Observasi kedua	Hasil pencocokan eksak
A	$(1,4)$	$(3,8)$	Satu pasangan: $(w,b)=(2,2)$
B	$(1,4)$	$(1,6)$	Tidak ada pasangan: input yang sama menuntut dua output berbeda
C	$(1,4)$	$(1,4)$	Tak terhingga banyak pasangan: baris kedua mengulang baris pertama

Dataset A mengidentifikasi kedua parameter. Dataset B bertentangan dengan model eksak. Dataset C menambahkan satu baris tetapi tidak menambahkan kendala baru. Jumlah baris saja tidak dapat memberi tahu kita berapa banyak informasi yang terkandung dalam data.

Di akhir pelajaran ini, Anda akan mampu mengenali sistem linear dua variabel yang tidak konsisten, unik, dan kurang tertentukan dari persamaan dan geometri; membenarkan setiap klasifikasi tanpa determinan atau rank matriks; serta menjelaskan arti hasilnya bagi keteridentifikasian parameter.

Hasil belajar: Mengenali sistem yang tidak konsisten, unik, dan kurang tertentukan.

Pelajaran ini dibangun di atas Pelajaran 12: Sistem Persamaan sebagai Perpotongan, di mana satu solusi harus memenuhi setiap kendala dan muncul sebagai satu titik bersama. Situs pendamping resmi Mathematics for Machine Learning mengembangkan klasifikasi tidak ada, satu, atau tak terhingga banyak solusi dalam Bagian 2.1 dan 2.3. Dataset, derivasi, kode, penjelajah, dan penilaian di sini adalah karya orisinal.

Jumlah solusi mendiagnosis informasi yang tersedia

Pertimbangkan dua persamaan dengan peubah real $u$ dan $v$. Setiap persamaan nondegenerat—persamaan yang kedua koefisien di sisi kirinya tidak sama-sama nol—menggambar satu garis pada bidang $(u,v)$. Himpunan solusi sistem adalah irisan garis-garis itu.

Ketiga kemungkinan ini bukan katalog yang harus dihafalkan. Semuanya mengikuti geometri garis. Dua garis yang tidak sejajar bertemu satu kali. Dua garis sejajar yang berbeda tidak pernah bertemu. Jika dua garis memiliki dua titik berbeda, keduanya melewati satu-satunya garis yang ditentukan oleh kedua titik itu, sehingga keduanya berimpit dan memiliki semua titik yang sama. Karena itu, dua persamaan linear dalam dua variabel tidak mungkin memiliki tepat dua, tiga, atau jumlah solusi real berhingga lain yang lebih besar dari satu.

Dalam bahasa pembelajaran mesin, parameter dapat diidentifikasi dari observasi yang diberikan ketika hanya satu pengaturan parameter yang cocok dengan observasi di bawah model yang dinyatakan. Keteridentifikasian bergantung pada informasi yang diberikan kendala, bukan semata-mata pada jumlah baris yang dikumpulkan.

Eliminasi menyingkap nilai, kontradiksi, atau identitas

Uji klasifikasi paling langsung pada tahap kursus ini adalah menggabungkan persamaan sambil mempertahankan solusi bersama. Perhatikan apa yang dinyatakan baris terakhir perhitungan.

Satu solusi menyisakan nilai untuk disubstitusikan

Selesaikan

\begin{aligned} 2u+v&=7, \tag{1}\\ u-v&=2. \tag{2} \end{aligned}

Menjumlahkan persamaan (1) dan (2) menghilangkan $v$:

$$3u=9 \iff u=3.$$

Substitusikan $u=3$ ke persamaan (2):

$$3-v=2 \iff v=1.$$

Tidak ada solusi berakhir pada kontradiksi

Sekarang pertimbangkan

\begin{aligned} u+2v&=4, \tag{3}\\ 2u+4v&=11. \tag{4} \end{aligned}

Menggandakan persamaan (3) menghasilkan $2u+4v=8$. Persamaan (4) menuntut agar sisi kiri yang identik itu sama dengan 11. Kurangi dua kali persamaan (3) dari persamaan (4) untuk membuat konfliknya eksplisit:

$$(2u+4v)-2(u+2v)=11-2(4) \iff 0=3.$$

Tidak ada nilai $u$ dan $v$ yang dapat membuat $0=3$ benar. Sistemnya tidak konsisten, kedua garisnya sejajar dan berbeda, dan himpunan solusinya adalah $\varnothing$. Perhitungan itu bukan gagal menemukan jawaban tersembunyi; perhitungan itu membuktikan bahwa tidak ada jawaban eksak.

Tak terhingga banyak solusi berakhir pada identitas

Terakhir, ambil

\begin{aligned} 3u-v&=5, \tag{5}\\ -6u+2v&=-10. \tag{6} \end{aligned}

Persamaan (6) adalah $-2$ kali persamaan (5). Menjumlahkan dua kali persamaan (5) ke persamaan (6) menghasilkan

$$(-6u+2v)+2(3u-v)=-10+2(5) \iff 0=0.$$

Identitas $0=0$ benar untuk setiap $u$ dan $v$; identitas ini tidak memberikan kendala baru. Ini tidak berarti setiap pasangan menyelesaikan sistem awal. Satu persamaan independen masih tersisa. Pilih sembarang bilangan real $t$ untuk $u$, lalu persamaan (5) memaksa $v=3t-5$:

$$(u,v)=(t,3t-5), \qquad t\in\mathbb R.$$

Untuk setiap $t$ real,

$$3t-(3t-5)=5,$$

dan mengalikan kesamaan ini dengan $-2$ memverifikasi persamaan (6). Pilihan bebas $t$ menghasilkan tak terhingga banyak solusi di sepanjang garis bersama.

Bandingkan ketiga geometri dalam satu bidang parameter

Penjelajah mempertahankan $w+b=4$ sebagai satu kendala observasi, lalu mengubah tuntutan data yang tersisa. Pilih konfigurasi dengan elemen pilihan bawaan. Garis berpindah antarstatus kecuali perangkat meminta pengurangan gerakan. Pola solid, putus-putus, dan titik menyampaikan perbedaan yang sama seperti warna, sedangkan tabel dengan caption menyatakan setiap kesimpulan tanpa bergantung pada SVG atau JavaScript.

Pilih konfigurasi observasi

Gunakan tombol panah untuk berpindah antaropsi. Grafik, status, dan tabel akan diperbarui sesuai masalah pencocokan eksak yang dipilih.

Satu solusiTidak ada solusiTak terhingga banyak solusiTiga observasi yang hampir sama

Garis berpotongan satu kali di (w, b) = (2, 2), sehingga kedua parameter dapat diidentifikasi.

Kendala 1 (solid): w + b = 4Kendala 2 (putus-putus): 2w + b = 6⊕Solusi unik (plus dilingkari)

Kendala saat ini dan alternatif semantik bagi grafik

Kendala	Persamaan	Kontribusinya
Kendala 1 (solid)	w + b = 4	Menetapkan himpunan pertama pasangan parameter yang cocok dengan observasi pertama.
Kendala 2 (putus-putus)	2w + b = 6	Berpotongan satu kali dengan garis pertama dan menetapkan kedua parameter.
Klasifikasi eksak	Unik dan konsisten
Himpunan solusi	{(2, 2)}
Makna bagi parameter model	Observasi mengidentifikasi bobot w = 2 dan bias b = 2.

Keadaan pertama yang dirender server adalah sistem unik $w+b=4$ dan $2w+b=6$, termasuk status, grafik, dan tabel semantiknya. Memilih kasus berderau menambahkan tiga kendala yang dibuat oleh observasi $(0,2)$, $(1,4)$, dan $(2,6.1)$ untuk model $\widehat y=wx+b$. Dua observasi pertama memilih $(w,b)=(2,2)$, tetapi yang ketiga menuntut $2(2)+2=6.1$, dan itu salah.

Uji koefisien tanpa membagi dengan nol

Untuk dua persamaan nondegenerat

$$\begin{aligned} a_1u+b_1v&=c_1,\\ a_2u+b_2v&=c_2, \end{aligned}$$

bandingkan pasangan koefisien $(a_1,b_1)$ dan $(a_2,b_2)$. Keduanya proporsional ketika salah satunya merupakan kelipatan real dari yang lain: ada bilangan $k$ sehingga

$$(a_2,b_2)=k(a_1,b_1).$$

Rumusan ini lebih aman daripada membandingkan $a_2/a_1$ dan $b_2/b_1$ secara terpisah, karena salah satu penyebut dapat bernilai nol.

Hubungan koefisien	Hubungan sisi kanan	Geometri	Solusi
Tidak ada pengali $k$ yang cocok dengan kedua koefisien	Tidak diperlukan	Garis tidak sejajar	Tepat satu
$(a_2,b_2)=k(a_1,b_1)$	$c_2\ne kc_1$	Garis sejajar yang berbeda	Tidak ada
$(a_2,b_2)=k(a_1,b_1)$	$c_2=kc_1$	Garis yang sama dua kali	Tak terhingga banyak

Kasus unik berarti kedua persamaan membatasi arah yang berbeda. Kasus sejajar memiliki pola sisi kiri yang sama; penskalaan sisi kiri pertama akan menghasilkan sisi kanan kedua atau menyingkap kontradiksi.

Koefisien nol tetap merupakan data biasa. Sistem

$$\begin{aligned} 0u+v&=-1,\\ u+0v&=3 \end{aligned}$$

hanyalah $v=-1$ dan $u=3$. Garis horizontal dan vertikal bertemu di titik unik $(3,-1)$. Masalahnya adalah uji rasio yang mencoba membagi dengan $a_1=0$; koefisien nol itu sendiri bukan masalah.

Jika seluruh sisi kiri bernilai nol, persamaannya degenerat dan harus dibaca langsung:

Persamaan degenerat	Makna	Dampak pada sistem yang lebih besar
$0u+0v=0$	Identitas yang benar untuk setiap pasangan real	Tidak menambahkan kendala
$0u+0v=5$	Kontradiksi yang benar untuk tidak satu pun pasangan real	Membuat sistem lengkap tidak konsisten

Misalnya, $u+v=4$ bersama $0=0$ tetap menyisakan keluarga tak terhingga $(t,4-t)$. Identitas itu tidak mengubah satu garis menjadi satu titik unik.

Keteridentifikasian menanyakan apa yang ditambahkan observasi

Kembali ke $\widehat y=wx+b$. Setiap observasi $(x_i,y_i)$ menjadi satu kendala parameter

$$x_iw+b=y_i.$$

Untuk observasi $(1,4)$ dan $(3,8)$, kendalanya adalah

$$\begin{aligned} w+b&=4,\\ 3w+b&=8. \end{aligned}$$

Pengurangan menghasilkan $2w=4$, sehingga $w=2$ dan $b=2$. Nilai input yang berbeda membuat observasi membatasi parameter dengan cara yang berbeda.

Mengulang $(1,4)$ seratus kali tetap hanya menulis $w+b=4$ seratus kali. Dataset memiliki lebih banyak baris, tetapi keluarga parameter yang diperbolehkan tetap $(w,b)=(t,4-t)$. Observasi itu tidak mengidentifikasi $w$ dan $b$ secara terpisah.

Jika input yang berulang membawa dua target, misalnya $(1,4)$ dan $(1,6)$, kendalanya menjadi $w+b=4$ dan $w+b=6$. Model afin eksak tidak dapat memenuhi keduanya. Ini adalah diagnosis pencocokan eksak, bukan bukti bahwa data tersebut tidak berguna. Noise pengukuran, label yang dibulatkan, atau model yang terlalu sederhana semuanya dapat membuat observasi nyata tidak konsisten.

Pelajaran-pelajaran berikutnya akan memperkenalkan rank sebagai kosakata untuk menghitung informasi linear yang independen. Pelajaran ini hanya memerlukan uji yang terlihat: apakah kendalanya berpotongan, bertentangan, atau berulang?

NumPy memisahkan penyelesaian eksak dari pencocokan aproksimasi

Sistem yang dikerjakan secara unik di atas dapat ditulis sebagai persamaan array. Setiap baris A berisi koefisien yang mengalikan $(u,v)$, dan setiap entri c berisi sisi kanan yang diperlukan:

import numpy as np

A = np.array([
    [2.0,  1.0],
    [1.0, -1.0],
])
c = np.array([7.0, 2.0])

solution = np.linalg.solve(A, c)
verified = np.allclose(A @ solution, c, rtol=0.0, atol=1e-12)

print("solution:", solution)
print("A @ solution:", A @ solution)
print("passes both equations:", verified)

# Three slightly inconsistent observations of y_hat = w*x + b.
x_observed = np.array([0.0, 1.0, 2.0])
y_observed = np.array([2.0, 4.0, 6.1])
design = np.column_stack((x_observed, np.ones_like(x_observed)))

approximate, _, _, _ = np.linalg.lstsq(design, y_observed, rcond=None)
predictions = design @ approximate
residuals = predictions - y_observed

print("approximate [w, b]:", np.round(approximate, 6))
print("predictions:", np.round(predictions, 6))
print("residuals:", np.round(residuals, 6))
print(
    "all three exact:",
    np.allclose(residuals, 0.0, rtol=0.0, atol=1e-12),
)

Output yang terverifikasi adalah:

solution: [3. 1.]
A @ solution: [7. 2.]
passes both equations: True
approximate [w, b]: [2.05     1.983333]
predictions: [1.983333 4.033333 6.083333]
residuals: [-0.016667  0.033333 -0.016667]
all three exact: False

Dokumentasi resmi numpy.linalg.solve menetapkan penyelesaian numerik eksak untuk sistem persegi dengan solusi unik; dokumentasi itu memunculkan LinAlgError untuk array koefisien yang singular atau tidak persegi. Error tersebut saja tidak dapat membedakan “tidak ada solusi” dari “tak terhingga banyak solusi”, karena kedua konfigurasi sejajar gagal memenuhi syarat solusi unik. Klasifikasi aljabar harus memberikan maknanya.

numpy.allclose memeriksa array dalam toleransi yang dipilih. Kode menetapkan rtol=0.0 dan toleransi absolut eksplisit karena residual acuannya nol; NumPy memperingatkan bahwa toleransi absolut default-nya tidak sesuai untuk setiap skala bilangan kecil. Pemeriksaan numerik ini mendukung derivasi eksak tetapi tidak mendefinisikan ulang kesamaan matematis.

Baris berderau tidak memiliki satu pasangan parameter eksak bersama, sehingga perhitungan kedua mengajukan pertanyaan yang berbeda. Dokumentasi numpy.linalg.lstsq menjelaskan bahwa vektor yang dikembalikan meminimalkan ukuran Euclidean residual ketika solusi eksak tidak tersedia. Nilai $(w,b)\approx(2.05,1.9833)$ menghasilkan residual kecil, bukan residual nol. Metode kuadrat terkecil akan mendapat pelajaran tersendiri nanti; di sini ia menandai batas antara menyelesaikan setiap kendala dan mengaproksimasi observasi yang tidak kompatibel.

Baris berikutnya seharusnya mengubah perpotongan

Mengklasifikasikan sistem pada akhirnya adalah pertanyaan tentang apa yang ditambahkan setiap kendala. Perpotongan menetapkan satu titik. Kontradiksi mengosongkan himpunan solusi. Pengulangan yang diskalakan menyisakan satu pilihan bebas. Bagi model AI, hasil-hasil itu berarti parameter yang dapat diidentifikasi, pencocokan eksak yang mustahil, atau parameter yang tidak dapat dibedakan oleh data.

Pelajaran berikutnya akan memberikan peran formal kepada vektor sebagai representasi data AI. Simpan diagnosis pelajaran ini: sebelum memercayai parameter yang dipulihkan, periksa apakah observasi benar-benar memilihnya secara unik.

Periksa pemahaman Anda

Pertanyaan 1

Selesaikan 2x + y = 8 dan x − y = 1. Tunjukkan mengapa sistem hanya memiliki satu solusi dan verifikasi titik tersebut dalam kedua persamaan.

Tampilkan solusi langkah demi langkah

Jumlahkan persamaan agar $y$ saling menghilangkan:

$$(2x+y)+(x-y)=8+1 \iff 3x=9 \iff x=3.$$

Substitusikan $x=3$ ke $x-y=1$:

$$3-y=1 \iff y=2.$$

Sekarang uji $(3,2)$ pada kedua persamaan awal:

$$2(3)+2=8, \qquad 3-2=1.$$

Eliminasi menetapkan $x$, substitusi menetapkan $y$, dan titik tersebut melewati kedua uji kebenaran. Jadi himpunan solusinya tepat $\{(3,2)\}$.

Pertanyaan 2

Klasifikasikan x + 3y = 5 dan 2x + 6y = 13. Turunkan pernyataan yang menentukan dan tafsirkan geometri sistemnya.

Tampilkan solusi langkah demi langkah

Sisi kiri pertama dikalikan dua menjadi $2x+6y$. Kurangi dua kali persamaan pertama dari persamaan kedua:

$$(2x+6y)-2(x+3y)=13-2(5) \iff 0=3.$$

Kontradiksi itu tidak mungkin berlaku untuk $x$ atau $y$ real mana pun. Pasangan koefisien $(2,6)$ adalah dua kali $(1,3)$, tetapi sisi kanan 13 bukan dua kali 5. Garis-garisnya sejajar dan berbeda, sehingga sistem tidak konsisten dan himpunan solusinya $\varnothing$.

Pertanyaan 3

Temukan semua solusi 4p − 2q = 6 dan −2p + q = −3. Jelaskan mengapa 0 = 0 bukan jawaban akhir.

Tampilkan solusi langkah demi langkah

Kalikan persamaan kedua dengan $-2$:

$$-2(-2p+q)=-2(-3) \iff 4p-2q=6,$$

yang merupakan persamaan pertama. Karena itu, mengeliminasi salah satunya dengan yang lain menghasilkan $0=0$, yang menunjukkan bahwa kedua persamaan mengulang kendala yang sama.

Satu kendala masih tersisa. Bagi $4p-2q=6$ dengan $2$:

$$2p-q=3 \iff q=2p-3.$$

Pilih $p=t$ untuk sembarang $t\in\mathbb R$. Maka setiap solusi adalah

$$(p,q)=(t,2t-3).$$

Identitas $0=0$ mendiagnosis redundansi; garis yang diparameterkan, bukan identitas itu sendiri, adalah himpunan lengkap solusi tak terhingga.

Pertanyaan 4

Tanpa membagi dengan koefisien nol, klasifikasikan 0x + y = 4 dan 3x + 0y = 9.

Tampilkan solusi langkah demi langkah

Baca koefisien nol secara langsung. Persamaan pertama adalah $y=4$, garis horizontal. Persamaan kedua adalah $3x=9$, sehingga membagi dengan bilangan tak nol 3 memberi $x=3$, garis vertikal.

Garis-garis itu berpotongan sekali di $(x,y)=(3,4)$. Verifikasinya adalah

$$0(3)+4=4, \qquad 3(3)+0(4)=9.$$

Sistemnya konsisten dan unik. Tidak diperlukan rasio seperti $3/0$.

Pertanyaan 5

Apa yang terjadi pada sistem x + y = 2 jika persamaan keduanya adalah (a) 0x + 0y = 0 atau (b) 0x + 0y = 7? Berikan setiap himpunan solusi.

Tampilkan solusi langkah demi langkah

Untuk bagian (a), persamaan kedua adalah $0=0$, benar untuk setiap pasangan real. Persamaan itu tidak menambahkan kendala. Garis pertama tetap ada, jadi pilih $x=t$ dan dapatkan $y=2-t$:

$$S_a=\{(t,2-t)\mid t\in\mathbb R\}.$$

Sistemnya konsisten dan kurang tertentukan, dengan tak terhingga banyak solusi.

Untuk bagian (b), persamaan kedua adalah $0=7$, salah untuk setiap pasangan real. Suatu solusi harus memenuhi kontradiksi itu bersama garis pertama, yang mustahil. Maka

$$S_b=\varnothing,$$

dan sistemnya tidak konsisten.

Pertanyaan 6

Model ŷ = wx + b menerima observasi (2, 7) sebanyak lima puluh kali. Apakah w dan b dapat diidentifikasi? Parametrisasi setiap pencocokan eksak dan jelaskan apa yang ditambahkan baris berulang.

Tampilkan solusi langkah demi langkah

Setiap observasi berulang menghasilkan kendala yang sama:

$$2w+b=7.$$

Pilih bobot secara bebas sebagai $w=t$. Maka biasnya harus

$$b=7-2t.$$

Jadi semua pencocokan eksak adalah

$$(w,b)=(t,7-2t), \qquad t\in\mathbb R.$$

Lima puluh salinan tetap menggambar satu garis parameter, sehingga ada tak terhingga banyak pasangan yang cocok. Baris-baris itu mengonfirmasi observasi yang sama tetapi tidak menambahkan kendala berbeda. Tidak satu pun parameter dapat diidentifikasi dari dataset ini saja.

Pertanyaan 7

Untuk observasi (0, 2), (1, 4), dan (2, 6.1) di bawah ŷ = wx + b, buktikan bahwa tidak ada pencocokan eksak. Lalu jelaskan apa yang dilakukan keluaran kuadrat terkecil NumPy [2.05, 1.983333] dan apa yang tidak dinyatakannya.

Tampilkan solusi langkah demi langkah

Observasi pertama memaksa $b=2$. Observasi kedua kemudian memberi

$$w+b=4 \iff w+2=4 \iff w=2.$$

Satu-satunya pasangan yang memenuhi dua baris pertama adalah $(w,b)=(2,2)$. Uji pasangan itu pada baris ketiga:

$$2w+b=2(2)+2=6\ne6.1.$$

Karena itu tidak ada pasangan parameter yang memenuhi ketiga kendala secara eksak.

Keluaran kuadrat terkecil menggunakan $w\approx2.05$ dan $b\approx1.983333$. Prediksinya kira-kira $(1.983333,4.033333,6.083333)$, dengan residual kira-kira $(-0.016667,0.033333,-0.016667)$. Nilai-nilai itu kecil tetapi tidak nol. Keluaran tersebut meminimalkan ukuran residual yang ditentukan; ia tidak mengubah sistem eksak yang tidak konsisten menjadi konsisten dan tidak menyatakan bahwa setiap observasi dicocokkan secara eksak.

Sumber

1. Mathematics for Machine Learning companion website
2. Mathematics for Machine Learning book PDF
3. NumPy documentation: numpy.linalg.solve
4. NumPy documentation: numpy.linalg.lstsq
5. NumPy documentation: numpy.allclose