Seperti teman lama yang mengobrol sambil minum kopi, dua ikon industri merefleksikan bagaimana AI modern dimulai, di mana saat ini dan ke mana harus melangkah selanjutnya.
Jensen Huang, pendiri dan CEO NVIDIA, mewawancarai perintis AI Ilya Sutskever dalam obrolan di depan api unggun di GTC. Pembicaraan itu direkam sehari setelah peluncuran GPT-4, model AI paling kuat hingga saat ini dari OpenAI, perusahaan riset yang didirikan bersama oleh Sutskever.
Mereka berbicara panjang lebar tentang GPT-4 dan pendahulunya, termasuk ChatGPT. Model AI generatif itu, meski baru berumur beberapa bulan, sudah menjadi aplikasi komputer paling populer dalam sejarah.
Pembicaraan mereka menyentuh kemampuan, batasan, dan cara kerja jaringan saraf dalam yang menangkap imajinasi ratusan juta pengguna.
Dibandingkan dengan ChatGPT, GPT-4 menandai “peningkatan yang cukup substansial di banyak dimensi,” kata Sutskever, mencatat model baru dapat membaca gambar serta teks.
“Dalam beberapa versi mendatang, [users] mungkin mendapatkan diagram kembali” sebagai tanggapan atas pertanyaan, katanya.
Di Bawah Kap Dengan GPT
“Ada kesalahpahaman bahwa ChatGPT adalah salah satu model bahasa yang besar, tetapi ada sistem di sekitarnya,” kata Huang.
Sebagai tanda kerumitan itu, Sutskever mengatakan OpenAI menggunakan dua tingkat pelatihan.
Tahap pertama berfokus pada memprediksi kata berikutnya dalam rangkaian secara akurat. Di sini, “apa yang dipelajari jaringan saraf adalah representasi dari proses yang menghasilkan teks, dan itu adalah proyeksi dunia,” katanya.
Yang kedua “adalah tempat kami berkomunikasi dengan jaringan saraf apa yang kami inginkan, termasuk pagar pembatas … sehingga menjadi lebih andal dan tepat,” tambahnya.
Hadir pada Penciptaan
Sementara dia berada di pusat AI modern saat ini, Sutskever juga hadir pada penciptaannya.
Pada tahun 2012, dia termasuk orang pertama yang menunjukkan kekuatan jaringan saraf dalam yang dilatih pada kumpulan data masif. Dalam sebuah kontes akademik, model AlexNet yang dia demonstrasikan bersama pelopor AI Geoff Hinton dan Alex Krizhevsky mengenali gambar lebih cepat daripada kemampuan manusia.
Huang menyebut pekerjaan mereka sebagai Big Bang of AI.
Hasilnya “memecahkan rekor dengan margin yang begitu besar, jelas ada diskontinuitas di sini,” kata Huang.
Kekuatan Pemrosesan Paralel
Bagian dari terobosan itu berasal dari pemrosesan paralel yang diterapkan tim pada modelnya dengan GPU.
“Set data ImageNet dan jaringan saraf convolutional sangat cocok untuk GPU yang membuatnya sangat cepat untuk melatih sesuatu yang belum pernah terjadi sebelumnya,” kata Sutskever.
Pekerjaan awal tersebut berjalan pada beberapa GPU GeForce GTX 580 di lab Universitas Toronto. Saat ini, puluhan ribu GPU NVIDIA A100 dan H100 Tensor Core terbaru dalam layanan cloud Microsoft Azure menangani pelatihan dan inferensi pada model seperti ChatGPT.
“Dalam 10 tahun kita sudah mengenal satu sama lain, model yang telah Anda latih [have grown by] sekitar satu juta kali,” kata Huang. “Tidak seorang pun dalam ilmu komputer akan percaya perhitungan yang dilakukan pada waktu itu akan menjadi sejuta kali lebih besar.”
“Saya memiliki keyakinan yang sangat kuat bahwa lebih besar lebih baik, dan tujuan di OpenAI adalah untuk meningkatkan skala,” kata Sutskever.
Satu Miliar Kata
Sepanjang jalan, keduanya berbagi tawa.
“Manusia mendengar satu miliar kata seumur hidup,” kata Sutskever.
“Apakah itu termasuk kata-kata di kepalaku sendiri,” balas Huang.
“Jadikan 2 miliar,” kata Sutskever datar.
Masa Depan AI
Mereka mengakhiri pembicaraan selama hampir satu jam yang membahas prospek AI.
Ditanya apakah GPT-4 memiliki kemampuan penalaran, Sutskever menyarankan istilah tersebut sulit untuk didefinisikan dan kemampuannya mungkin masih ada di depan mata.
“Kami akan terus melihat sistem yang mengejutkan kami dengan apa yang dapat mereka lakukan,” katanya. “Perbatasannya adalah keandalan, sampai pada titik di mana kita dapat mempercayai apa yang dapat dilakukannya, dan jika ia tidak mengetahui sesuatu, ia mengatakan demikian,” tambahnya.
“Pekerjaan Anda luar biasa… sungguh luar biasa,” kata Huang menutup sesi. “Ini telah menjadi salah satu yang terbaik di luar Ph.D. deskripsi seni model bahasa besar,” katanya.
Untuk mendapatkan semua berita dari GTC, tonton keynote di bawah ini.
Buat layaknya itu kami https://portugal-farmacias.life/ sedia kan web ini terhadap para penggemar togel hongkong. Sebab kita senantiasa membagikan hasil https://laseronsale.com/ hk tercepat dan juga terakurat alhasil para pemeran tidak butuh tunggu lama pada jam 23. 00 wib. Kemudian, bersama dengan hasil pengeluaran hk yang kita bagikan pada para pemeran tentunya hasil itu kami ambil segera berasal dari website sah hongkongpools. Karena kami membawa koneksi dari situs hongkongpools https://yeclanodeportivo.com/ bersama dengan tiap pemberitahuan hasil pengeluaran hk udah datang sampai bagan information hk yang diatas
