Apa Itu Model Fondasi? | Blog NVIDIA

Mikrofonnya live dan kaset diputar di studio tempat Miles Davis Quintet merekam lusinan lagu pada tahun 1956 untuk Prestige Records.

Ketika seorang insinyur menanyakan judul lagu berikutnya, Davis membalas, “Saya akan memainkannya, dan memberi tahu Anda apa itu nanti.”

Seperti pemain terompet dan komposer jazz yang produktif, para peneliti telah menghasilkan model AI dengan sangat cepat, menjelajahi arsitektur dan kasus penggunaan baru. Berfokus pada membajak tanah baru, terkadang mereka menyerahkan kepada orang lain pekerjaan untuk mengkategorikan pekerjaan mereka.

Sebuah tim yang terdiri dari lebih dari seratus peneliti Stanford berkolaborasi untuk melakukan hal itu dalam makalah setebal 214 halaman yang dirilis pada musim panas 2021.

Mereka mengatakan model transformator, model bahasa besar (LLM), dan jaringan saraf lain yang masih dibangun adalah bagian dari kategori baru yang penting yang mereka sebut model dasar.

Model Pondasi Ditetapkan

Model dasar adalah jaringan saraf AI – dilatih di pegunungan data mentah, umumnya dengan pembelajaran tanpa pengawasan – yang dapat diadaptasi untuk menyelesaikan berbagai tugas, kata surat kabar itu.

“Skala dan ruang lingkup model fondasi dari beberapa tahun terakhir telah memperluas imajinasi kita tentang apa yang mungkin,” tulis mereka.

Dua konsep penting membantu mendefinisikan kategori payung ini: Pengumpulan data lebih mudah, dan peluang seluas cakrawala.

Tanpa Label, Banyak Peluang

Model dasar umumnya belajar dari kumpulan data yang tidak berlabel, menghemat waktu dan biaya untuk mendeskripsikan setiap item secara manual dalam koleksi besar.

Jaringan saraf sebelumnya disetel secara sempit untuk tugas tertentu. Dengan sedikit penyempurnaan, model pondasi dapat menangani pekerjaan mulai dari menerjemahkan teks hingga menganalisis gambar medis.

Model yayasan menunjukkan “perilaku yang mengesankan,” dan mereka sedang digunakan dalam skala besar, kata kelompok itu di situs web pusat penelitiannya yang dibentuk untuk mempelajarinya. Sejauh ini, mereka telah memposting lebih dari 50 makalah tentang model fondasi dari peneliti internal saja.

“Saya pikir kami telah mengungkap sebagian kecil dari kemampuan model fondasi yang ada, apalagi yang akan datang,” kata Percy Liang, direktur pusat tersebut, dalam pembicaraan pembukaan lokakarya pertama tentang model fondasi.

Kemunculan dan Homogenisasi AI

Dalam pembicaraan itu, Liang menciptakan dua istilah untuk menggambarkan model pondasi:

Munculnya mengacu pada fitur AI yang masih ditemukan, seperti banyaknya keterampilan baru dalam model dasar. Dia menyebut perpaduan algoritma AI dan arsitektur model homogenisasi, sebuah tren yang membantu membentuk model pondasi. (Lihat bagan di bawah.)

Lapangan terus bergerak cepat.

Setahun setelah grup menentukan model dasar, pengamat teknologi lainnya menciptakan istilah terkait — AI generatif. Ini adalah istilah umum untuk transformer, model bahasa besar, model difusi, dan jaringan saraf lainnya yang menangkap imajinasi orang karena mereka dapat membuat teks, gambar, musik, perangkat lunak, dan lainnya.

AI generatif memiliki potensi untuk menghasilkan nilai ekonomi triliunan dolar, kata eksekutif dari perusahaan ventura Sequoia Capital yang membagikan pandangan mereka dalam Podcast AI baru-baru ini.

Sejarah Singkat Model Fondasi

“Kita berada di masa di mana metode sederhana seperti jaringan saraf memberi kita ledakan kemampuan baru,” kata Ashish Vaswani, seorang wirausahawan dan mantan ilmuwan penelitian staf senior di Google Brain yang memimpin pekerjaan pada makalah mani tahun 2017 tentang transformer.

Pekerjaan itu mengilhami para peneliti yang menciptakan BERT dan model bahasa besar lainnya, menjadikan 2018 “momen penting” untuk pemrosesan bahasa alami, sebuah laporan tentang AI mengatakan pada akhir tahun itu.

Google merilis BERT sebagai perangkat lunak sumber terbuka, menelurkan keluarga tindak lanjut dan memulai perlombaan untuk membangun LLM yang lebih besar dan lebih kuat. Kemudian menerapkan teknologi tersebut ke mesin pencarinya sehingga pengguna dapat mengajukan pertanyaan dalam kalimat sederhana.

Pada tahun 2020, para peneliti di OpenAI mengumumkan trafo penting lainnya, GPT-3. Dalam beberapa minggu, orang menggunakannya untuk membuat puisi, program, lagu, situs web, dan lainnya.

“Model bahasa memiliki berbagai aplikasi yang bermanfaat bagi masyarakat,” tulis para peneliti.

Pekerjaan mereka juga menunjukkan seberapa besar dan intensif komputasi model ini. GPT-3 dilatih pada kumpulan data dengan hampir satu triliun kata, dan menggunakan 175 miliar parameter kekalahan, ukuran utama dari kekuatan dan kompleksitas jaringan saraf.

“Saya hanya ingat agak terpesona oleh hal-hal yang dapat dilakukannya,” kata Liang, berbicara tentang GPT-3 di podcast.

Iterasi terbaru, ChatGPT — dilatih dengan 10.000 GPU NVIDIA — bahkan lebih menarik, menarik lebih dari 100 juta pengguna hanya dalam dua bulan. Rilisnya disebut sebagai momen iPhone untuk AI karena membantu begitu banyak orang melihat bagaimana mereka dapat menggunakan teknologi tersebut.

Dari Teks ke Gambar

Kira-kira pada waktu yang sama ChatGPT memulai debutnya, kelas jaringan saraf lain, yang disebut model difusi, membuat heboh. Kemampuan mereka untuk mengubah deskripsi teks menjadi gambar artistik menarik pengguna biasa untuk membuat gambar luar biasa yang menjadi viral di media sosial.

Makalah pertama yang menggambarkan model difusi tiba dengan sedikit kemeriahan pada tahun 2015. Tapi seperti transformer, teknik baru ini segera terbakar.

Para peneliti memposting lebih dari 200 makalah tentang model difusi tahun lalu, menurut daftar yang dikelola oleh James Thornton, seorang peneliti AI di Universitas Oxford.

Di dalam sebuah kicauan, CEO Midjourney David Holz mengungkapkan bahwa layanan text-to-image berbasis difusi miliknya memiliki lebih dari 4,4 juta pengguna. Melayani mereka membutuhkan lebih dari 10.000 GPU NVIDIA terutama untuk inferensi AI, katanya dalam sebuah wawancara (perlu berlangganan).

Lusinan Model Digunakan

Ratusan model pondasi sekarang tersedia. Satu katalog kertas dan mengklasifikasikan lebih dari 50 model transformator utama saja (lihat bagan di bawah).

Grup Stanford membandingkan 30 model fondasi, mencatat bahwa bidang bergerak begitu cepat sehingga mereka tidak meninjau beberapa yang baru dan menonjol.

Startup NLP Cloud, anggota program NVIDIA Inception yang memelihara startup mutakhir, mengatakan bahwa mereka menggunakan sekitar 25 model bahasa besar dalam penawaran komersial yang melayani maskapai penerbangan, apotek, dan pengguna lainnya. Para ahli berharap bahwa semakin banyak model yang akan dijadikan open source di situs-situs seperti hub model Hugging Face.

Model pondasi juga semakin besar dan kompleks.

Itulah sebabnya — alih-alih membuat model baru dari nol — banyak bisnis sudah menyesuaikan model dasar yang telah dilatih sebelumnya untuk mempercepat perjalanan mereka menuju AI.

Fondasi di Cloud

Satu perusahaan modal ventura mencantumkan 33 kasus penggunaan untuk AI generatif, mulai dari pembuatan iklan hingga pencarian semantik.

Layanan cloud utama telah menggunakan model dasar selama beberapa waktu. Misalnya, Microsoft Azure bekerja dengan NVIDIA untuk mengimplementasikan transformator untuk layanan Penerjemahnya. Ini membantu pekerja bencana memahami Kreol Haiti saat mereka menanggapi gempa bumi 7,0.

Pada bulan Februari, Microsoft mengumumkan rencana untuk menyempurnakan browser dan mesin pencarinya dengan ChatGPT dan inovasi terkait. “Kami menganggap alat ini sebagai kopilot AI untuk web,” kata pengumuman itu.

Google mengumumkan Bard, layanan AI percakapan eksperimental. Ia berencana untuk memasukkan banyak produknya ke dalam kekuatan model dasarnya seperti LaMDA, PaLM, Imagen, dan MusicLM.

“AI adalah teknologi paling mendalam yang sedang kami kerjakan hari ini,” tulis blog perusahaan.

Startup Juga Mendapat Traksi

Startup Jasper mengharapkan untuk mencatat pendapatan tahunan sebesar $75 juta dari produk yang menulis salinan untuk perusahaan seperti VMware. Itu memimpin bidang lebih dari selusin perusahaan yang menghasilkan teks, termasuk Writer, anggota NVIDIA Inception.

Anggota Inception lainnya di lapangan termasuk rinna yang berbasis di Tokyo yang membuat chatbots yang digunakan oleh jutaan orang di Jepang. Di Tel Aviv, Tabnine menjalankan layanan AI generatif yang mengotomatiskan hingga 30% dari kode yang ditulis oleh sejuta pengembang di seluruh dunia.

Sebuah Platform untuk Perawatan Kesehatan

Peneliti di startup Evozyne menggunakan model dasar di NVIDIA BioNeMo untuk menghasilkan dua protein baru. Seseorang dapat mengobati penyakit langka dan yang lain dapat membantu menangkap karbon di atmosfer.

BioNeMo, platform perangkat lunak dan layanan cloud untuk AI generatif dalam penemuan obat, menawarkan alat untuk melatih, menjalankan inferensi, dan menerapkan model AI biomolekuler khusus. Ini termasuk MegaMolBART, model AI generatif untuk kimia yang dikembangkan oleh NVIDIA dan AstraZeneca.

“Sama seperti model bahasa AI yang dapat mempelajari hubungan antara kata-kata dalam sebuah kalimat, tujuan kami adalah bahwa jaringan saraf yang dilatih pada data struktur molekul akan dapat mempelajari hubungan antara atom dalam molekul dunia nyata,” kata Ola Engkvist, kepala bagian molekuler. AI, ilmu penemuan dan R&D di AstraZeneca, saat pekerjaan diumumkan.

Secara terpisah, pusat kesehatan akademik Universitas Florida berkolaborasi dengan peneliti NVIDIA untuk membuat GatorTron. Model bahasa besar bertujuan untuk mengekstrak wawasan dari data klinis dalam jumlah besar untuk mempercepat penelitian medis.

Pusat Stanford menerapkan model difusi terbaru untuk memajukan pencitraan medis. NVIDIA juga membantu perusahaan kesehatan dan rumah sakit menggunakan AI dalam pencitraan medis, mempercepat diagnosis penyakit mematikan.

Yayasan AI untuk Bisnis

Kerangka kerja baru lainnya, NVIDIA NeMo Megatron, bertujuan untuk memungkinkan bisnis apa pun membuat transformer parameter miliaran atau triliunan sendiri untuk mendukung chatbot khusus, asisten pribadi, dan aplikasi AI lainnya.

Itu menciptakan model 530-parameter Megatron-Turing Natural Language Generation (MT-NLG) yang menggerakkan TJ, avatar Toy Jensen yang memberikan bagian dari keynote di NVIDIA GTC tahun lalu.

Model dasar — ​​terhubung ke platform 3D seperti NVIDIA Omniverse — akan menjadi kunci untuk menyederhanakan pengembangan metaverse, evolusi 3D internet. Model-model ini akan mendukung aplikasi dan aset untuk pengguna industri dan hiburan.

Pabrik dan gudang sudah menerapkan model dasar di dalam digital twins, simulasi realistis yang membantu menemukan cara kerja yang lebih efisien.

Model dasar dapat memudahkan pekerjaan melatih kendaraan otonom dan robot yang membantu manusia di lantai pabrik dan pusat logistik seperti yang dijelaskan di bawah ini.

Penggunaan baru untuk model alas bedak muncul setiap hari, begitu pula tantangan dalam menerapkannya.

Beberapa makalah tentang model AI dasar dan generatif menjelaskan risiko seperti:

• memperkuat bias yang tersirat dalam kumpulan data masif yang digunakan untuk melatih model,
• memperkenalkan informasi yang tidak akurat atau menyesatkan dalam gambar atau video, dan
• melanggar hak kekayaan intelektual atas karya yang sudah ada.

“Mengingat bahwa sistem AI di masa depan kemungkinan akan sangat bergantung pada model dasar, sangat penting bagi kita, sebagai komunitas, untuk bersama-sama mengembangkan prinsip yang lebih ketat untuk model dasar dan panduan untuk pengembangan dan penerapan yang bertanggung jawab,” kata makalah Stanford tentang dasar model.

Gagasan saat ini untuk perlindungan mencakup permintaan pemfilteran dan keluarannya, mengkalibrasi ulang model dengan cepat, dan menghapus kumpulan data yang sangat besar.

“Ini adalah masalah yang sedang kami tangani sebagai komunitas riset,” kata Bryan Catanzaro, wakil presiden riset pembelajaran mendalam terapan di NVIDIA. “Agar model ini benar-benar digunakan secara luas, kami harus banyak berinvestasi dalam keselamatan.”

Ini adalah satu lagi bidang yang dibajak oleh peneliti dan pengembang AI saat mereka menciptakan masa depan.