Apa itu Graph Neural Network?

Ketika dua teknologi bertemu, mereka dapat menciptakan sesuatu yang baru dan luar biasa — seperti ponsel dan browser yang digabungkan untuk memalsukan smartphone.

Saat ini, pengembang menerapkan kemampuan AI untuk menemukan pola ke basis data grafik besar yang menyimpan informasi tentang hubungan di antara semua jenis titik data. Bersama-sama mereka menghasilkan alat baru yang kuat yang disebut jaringan saraf graf.

Apa itu Graph Neural Network?

Jaringan saraf grafik menerapkan kekuatan prediktif pembelajaran mendalam ke struktur data kaya yang menggambarkan objek dan hubungannya sebagai titik yang dihubungkan oleh garis dalam grafik.

Dalam GNN, titik data disebut node, yang dihubungkan oleh garis — disebut edge — dengan elemen yang diekspresikan secara matematis sehingga algoritme pembelajaran mesin dapat membuat prediksi yang berguna pada level node, edge, atau seluruh grafik.

Apa yang Dapat Dilakukan GNN?

Daftar perusahaan yang berkembang menerapkan GNN untuk meningkatkan penemuan obat, deteksi penipuan, dan sistem rekomendasi. Aplikasi ini dan banyak lagi bergantung pada menemukan pola dalam hubungan antara titik data.

Para peneliti sedang mengeksplorasi kasus penggunaan untuk GNN dalam grafik komputer, keamanan siber, genomik, dan ilmu material. Sebuah makalah baru-baru ini melaporkan bagaimana GNN menggunakan peta transportasi sebagai grafik untuk meningkatkan prediksi waktu kedatangan.

Banyak cabang ilmu pengetahuan dan industri telah menyimpan data berharga dalam basis data grafik. Dengan pembelajaran mendalam, mereka dapat melatih model prediktif yang menggali wawasan baru dari grafik mereka.

“GNN adalah salah satu area terpanas dari penelitian pembelajaran mendalam, dan kami melihat semakin banyak aplikasi yang memanfaatkan GNN untuk meningkatkan kinerjanya,” kata George Karypis, ilmuwan utama senior di AWS, dalam sebuah pembicaraan awal tahun ini.

Yang lain setuju. GNN “terbakar karena fleksibilitasnya untuk memodelkan hubungan yang kompleks, sesuatu yang tidak dapat dilakukan oleh jaringan saraf tradisional,” kata Jure Leskovec, seorang profesor di Stanford, berbicara dalam pembicaraan baru-baru ini, di mana dia menunjukkan bagan di bawah makalah AI yang menyebutkannya. .

Siapa yang Menggunakan Graph Neural Networks?

Amazon melaporkan pada tahun 2017 tentang pekerjaannya menggunakan GNN untuk mendeteksi penipuan. Pada tahun 2020, ia meluncurkan layanan GNN publik yang dapat digunakan orang lain untuk deteksi penipuan, sistem rekomendasi, dan aplikasi lainnya.

Untuk mempertahankan tingkat kepercayaan pelanggan yang tinggi, Amazon Search menggunakan GNN untuk mendeteksi penjual, pembeli, dan produk yang jahat. Menggunakan GPU NVIDIA, ia dapat menjelajahi grafik dengan puluhan juta node dan ratusan juta edge sekaligus mengurangi waktu pelatihan dari 24 menjadi lima jam.

Untuk bagiannya, perusahaan biofarmasi GSK mempertahankan grafik pengetahuan dengan hampir 500 miliar node yang digunakan di banyak model bahasa mesinnya, kata Kim Branson, kepala AI global perusahaan, berbicara di panel di bengkel GNN.

LinkedIn menggunakan GNN untuk membuat rekomendasi sosial dan memahami hubungan antara keterampilan orang dan jabatan mereka, kata Jaewon Yang, seorang insinyur perangkat lunak staf senior di perusahaan, berbicara di panel lain di lokakarya.

“GNN adalah alat untuk keperluan umum, dan setiap tahun kami menemukan banyak aplikasi baru untuk mereka,” kata Joe Eaton, insinyur terkemuka di NVIDIA yang memimpin tim yang menerapkan komputasi akselerasi ke GNN. “Kami bahkan belum mengetahui apa yang bisa dilakukan GNN.”

Dalam tanda lain dari minat GNN, video kursus tentang mereka yang Leskovec ajarkan di Stanford telah menerima lebih dari 700.000 tampilan.

Bagaimana Cara Kerja GNN?

Hingga saat ini, pembelajaran mendalam terutama berfokus pada gambar dan teks, jenis data terstruktur yang dapat digambarkan sebagai rangkaian kata atau kisi piksel. Grafik, sebaliknya, tidak terstruktur. Mereka dapat mengambil bentuk atau ukuran apa pun dan berisi jenis data apa pun, termasuk gambar dan teks.

Menggunakan proses yang disebut pengiriman pesan, GNN mengatur grafik sehingga algoritme pembelajaran mesin dapat menggunakannya.

Melewati pesan menyematkan ke setiap node informasi tentang tetangganya. Model AI menggunakan informasi yang disematkan untuk menemukan pola dan membuat prediksi.

Misalnya, sistem rekomendasi menggunakan bentuk penyematan simpul di GNN untuk mencocokkan pelanggan dengan produk. Sistem deteksi penipuan menggunakan penyematan tepi untuk menemukan transaksi yang mencurigakan, dan model penemuan obat membandingkan seluruh grafik molekul untuk mengetahui bagaimana mereka bereaksi satu sama lain.

GNN unik dalam dua cara lain: Mereka menggunakan matematika yang jarang, dan model biasanya hanya memiliki dua atau tiga lapisan. Model AI lainnya umumnya menggunakan matematika padat dan memiliki ratusan lapisan jaringan saraf.

Bagaimana Sejarah GNN?

Sebuah makalah tahun 2009 dari para peneliti di Italia adalah yang pertama memberi nama jaringan saraf graf. Namun butuh delapan tahun sebelum dua peneliti di Amsterdam menunjukkan kekuatan mereka dengan varian yang mereka sebut sebagai graph convolutional network (GCN), yang merupakan salah satu GNN paling populer saat ini.

Pekerjaan GCN mengilhami Leskovec dan dua mahasiswa pascasarjana Stanford untuk membuat GraphSage, sebuah GNN yang menunjukkan cara baru fungsi pengiriman pesan dapat bekerja. Dia mengujinya pada musim panas 2017 di Pinterest, di mana dia menjabat sebagai kepala ilmuwan.

Implementasinya, PinSage, adalah sistem rekomendasi yang mengemas 3 miliar node dan 18 miliar edge untuk mengungguli model AI lainnya saat itu.

Pinterest menerapkannya hari ini di lebih dari 100 kasus penggunaan di seluruh perusahaan. “Tanpa GNN, Pinterest tidak akan semenarik sekarang ini,” kata Andrew Zhai, insinyur pembelajaran mesin senior di perusahaan tersebut, berbicara di panel online.

Sementara itu, varian dan hibrida lain telah muncul, termasuk jaringan berulang grafik dan jaringan perhatian grafik. GAT meminjam mekanisme perhatian yang didefinisikan dalam model transformator untuk membantu GNN fokus pada bagian kumpulan data yang paling menarik.

Scaling Graph Neural Networks

Ke depan, GNN perlu ditingkatkan di semua dimensi.

Organisasi yang belum memelihara basis data grafik memerlukan alat untuk memudahkan pekerjaan membuat struktur data yang kompleks ini.

Mereka yang menggunakan basis data grafik tahu bahwa mereka berkembang dalam beberapa kasus untuk memiliki ribuan fitur yang disematkan pada satu simpul atau tepi. Itu menghadirkan tantangan untuk memuat kumpulan data besar secara efisien dari subsistem penyimpanan melalui jaringan ke prosesor.

“Kami menghadirkan produk yang memaksimalkan memori dan bandwidth komputasi serta throughput sistem yang dipercepat untuk mengatasi masalah pemuatan dan penskalaan data ini,” kata Eaton.

Sebagai bagian dari pekerjaan itu, NVIDIA mengumumkan di GTC bahwa sekarang mendukung PyTorch Geometric (PyG) selain Deep Graph Library (DGL). Ini adalah dua kerangka kerja perangkat lunak GNN yang paling populer.

Kontainer DGL dan PyG yang dioptimalkan oleh NVIDIA disesuaikan dengan kinerja dan diuji untuk GPU NVIDIA. Mereka menyediakan tempat yang mudah untuk mulai mengembangkan aplikasi menggunakan GNN.

Untuk mempelajari lebih lanjut, tonton ceramah tentang percepatan dan penskalaan GNN dengan DGL dan GPU oleh Da Zheng, ilmuwan terapan senior di AWS. Selain itu, teknisi NVIDIA mengadakan pembicaraan terpisah tentang percepatan GNN dengan DGL dan PyG.

Untuk memulai hari ini, daftar ke program akses awal kami untuk DGL dan PyG.