Vision AI Startup Menggali Kembar Digital untuk Pertambangan dan Konstruksi

Skycatch, startup yang berbasis di San Francisco, telah membantu perusahaan menambang data dan mineral selama hampir satu dekade.

Pembuat perangkat lunak sekarang menggali penciptaan kembar digital, dengan fokus awal pada industri pertambangan dan konstruksi, menggunakan platform NVIDIA Omniverse untuk menghubungkan dan membangun saluran pipa 3D khusus.

SkyVerse, yang merupakan bagian dari platform AI visi Skycatch, adalah kombinasi dari perangkat lunak visi komputer dan ekstensi Omniverse kustom yang memungkinkan pengguna untuk memperkaya dan menghidupkan dunia virtual tambang dan situs lain dengan data geospasial yang hampir real-time.

“Dengan Omniverse, kami dapat mengubah sejumlah besar data non-visual menjadi informasi visual dinamis yang mudah dikontekstualisasikan dan dikonsumsi,” kata Christian Sanz, pendiri dan CEO Skycatch. “Kita benar-benar dapat menciptakan kembali dunia fisik.”

SkyVerse dapat membantu situs industri mensimulasikan variabel seperti cuaca, mesin rusak, dan lainnya hingga lima tahun ke depan — sambil belajar dari kejadian hingga lima tahun yang lalu, kata Sanz.

Platform ini mengotomatiskan seluruh jalur visualisasi untuk lingkungan pertambangan dan konstruksi.

Pertama, ia memproses data dari drone, lidar, dan sensor lainnya di seluruh lingkungan, baik di edge menggunakan platform NVIDIA Jetson atau di cloud.

Kemudian membuat jerat 3D dari gambar 2D, menggunakan jaringan saraf yang dibangun dari model terlatih NVIDIA untuk menghapus objek yang tidak dibutuhkan seperti truk sampah dan peralatan lain dari visualisasi.

Selanjutnya, SkyVerse menggabungkan ini menjadi satu model 3D yang diubah menjadi kerangka Universal Scene Description (USD). Model master kemudian dibawa ke Omniverse Enterprise untuk menciptakan kembaran digital yang disinkronkan langsung dengan data telemetri dunia nyata.

“Simulasi mesin di lingkungan, kondisi cuaca yang berbeda, kemacetan lalu lintas — tidak ada platform lain yang memungkinkan ini, tetapi semua itu dimungkinkan di Omniverse dengan fisika hyperreal dan massa objek, yang benar-benar terobosan,” kata Sanz.

Skycatch adalah mitra utama dalam NVIDIA Inception, program global gratis yang membina perusahaan rintisan yang merevolusi industri dengan teknologi mutakhir. Mitra utama menerima dukungan go-to-market tambahan, paparan perusahaan modal ventura, dan keahlian teknis untuk membantu mereka berkembang lebih cepat.

Memproses dan Memvisualisasikan Data

Perusahaan telah menerapkan teknologi Skycatch yang sepenuhnya otomatis untuk mengumpulkan wawasan dari data udara di puluhan ribu lokasi di beberapa perusahaan pertambangan terkemuka.

Tim Skycatch pertama-tama menentukan posisi optimal sensor pengumpulan data di seluruh kendaraan tambang menggunakan platform NVIDIA Isaac Sim, alat simulasi robotik dan pembuatan data sintetis (SDG) untuk mengembangkan, menguji, dan melatih robot berbasis AI.

“Isaac Sim telah menghemat waktu pengujian kami selama satu tahun — terjun ke lapangan, menempatkan sensor, menguji cara kerjanya, dan mengulangi prosesnya,” kata Sanz.

Tim juga berencana untuk mengintegrasikan kit pengembangan perangkat lunak Omniverse Replicator ke SkyVerse untuk menghasilkan data sintetis 3D yang akurat secara fisik dan membangun alat SDG untuk mempercepat pelatihan jaringan persepsi di luar domain robotika.

Setelah data dari sebuah situs dikumpulkan, SkyVerse menggunakan perangkat edge yang didukung oleh modul NVIDIA Jetson Nano dan Jetson AGX Xavier untuk secara otomatis memproses hingga terabyte per hari dan mengubahnya menjadi analitik ukuran kilobyte yang dapat dengan mudah ditransfer ke pengguna garis depan.

Pemrosesan data ini dipercepat 3x oleh platform komputasi paralel NVIDIA CUDA, menurut Sanz. Tim juga ingin menerapkan modul Jetson Orin baru untuk kinerja tingkat berikutnya.

“Tidak mungkin secara manusiawi untuk melihat puluhan ribu gambar sehari dan mengekstrak analitik kritis dari mereka,” kata Sanz. “Jadi kami membantu memperluas penglihatan manusia dengan jaringan saraf.”

Menggunakan model terlatih dari NVIDIA TAO Toolkit, Skycatch juga membangun jaringan saraf yang dapat menghapus objek dan kendaraan asing dari visualisasi, dan memberi tekstur pada titik-titik ini dalam mesh 3D.

Model medan digital, yang memiliki presisi di bawah lima sentimeter, kemudian dapat dibawa ke Omniverse untuk pembuatan kembaran digital menggunakan kerangka kerja USD yang mudah diperluas, ekstensi SkyVerse Omniverse kustom, dan GPU NVIDIA RTX.

“Hanya membutuhkan waktu sekitar tiga bulan untuk membangun ekstensi Omniverse, terlepas dari kompleksitas kemampuan ekstensi kami, berkat akses ke pakar teknis melalui NVIDIA Inception,” kata Sanz.

Skycatch bekerja sama dengan salah satu perusahaan pertambangan terkemuka Kanada, Teck Resources, untuk menerapkan penggunaan kembar digital berbasis Omniverse untuk lokasi proyeknya.

“Teck Resources telah menggunakan mesin komputasi Skycatch di semua lokasi tambang kami secara global dan sekarang memperluas kemampuan visualisasi dan simulasi dengan SkyVerse dan strategi kembar digital kami sendiri,” kata Preston Miller, pimpinan teknologi dan inovasi di Teck Resources. “Menyampaikan data visual yang hampir real-time akan memungkinkan tim Teck untuk dengan cepat mengontekstualisasikan lokasi tambang dan membuat keputusan operasional yang lebih cepat pada proyek yang sensitif terhadap waktu dan misi yang penting.”

Ekstensi Omniverse yang dibuat oleh Skycatch akan segera tersedia — pelajari lebih lanjut.

Keamanan dan Keberlanjutan

Analisis data bertenaga AI dan kembar digital dapat membuat proses operasional untuk perusahaan pertambangan dan konstruksi lebih aman, lebih berkelanjutan, dan lebih efisien.

Misalnya, menurut Sanz, perusahaan pertambangan membutuhkan kemampuan untuk dengan cepat menemukan ujung dan puncak (atau bawah dan atas) “bangku”, sebidang tanah sempit di samping tambang terbuka. Ketika sebuah mesin otomatis masuk dan keluar dari tambang, itu harus diprogram untuk tetap 10 meter dari puncak setiap saat untuk menghindari risiko tergelincir, kata Sanz.

Sebelumnya, survei dan analisis bentang alam untuk menentukan jari kaki dan puncak yang tepat biasanya memakan waktu hingga lima hari. Dengan bantuan NVIDIA AI, SkyVerse sekarang dapat menghasilkan informasi ini dalam beberapa menit, kata Sanz.

Selain itu, SkyVerse menghilangkan 10.000 interaksi open-pit untuk pelanggan per tahun, per situs, kata Sanz. Ini adalah situasi di mana manusia dan kendaraan dapat bersinggungan di dalam tambang, menimbulkan ancaman keselamatan.

“Pada intinya, tujuan Skycatch adalah memberikan konteks dan kesadaran penuh tentang apa yang terjadi di lokasi pertambangan atau konstruksi dalam waktu dekat — dan konteks lingkungan yang lebih baik mengarah pada peningkatan keselamatan bagi pekerja,” kata Sanz.

Skycatch juga bertujuan untuk meningkatkan upaya keberlanjutan untuk industri pertambangan.

“Selain perusahaan pertambangan, organisasi pemerintah menginginkan visibilitas tentang bagaimana tambang beroperasi — apakah lingkungan sekitarnya dirawat dengan baik — dan platform kami menawarkan wawasan ini,” kata Sanz.

Plus, mineral seperti kobalt, nikel dan lithium diperlukan untuk elektrifikasi dan transisi energi. Ini semua berasal dari lokasi tambang, kata Sanz, yang bisa menjadi lebih aman dan efisien dengan bantuan kembar digital dan AI visi SkyVerse.

Selami lebih dalam teknologi untuk masa depan yang berkelanjutan bersama Skycatch dan mitra Inception lainnya di webinar sesuai permintaan, Mendukung Kesuksesan Startup Energi Dengan NVIDIA Inception.

Pencipta dan pengembang di seluruh dunia dapat mengunduh NVIDIA Omniverse gratisdan tim perusahaan dapat menggunakan platform untuk proyek 3D mereka.

Pelajari selengkapnya tentang dan mendaftar untuk bergabung dengan NVIDIA Inception.