Throughput NVIDIA A100 Aces, Latensi Menghasilkan Benchmark Inferensi Utama untuk Industri Jasa Keuangan
news

Throughput NVIDIA A100 Aces, Latensi Menghasilkan Benchmark Inferensi Utama untuk Industri Jasa Keuangan

GPU NVIDIA A100 Tensor Core yang berjalan di server Supermicro telah meraih hasil terdepan untuk inferensi dalam benchmark STAC-ML Markets terbaru, pengukur kinerja teknologi utama untuk industri layanan keuangan.

Hasilnya menunjukkan NVIDIA mendemonstrasikan throughput yang tak tertandingi — melayani ribuan inferensi per detik pada model yang paling menuntut — dan latensi teratas pada standar inferensi STAC-ML terbaru.

Hasilnya diikuti oleh lembaga keuangan, yang tiga perempatnya bergantung pada pembelajaran mesin, pembelajaran mendalam, atau komputasi kinerja tinggi, menurut sebuah survei baru-baru ini.

NVIDIA A100: Hasil Latensi Teratas

Tolok ukur inferensi STAC-ML dirancang untuk mengukur latensi inferensi model long-term memory (LSTM) — waktu dari menerima data input baru hingga output model dihitung. LSTM adalah pendekatan model utama yang digunakan untuk menemukan data deret waktu keuangan seperti harga aset.

Tolok ukur tersebut mencakup tiga model LSTM dengan kompleksitas yang semakin meningkat. GPU NVIDIA A100, berjalan dalam Supermicro Ultra SuperServer, menunjukkan latensi rendah pada persentil ke-99.

Komputasi yang Dipercepat untuk Tolok Ukur STAC-ML dan STAC-A2, STAC-A3

Mempertimbangkan performa A100 pada STAC-ML untuk inferensi — selain performanya yang memecahkan rekor pada benchmark STAC-A2 untuk penemuan harga opsi dan benchmark STAC-A3 untuk pengujian ulang model — memberikan gambaran sekilas tentang bagaimana komputasi NVIDIA AI dapat mempercepat pipa lingkungan perdagangan modern.

Hal ini juga menunjukkan bahwa GPU A100 menghadirkan kinerja terdepan dan keserbagunaan beban kerja untuk lembaga keuangan.

Performa yang Dapat Diprediksi untuk Latensi Rendah yang Konsisten

Performa yang dapat diprediksi sangat penting untuk lingkungan latensi rendah di bidang keuangan, karena outlier yang ekstrem dapat menyebabkan kerugian besar selama pergerakan pasar yang cepat.

Khususnya, tidak ada perbedaan besar dalam latensi NVIDIA, karena latensi maksimum tidak lebih dari 2,3x latensi rata-rata di semua LSTM dan jumlah instans model, berkisar hingga 32 instans bersamaan.1

NVIDIA adalah yang pertama mengirimkan hasil kinerja untuk apa yang dikenal sebagai benchmark Tacana Suite. Tacana untuk inferensi dilakukan pada jendela geser, di mana langkah waktu baru ditambahkan dan yang terlama dihapus untuk setiap operasi inferensi. Ini berguna untuk perdagangan frekuensi tinggi, di mana inferensi perlu dilakukan pada setiap pembaruan data pasar.

Suite kedua, Sumaco, melakukan inferensi pada kumpulan data yang sama sekali baru, yang mencerminkan kasus penggunaan saat suatu peristiwa meminta inferensi berdasarkan riwayat terkini.

Throughput Terdepan dalam Hasil Tolok Ukur

NVIDIA juga mengirimkan konfigurasi yang dioptimalkan throughput pada perangkat keras yang sama untuk Sumaco Suite dengan presisi FP16.2

Pada LSTM yang paling tidak rumit dalam tolok ukur, GPU A100 di server Supermicro membantu melayani lebih dari 1,7 juta inferensi per detik.3

Untuk LSTM yang paling kompleks, sistem ini menangani sebanyak 12.800 inferensi per detik.4

NVIDIA A100: Performa dan Keserbagunaan

GPU NVIDIA menawarkan banyak keuntungan yang menurunkan total biaya kepemilikan untuk tumpukan perdagangan elektronik.

Pertama, NVIDIA AI menyediakan satu platform untuk pelatihan dan inferensi. Baik mengembangkan, menguji ulang, atau menerapkan model AI, NVIDIA AI memberikan kinerja terdepan — dan pengembang tidak perlu mempelajari berbagai bahasa pemrograman dan kerangka kerja untuk penelitian dan perdagangan.

Selain itu, model pemrograman NVIDIA CUDA memungkinkan pengembangan, pengoptimalan, dan penerapan aplikasi di seluruh sistem tertanam yang dipercepat GPU, workstation desktop, pusat data perusahaan, platform berbasis cloud, dan superkomputer HPC.

Efisiensi untuk Pengurangan Biaya Operasional

Industri jasa keuangan memperoleh manfaat tidak hanya dari kemajuan throughput data tetapi juga peningkatan efisiensi operasional.

Pengurangan penggunaan energi dan rekaman persegi untuk sistem di pusat data dapat membuat perbedaan besar dalam biaya operasional. Itu sangat mendesak karena organisasi TI membuat kasus pengeluaran anggaran untuk menutupi sistem kinerja tinggi yang baru.

Pada model LSTM yang paling menuntut, NVIDIA A100 melebihi 17.700 inferensi per detik per kilowatt sambil mengkonsumsi 722 watt, menawarkan efisiensi energi terdepan.5

Hasil benchmark mengonfirmasi bahwa GPU NVIDIA tidak tertandingi dalam hal throughput dan efisiensi energi untuk beban kerja seperti backtesting dan simulasi.

Pelajari tentang NVIDIA memberikan layanan keuangan yang lebih cerdas dan lebih aman.

[1] SUT ID NVDA221118b, maksimal STAC-ML.Markets.Inf.T.LSTM_A.2.LAT.v1

[2] SUT ID NVDA221118a

[3] STAC-ML.Markets.Inf.S.LSTM_A.4.TPUT.v1

[4] STAC-ML.Markets.Inf.S.LSTM_C.[1,2,4].TPUT.v1

[5] SUT ID NVDA221118a, STAC-ML.Markets.Inf.S.LSTM_C.[1,2,4].ENERG_EFF.v1

Buat seperti itu kita https://nerdlybeachparty.org/ menyediakan web ini pada para pengagum togel hongkong. Sebab kita selalu membagikan hasil https://diversity-charter.com/ hk tercepat dan juga terakurat alhasil para pemeran tidak butuh menanti lama pada jam 23. 00 wib. Kemudian, bersama hasil pengeluaran hk yang kita bagikan terhadap para pemeran pastinya hasil itu kami ambil langsung dari web sah hongkongpools. Karena kami mempunyai koneksi dari web site hongkongpools https://favestendres.com/ dengan tiap pemberitahuan hasil pengeluaran hk telah singgah hingga bagan information hk yang diatas