BHP menerapkan struktur data besar untuk menghubungkan penyimpanan data di seluruh dunia – Proyek – Perangkat Lunak – Penyimpanan
Projects

BHP menerapkan struktur data besar untuk menghubungkan penyimpanan data di seluruh dunia – Proyek – Perangkat Lunak – Penyimpanan

BHP telah menghabiskan 14 bulan terakhir untuk membangun “struktur data logis” yang memudahkan untuk menemukan dan mengakses penyimpanan data dari seluruh operasinya di seluruh dunia untuk proyek berbasis data.

Penambang telah menyebarkan kluster virtualisasi data oleh Denodo di semua geografi utamanya, serta berdekatan dengan danau data berbasis cloud utamanya.

Virtualisasi data meninggalkan data dalam sistem sumber tetapi memperlihatkan “pandangan terintegrasi dari semua data kepada konsumen data”, menurut Denodo. “Saat pengguna bisnis menelusuri laporan, virtualisasi data mengambil data secara real time dari sistem sumber yang mendasarinya.”

Arsitek solusi utama BHP Joshua Fletcher mengatakan kepada konferensi Datafest 2020 Denodo bahwa penambang sebelumnya telah menyalin data secara fisik ke dalam repositori baru setiap kali dibutuhkan untuk proyek baru.

“Kami terus mengulangi upaya rekayasa yang diperlukan untuk mengakses informasi itu,” kata Fletcher.

“Sebelum ilmuwan data atau analis data kami dapat mengakses informasi ini, mereka harus mengandalkan penyerapan atau pemuatan data tersebut, meningkatkan jangka waktu pengiriman serta penundaan nilai yang akan kami dapatkan dari solusi data tersebut.

“Karena kami membuat repositori data yang berpusat pada proyek, itu berarti kami memiliki banyak salinan dari data yang sama. Itu juga meningkatkan total biaya kepemilikan kami.”

Fletcher mengatakan BHP baru-baru ini menciptakan strategi data untuk mendukung langkahnya menjadi “organisasi berbasis data”.

“Kami ingin meningkatkan cara para profesional data dalam BHP mengakses dan menggunakan informasi tersebut, serta meningkatkan kualitas data yang mereka gunakan,” katanya.

“Kami ingin menyediakan saluran data yang memungkinkan aset kami [mostly mines] dalam organisasi kami untuk memanfaatkan data yang mereka buat serta beberapa penyimpanan data global kami.

“Kami juga ingin membangun aset data yang dapat digunakan kembali yang dapat diakses banyak orang … secara tepat waktu dan efektif.”

Strategi data mengarahkan BHP untuk menyebarkan platform virtualisasi data di seluruh operasinya di seluruh dunia, yang terdiri dari sejumlah klaster Denodo yang saling berhubungan.

“Kami memiliki data mart, gudang data, dan data lake yang terlihat di seluruh organisasi,” kata Fletcher.

“Kami mengumpulkan dua klaster Denodo di Perth dan Brisbane, klaster Denodo lainnya di Houston [for the US operations], cluster keempat di pusat data Santiago kami [for BHP’s South American operations], dan kemudian kami memiliki data lake di platform cloud, jadi kami juga menempatkan cluster Denodo yang berlokasi bersama dengan data lake tersebut.

“Ini bukan kluster yang berdiri sendiri; kami ingin memastikan mereka saling berhubungan, jadi jika Anda adalah pengguna di Santiago dan Anda meminta beberapa data global yang disimpan di pusat data Houston, Anda tidak perlu tahu bahwa Anda mendapatkan data itu dari Houston.

“Pengguna hanya menanyakan cluster lokal mereka – instance Santiago – dan itu kemudian akan dapat merujuk cluster Houston untuk pergi dan meminta informasi itu.”

Fletcher mencatat model virtualisasi data masih berarti bahwa BHP harus mengirimkan data ke seluruh wilayah.

“Namun, dengan menggunakan instans Denodo lokal di masing-masing pusat data tersebut, setiap kueri dan kombinasi dari beberapa sumber data di sana akan dioptimalkan, dan kumpulan data akan digabungkan jika memungkinkan sebelum dikembalikan ke pengguna, jadi kami mengurangi keseluruhan jejak data yang kami pindahkan,” katanya.

“Ini juga berarti bahwa kami dapat membuat aset data kontekstual yang sama terlihat di setiap kluster tersebut, jadi tidak peduli salah satu dari mereka yang Anda masuki, Anda akan melihat aset data yang sama yang dapat Anda kueri.”

Platform Denodo dirancang untuk ditanyakan langsung oleh pengguna data BHP; Fletcher mengatakan bahwa “konektor desktop” dibuat “sehingga setiap pengguna dalam organisasi dapat terhubung ke platform Denodo dan menanyakannya dengan alat apa pun yang mereka inginkan.”

Selain itu, perusahaan menggunakan “pola standar dan didukung” untuk menyediakan arsitek solusi BHP dengan “konektivitas pra-bangun ke beberapa data mart dan data lake utama kami.”

Dengan platform Denodo yang membuat beberapa penyimpanan data internal sensitif lebih mudah diakses, Fletcher mengatakan bahwa keamanan dijadikan “fokus besar”.

“Karena kami ingin platform ini menangani data kami yang paling rahasia, kami memastikan bahwa kami menyiapkan enkripsi baik saat transit -sehingga setiap data yang ditransfer melalui platform Denodo dienkripsi – serta di mana pun kami menyimpan informasi itu juga dienkripsi saat istirahat,” ujarnya.

“Kami menggunakan audit ekstensif untuk memastikan bahwa kami tahu bahwa setiap pengguna yang kami log in dan dapat melaporkan kueri apa yang mereka gunakan, dan sumber data apa yang mereka sentuh.”

Fletcher mengatakan data fabric diuji pada beberapa proyek internal.

“Salah satu proyek utama yang bermitra dengan kami diperlukan untuk menghubungkan berbagai sumber data,” kata Fletcher.

“Mereka awalnya akan mengintegrasikannya ke dalam data mart.

“Itu akan menjadi jangka waktu pengiriman yang cukup lama. Ini juga berarti membuat salinan data sebelum mereka dapat membangun dasbor di atas data mart itu.

“Sebagai alternatif, kami menawarkan penggunaan virtualisasi data untuk mengakses data tersebut secara in situ. Kita tidak perlu membuat salinannya.

“Karena kami menggunakan virtualisasi data melalui Denodo, itu juga berarti bahwa kami dapat mengulangi cara kami menggabungkan informasi itu untuk disajikan ke dasbor.”

Setelah sumber terhubung ke Denodo, sumber tersebut kemudian menjadi kumpulan data mandiri yang dapat lebih mudah ditanyakan oleh tim lain.

“Kami dapat mempublikasikan data itu sebagai kumpulan data mandiri yang kemudian dapat diakses oleh pengguna lain, dan itu sejalan dengan strategi data kami dalam hal membangun aset data yang dapat digunakan kembali yang dapat diakses banyak orang,” kata Fletcher.

BHP bekerja secara langsung dengan pemilik sistem dan data untuk memuluskan jalur agar toko-toko tersebut dapat diakses melalui Denodo.

Fletcher mengatakan pendekatan itu sudah membayar dividen.

“Kami memiliki contoh yang sangat bagus dari proyek ini di mana salah satu pemilik data mulai mengarahkan semua permintaan baru untuk data yang sama melalui platform virtualisasi data,” katanya.

“Mereka berkata, ‘Saya telah menerbitkannya di sana, persis seperti yang saya inginkan, dan diamankan dengan cara yang paling tepat’, jadi semua pengguna sekarang diarahkan ke sana.

“Kami pikir itu adalah kemenangan yang sangat hebat.”

Posted By : togel hari ini hongkong yang keluar