Sebuah sistem yang berjalan di sebuah instansi atau pun perusahaan telah menjalani perkembangan yang sangat signifikan, terutama dengan keberadaan internet.
Hal ini yang membuat seluruh dunia terkoneksi secara real-time (atau near real-time).
Perkembangan ini bukan hanya di sisi teknologinya saja yang menjadi infrastruktur dari sistem tersebut.
Melainkan juga kompleksitas yang semakin tinggi pada setiap sistem dengan banyaknya fungsi-fungsi yang berdiri sendiri dalam bentuk Aplikasi.
Dengan munculnya arsitektur sistem atau aplikasi yang banyak ini, perusahaan atau sebuah instansi, tentunya butuh sebuah data yang komprehensif untuk mengambil keputusan yang tepat dan efisien.
Lalu bagaimana jika pada sistem yang mereka punya, fungsi-fungsi atau masing-masing bagian dari perusahaan tersebut (Finance, Sales, Marketing, HR, dst) memiliki aplikasi sendiri-sendiri.
Di sini sebuah metode bernama integrasi berperan.
Integrasi pada sebuah sistem berarti menghubungkan data antar sistem. Integrasi pada sebuah sistem biasanya terjadi pada dua level, yaitu pada level aplikasi dan data.
Pada level aplikasi, data tidak akan berpindah, namun jika sebuah aplikasi membutuhkan data dari aplikasi lainnya.
Maka aplikasi tersebut tinggal meminta ke aplikasi pada pemilik data tersebut.
Dan pada level data, data pada aplikasi tertentu dipindahkan dengan metode tertentu ke aplikasi yang membutuhkan data tersebut.
Integrasi ETL vs ELT
Metode yang cukup populer dalam integrasi di level data adalah ETL (Extract, Transform, Loading) dan EL-T (Extract-Loading, Transform).
ETL, sudah lebih terkenal duluan dalam dunia integrasi data. ETL adalah metode di mana sebuah proses integrasi data melakukannya melalui tahapan Extract.
Yaitu mengambil data dari sumbernya (bisa dari database, file csv, file txt, excel, dan lain sebagainya).
Lalu melakukan penyesuaian terhadap data di tahap Transform (bisa jadi di-cleansing datanya, di-lookup ke sebuah referensi, atau diseragamkan bentuk datanya).
Dan hasil dari dua proses pertama ini masuk ke target pada proses Loading.
Sehingga target ini bisa berupa database, file csv, atau pun big data platform seperti hadoop.
Lalu dengan berkembangnya sebuah teknologi, ada lagi metode integrasi data yang hanya melakukan switch tahapan Transform dengan Loading.
Jadi integrasi data dengan metode ini adalah melakukan Extract (mengambil data dari sumber) lalu Loading (memasukkan data ke target) lalu melakukan proses Transform sesuai dengan kebutuhan pada target.
Metode ini meminimalisir proses yang terjadi di Transform yang tadinya menjadi tanggung jawab tools integrasi data, menjadi beban bersama antara target sistem dan tools integrasi data. Sehingga proses Transform menjadi lebih cepat.
Tools Intergrasi Data
Dalam dunia teknologi, terdapat beberapa tools integrasi data.
Seperti yang dapat ada pada gambar di bawah (magic quadrant gartner : Data Integration Tools), di posisi Leader ada dua merk terkenal di teknologi integrasi data yaitu Oracle (Oracle Data Integrator) dan Talend (Talend Data Integration).
Lalu ada juga tools yang open-source dan cukup populer yaitu Pentaho (Hitachi Vantara) di kuadran Niche.
