TEKNIK SCRAPING DATA DARI WEBSITE LAIN

Web scraping merupakan sebuah teknik dalam istilah pemograman yang tugasnya adalah mengambil data-data yang ada pada suatu website dan mengumpulkannya dalam 1 wadah atau dalam 1 berkas sehingga mempermudah penggunanya untuk mencari data-data yang mereka inginkan atau memindahkannya dari suatu website ke website miliknya sendiri.
Web scraping bisa membantu Anda untuk mengumpulkan data dengan lebih cepat. Selain itu, kalau memang data yang Anda kumpulkan berjumlah besar, Anda juga bisa melakukan automation dan Anda tidak perlu repot lagi karena yang penting Anda bisa membiarkan server Anda berjalan.
Dengan efisiensi web scraping, ini juga membantu proses analisa data Anda karena membantu mengumpulkan semua data tanpa ketinggalan, Anda akan mendapat data lengkap dari proses ini.
Teknik-teknik web scraping
Dengan semakin banyaknya orang yang melakukan web scraping, ada beberapa teknik automasi yang bisa Anda lakukan untuk melakukannya.
1. Parsing HTML
Parsing HTML adalah salah satu teknik yang paling banyak digunakan dalam web parsing. Biasanya parsing HTML dilakukan melalui JavaScript dan menarget halaman HTML linear dan nested. Metode yang cepat ini mengidentifikasi script HTML dari website, yang mungkin saja dilakukan secara manual sebelumnya. Script ini kemudian digunakan untuk mengekstraksi text, links, dan data.
2. Parsing DOM
Konten,style, dan struktur file XML didefinisikan dalam DOM, kependekan dari Document Object Model. Scrapers yang ingin mengetahui cara kerja internal halaman web dan mengekstrak skrip yang berjalan di dalamnya biasa memilih untuk melakukan web scraping melalui parsing DOM.
Node spesifik dikumpulkan menggunakan parser DOM dan alat-alat seperti XPath membantu proses scraping sebuah halaman web.
3. XPath
XML Path Language atau lebih dikenal dengan istilah XPath adalah bahasa query yang bekerja di dokumen XML. Karena dokumen XML biasa disusun dengan struktur pohon (tree structure), XPath bisa digunakan untuk menavigasi struktur dokumen tersebut dengan memilih nodes berdasarkan berbagai parameter.
XPath juga bisa digunakan bersamaan dengan DOM parsing dalam mengesktrasi seluruh halaman website dan menampilkannya di website lain.
4. Google Docs
Google Sheets juga ternyata bisa digunakan sebagai alat scraping, loh! Malahan ini adalah salah satu alat scraping yang popular. Di Google Sheets sendiri, Anda bisa memanfaatkan fungsi IMPORTXML untuk melakukan scraping data dari website. Selain itu, Anda juga bisa menggunakan command ini untuk melihat apakah website Anda aman dari scraping.
Tidak hanya yang disebutkan di atas, di luar sana sudah tersedia banyak software dan layanan web scraping. Teknik-teknik yang disebutkan di atas lebih cocok bagi mereka yang ingin melakukannya sendiri.

Komentar

Posting Komentar

Postingan populer dari blog ini

Cara Scrape Lazada dengan Python

Gambar
  Cara Scrape Lazada dengan Python Web Scraping Lazada Web scrapping pada salah satu situs online shop yaitu Lazada. Data Scrapping merupakan kegiatan untuk menemukan data dan mengumpulkannya. Data diambil secara langsung dari sebuah sumber, tidak hanya dari web tetapi bisa dari berbagai sumber dimana terdapat data. Ini mencakup spreadsheets, storage devices, dll. Proses ini diperlukan untuk menyaring (filtering) dan membedakan berbagai jenis data mentah dari berbagai sumber menjadi sesuatu yang berguna dan informatif. Sedangkan web scrapping sendiri merupakan proses data scrapping yang dilakukan hanya dari sumber website.Web scrapping ini sangat berguna pada bisnis online baik itu untuk riset pasar, riset kompetitor, atau mencari leads. Namun, manfaatnya lebih dari sekedar itu. Pada artikel kali ini saya akan membahas langkah-langkah web scraping pada salah satu website online shop yang cukup terkenal yaitu Lazada. Untuk melakukan web scraping pada situs Lazada ini kita akan...
Baca selengkapnya

MENGENAL CARA KERJA KOMPUTER DAN BAHASA PEMROGRAMAN

Gambar
    Register Prosesor Register prosesor , dalam  arsitektur komputer , yaitu sebanyak kecil  memori   komputer  yang memainkan pekerjaan dengan kecepatan sangat tinggi yang dipakai sebagai menerapkan eksekusi terhadap  program-program  komputer dengan menyediakan akses yang cepat terhadap nilai-nilai yang umum dipakai. Umumnya nilai-nilai yang umum dipakai yaitu nilai yang sedang dieksekusi dalam waktu tertentu. Register prosesor berdiri pada tingkat tertinggi dalam  hierarki memori : ini berfaedah bahwa kecepatannya yaitu yang sangat cepat; kapasitasnya yaitu sangat kecil; dan harga tiap bitnya yaitu sangat tinggi. Register juga dipakai sebagai perkara yang sangat cepat dalam sistem komputer sebagai menerapkan manipulasi  data . Register umumnya diukur dengan satuan  bit  yang mampu ditampung olehnya, seperti "register 8-bit", "register 16-bit", "register 32-bit", atau "register 64-bit" dsb-nya. Istilah register ketika ini ma...
Baca selengkapnya

Analisis Model IT Menggunakan Balanced Scorecard Untuk Pengembangan Sistem Teknologi Informasi

Gambar
Abstract Information System Technology has been implemented broadly in an organization to achieve the competitive advantage. To support the business and to keep the alignment with business strategy, implementation of information system technology needs strategic plan. The performance of information system technology can measured by IT- Balance Scorecard (IT-BSC) to derived the strategic plan for future improvement which aligned with vision, mission and goals of organizations. Keywords : Information Technology, IT-Balanced Scorecard 1. Pendahuluan Dewasa ini tidak dapat dipungkiri bahwa informasi menjadi salah satu sumber daya utama pada suatu organi sasi untuk meningkatkan daya saing terhadap para pesaingnya. Oleh karena itu setiap organisasi mencoba untuk menerapkan sistem atau teknologi informasi agar dapat meningkatkan efesiensi dan efektifitas dalam proses bisnis, juga agar mampu memberikan nilai tambah yaitu berupa competiteve advantage dalam persaing...
Baca selengkapnya