Cara Web Scraping Shopee

 

Cara Web Scraping Shopee

Kali ini saya akan membahas tentang web scraping pada salah satu situs online shop yaitu shopee. Data Scrapping merupakan kegiatan untuk menemukan data dan mengumpulkannya. Data diambil secara langsung dari sebuah sumber, tidak hanya dari web tetapi bisa dari berbagai sumber dimana terdapat data. Ini mencakup spreadsheets, storage devices, dll. Proses ini diperlukan untuk menyaring (filtering) dan membedakan berbagai jenis data mentah dari berbagai sumber menjadi sesuatu yang berguna dan informatif. Sedangkan web scrapping sendiri merupakan proses data scrapping yang dilakukan hanya dari sumber website.

Web scrapping ini sangat berguna pada bisnis online baik itu untuk riset pasar, riset kompetitor, atau mencari leads. Namun, manfaatnya lebih dari sekedar itu. Pada artikel kali ini saya akan membahas langkah-langkah web scraping pada salah satu website online shop yang cukup terkenal yaitu shopee. Untuk melakukan web scraping pada situs shopee ini kita akan menggunakan bahasa pemrograman python karena bahasa python sendiri yang mudah untuk diaplikasikan serta ketersediaan library-library pendukung yang sangat melimpah. Data yang akan kita hasilkan pada proses scrapping ini berupa data json. Untuk mendapatkan data dari web shopee kita menggunakan Api yang telah tersedia pada situs shopee yang dapat kita lihat ketika kita melakukan inspect elemen pada situs website shopee.

 

Tutorial Web Scraping Shopee

Sebelum memulai tutorial kali ini pastikan anda telah menginstall python pada laptop atau pc kalian. Jika belum kalian bisa mendownloadnya terlebih dahulu melalui situs python di python.org.

Untuk memulai proses coding pertama-tama kita harus menginstall library BeautifulSoup terlebih dahulu. Untuk menginstall library BeautifulSoup dapat dilakukan dengan mengetikkan perintah pip install beautifulsoup. Berikutnya copykan script berikut pada file pyhton baru yang telah kalian buat pastikan indentasinya sudah benar agar tidak terjadi error dikarenakan python sangat sensitif terhadap indentasi. 

    1. Langkah Pertama, 




    2. Langkah kedua,  Sedikit penjelasan dari script scrapping shopee tersebut kita menggunakan 2 buah url Api. Api yang pertama kita gunakan untuk mencari toko berdasarkan ids tokonya. Url Api yang digunakan pada proses pencarian nama toko ini adalah seperti berikut ini https://shopee.co.id/api/v1/shop_ids_by_username/ Akan tetapi saat mengakses Api tersebut kita membutuhkan sebuah Http header seperti berikut ini  


    3. Setelah semuanya selesai kemudian jalankan script tersebut dengan menekan tombol run. Anda dapat mulai melakukan scrapping data dari website shoppe sekarang hanya dengan menginputkan ids nama toko pada shopee yang dapat anda lihat ketika anda membuka profile toko yang akan anda scrape datanya seperti pada gambar berikut ini:

    4. Saat program telah dijalankan kemudian enter dan tunggu proses scrapping datanya jika berhasil maka data hasil scrappingnya akan muncul data json seperti gambar di bawah ini :

    5. Maka data hasil scrappingnya akan disimpan pada folder yang sama dengan file script program python yang kita buat seperti gambar di bawah ini :


      Sekian artikel saya yang membahas tentang cara scraping shopee. Semoga bermanfaat untuk kita semua. Terima kasih.


Komentar

Posting Komentar

Postingan populer dari blog ini

Cara Scrape Lazada dengan Python

Gambar
  Cara Scrape Lazada dengan Python Web Scraping Lazada Web scrapping pada salah satu situs online shop yaitu Lazada. Data Scrapping merupakan kegiatan untuk menemukan data dan mengumpulkannya. Data diambil secara langsung dari sebuah sumber, tidak hanya dari web tetapi bisa dari berbagai sumber dimana terdapat data. Ini mencakup spreadsheets, storage devices, dll. Proses ini diperlukan untuk menyaring (filtering) dan membedakan berbagai jenis data mentah dari berbagai sumber menjadi sesuatu yang berguna dan informatif. Sedangkan web scrapping sendiri merupakan proses data scrapping yang dilakukan hanya dari sumber website.Web scrapping ini sangat berguna pada bisnis online baik itu untuk riset pasar, riset kompetitor, atau mencari leads. Namun, manfaatnya lebih dari sekedar itu. Pada artikel kali ini saya akan membahas langkah-langkah web scraping pada salah satu website online shop yang cukup terkenal yaitu Lazada. Untuk melakukan web scraping pada situs Lazada ini kita akan...
Baca selengkapnya

MENGENAL CARA KERJA KOMPUTER DAN BAHASA PEMROGRAMAN

Gambar
    Register Prosesor Register prosesor , dalam  arsitektur komputer , yaitu sebanyak kecil  memori   komputer  yang memainkan pekerjaan dengan kecepatan sangat tinggi yang dipakai sebagai menerapkan eksekusi terhadap  program-program  komputer dengan menyediakan akses yang cepat terhadap nilai-nilai yang umum dipakai. Umumnya nilai-nilai yang umum dipakai yaitu nilai yang sedang dieksekusi dalam waktu tertentu. Register prosesor berdiri pada tingkat tertinggi dalam  hierarki memori : ini berfaedah bahwa kecepatannya yaitu yang sangat cepat; kapasitasnya yaitu sangat kecil; dan harga tiap bitnya yaitu sangat tinggi. Register juga dipakai sebagai perkara yang sangat cepat dalam sistem komputer sebagai menerapkan manipulasi  data . Register umumnya diukur dengan satuan  bit  yang mampu ditampung olehnya, seperti "register 8-bit", "register 16-bit", "register 32-bit", atau "register 64-bit" dsb-nya. Istilah register ketika ini ma...
Baca selengkapnya

Analisis Model IT Menggunakan Balanced Scorecard Untuk Pengembangan Sistem Teknologi Informasi

Gambar
Abstract Information System Technology has been implemented broadly in an organization to achieve the competitive advantage. To support the business and to keep the alignment with business strategy, implementation of information system technology needs strategic plan. The performance of information system technology can measured by IT- Balance Scorecard (IT-BSC) to derived the strategic plan for future improvement which aligned with vision, mission and goals of organizations. Keywords : Information Technology, IT-Balanced Scorecard 1. Pendahuluan Dewasa ini tidak dapat dipungkiri bahwa informasi menjadi salah satu sumber daya utama pada suatu organi sasi untuk meningkatkan daya saing terhadap para pesaingnya. Oleh karena itu setiap organisasi mencoba untuk menerapkan sistem atau teknologi informasi agar dapat meningkatkan efesiensi dan efektifitas dalam proses bisnis, juga agar mampu memberikan nilai tambah yaitu berupa competiteve advantage dalam persaing...
Baca selengkapnya