Wong ndesa nggawe software

Tutorial Kahat Scraper

Kahat Scraper adalah software scrape marketplace yang bagian depannya kami kemas dalam bentuk chrome ekstension dan bagian backgroundnya kami menggunakan Chrome Portable untuk simulasi browser.  Perlu diketahui, hampir semua software scrape secretnya sama, menggunakan browser entah itu ditanam dalam aplikasi atau terpisah.  Kalaupun ada yang tidak kemungkinan:

1.  Informasi yang disajikan terbatas karena hanya mampu mengambil data html saja.

2.  Terlalu jenius sehingga mampu membaca dan menerjemahkan koding-koding dari programmer lain sehingga bisa langsung menembak sumber datanya.

Dan untuk poin kedua kemungkinan jarang karena hampir semua marketplace kode Javascriptnya terdiri puluhan ribu baris yang tentu saja butuh waktu yang lama untuk menerjemahkan koding/script dari programmer Marketplace.

Dalam tutorial ini kami bagi menjadi 3 bagian yaitu Instalasi, Pemakaian dan Opsi.

A. INSTALASI

Install aplikasi Kahat-Scraper seperti biasa yang bisa anda unduh di sini(password:dhahar-riyin).  Ikuti petunjuknya sampai selesai.

Kemudian buka chrome anda, klik menu di pojok kanan atas lalu klik more tools->Chrome Extensions seperti gambar berikut.

Setelah Menu Chrome extensions terbuka anda bisa centang opsi Developer Mode seperti gambar yang bertanda nomor 1 dibawah ini:

Jika sudah, klik load unpacked extensions(yang bertanda nomor 2), lalu browse ke C:\Program Files (x86)\KAHATSCRAPER\extensions (untuk Windows 64) atau C:\Program Files\KAHATSCRAPER\extensions untuk Windows 32 bit seperti gambar berikut:

Jika muncul pesan install Extensi berhasil berarti aplikasi siap digunakan.

Sebagai test anda bisa buka bukalapak.com sembarang kategori(jangan halaman depan) akan muncul gambar berikut:

 

Jika masih belum muncul anda harus refresh halaman lagi. 

 

B.  PEMAKAIAN

 

Perhatikan gambar dibawah:

 

1.  Bagian yang bernomor 1 berfungsi untuk menampilkan atau menyembunyikan tabel.

2.  Bagian nomor 2(tabel) berfungsi menampilkan data keterangan link yang akan di scrape.  Keterangan tersebut jika di klik maka akan membuka halaman sesuai link.

Tombol hapus semua berfungsi untuk menghapus semua data yang akan di scrape, sedang tombol pilih semua berfungsi untuk memilih semua link yang akan discrape dalam halaman tersebut.  Kami telah menerapkan filter sehingga:

- Link yang dipilih tidak mungkin sama.  Artinya semua link adalah unik.

- Link yang dipilih adalah link yang berisi data penjualan. Jadi tidak mungkin nyangkut ke link-link yang lain, misal link menu, account dan lain sebagainya.

 

3.  Bagian bertanda nomor 3 adalah pilihan apakah scrape berdasar pilihan atau halaman.

Perbedaan:

-  Pilihan adalah scrape berdasar data yang di isikan di tabel seperti gambar bertanda nomor 2.

- Halaman scrape berdasarkan halaman, mulai halaman current(saat ini), sampai dengan maksimal page/halaman yang diisikan di input bertanda no. 4. 

Ada beberapa poin yang perlu saya sampaikan dari opsi ini:

-  Maksimal page/halaman harus selanjutnya.  Jadi jika saat ini anda berada di halaman 3, maka maksimal page di isi 4 dan seterusnya.

- Untuk scrape berdasar halaman saya tidak menjamin sukses, karena beberapa marketplace(yang saya ketahui Tokopedia), pada beberapa halaman tertentu pola data linknya berbeda sehingga software kesulitan mendeteksinya.  Sedang scrape berdasar pilihan(dengan mengklik link yang ada atau klik Pilih Semua) 99% berjalan dengan lancar.

4.  Bagian bertanda nomor 4 adalah maksimal halaman yang akan di scrape. 

5.  Ada beberap opsi yang bisa anda pilih:

Gambar:  Jika anda menginginkan gambar langsung di unduh anda bisa centang opsi tersebut.  Adapun gambar yang diunduh filenya kami letakkan satu folder dengan hasil output scrape anda.

*Note:  

a.  Sepesial untuk Lazada, format imagenya WEBP sekalipun filenya berekstensi JPG atau JPEG.  Jika anda ingin mengupload lagi anda bisa memakai software XnvConverter untuk convert ke file gambar biasa.

b.  Tidak semua gambar bisa didownload dengan sukses, sebagian(kecil) ada yang corrupt atau ga sempurna.

Google Map:  Itu adalah pilihan untuk screenshoot Lokasi Google Map.  Tersedia untuk marketplace yang mengharuskan sellernya menampilkan lokasi semacam rumah.com atau rumah123.com.  Hasil screenshoot tersebut kami letakkan satu folder dengan hasil scrape data anda.

 

- Aktifkan Pilihan.  Jika opsi tersebut di centang maka link data pada halaman tersebut kami matikan sehingga anda bisa memilih data cukup dengan klik gambar/link yang ada.  Jika tidak dicentang maka akan kembali ke aslinya.

- Lihat Proses.  Jika dicentang maka browser untuk simulasi akan ditampilkan, jika tidak maka akan disembunyikan.  Lihat demo.  Adapun opsi tersebut punya kelebihan dan kelemahan tersendiri:

Proses Terlihat:

Kelebihan:

  • Anda bisa memantau sejauh mana progress scrape, jadi ketika terjadi error misal masalah jaringan anda bisa langsung menghentikannya.

Kelemahan:

  • Pemakaian prosessor dan memory lebih tinggi karena harus merender grafis.

Sedang jika hidden adalah kebalikannya, anda tidak tahu sejauh mana progress scrape, tapi mempunyai keuntungan yaitu pemakaian memori dan prosessorlebih rendah.

Kedua-duanya dari segi kecepatan adalah sama karena proses scrape lebih banyak tergantung oleh kecepatan jaringan,

 

C. OPSI

Untuk membuka menu Opsi anda bisa klik pojok kanan atas bericon huruf K seperti berikut:

 

 

 

 

 

 

 

 

 

 

 

 

 

Akan tampil halaman baru terdiri dari 3 tab yang  terdiri atas Template Excel, Beli script dan Info Kontak seperti berikut:

 

 

1.  Template Excel

Perlu diketahui bahwa output Kahat Scraper adalah dalam bentuk excel di mana anda bisa mensetting posisi/judul kolom sendiri.  Adapun template bawaan sudah saya sertakan bersama instalasi di folder templatereport.  Untuk melihatnya anda bisa klik tombol LOAD seperti di atas.  Setelah terbuka, edit template bawaan tadi lalu simpan sesuai dengan keinginan anda.  Setelah selesai, copas link template yang anda tadi ke textbox File template lalu klik simpan(anda bisa juga menggunakan tombol browse untuk mencari template yang anda buat). Dan berikut contoh template excel:

 

Ada beberapa hal yang perlu diperhatikan di sini:

-  Anda tidak boleh merubah isi dari cell excel yang bertanda pagar(#),.  Karena itu merupakan penanda isian data.  Yang bisa anda lakukan hanyalah memindah-mindahkannya sesuai urutan yang anda kehendaki.

-  Setelah load dan edit template jangan di klik Save di MS Excel anda langsung karena itu sama dengan menumpuk template bawaan.  Lebih baik anda save ke tempat lain.

- Jika Template yang anda simpan hilang atau berubah letaknya maka otomatis output scrape sesuai dengan template bawaan.  Jadi sekali lagi jangan mensave langsung template bawaan setelah anda edit.

  2.  Beli Script

Di menu ini anda bisa memesan script kepada saya.  Cukup klik tombol pesan, pilih Marketplace yang dikehendaki, isi token yang saya kirim via email lalu klik Aktivasi/Update Script.  Token di usahakan jangan sampai hilang karena jika terjadi pembaharuan script maka anda harus mengisinya lagi.

3.  Info Kontak.

Itu berisi informasi kontak saya sebagai developer Kahat Scraper.

 

Add new comment

(If you're a human, don't change the following field)
Your first name.

Filtered HTML

  • Web page addresses and e-mail addresses turn into links automatically.
  • Allowed HTML tags: <a> <em> <strong> <cite> <blockquote> <code> <ul> <ol> <li> <dl> <dt> <dd>
  • Lines and paragraphs break automatically.

Plain text

  • No HTML tags allowed.
  • Web page addresses and e-mail addresses turn into links automatically.
  • Lines and paragraphs break automatically.
CAPTCHA
This question is for testing whether or not you are a human visitor and to prevent automated spam submissions.
5 + 9 =
Solve this simple math problem and enter the result. E.g. for 1+3, enter 4.