Beranda > Oprexz, web/blog > Crawler bot lokal buatan anak bangsa, awas jatuh ketangan yang salah

Crawler bot lokal buatan anak bangsa, awas jatuh ketangan yang salah

Wah, tadi saya penasaran liat salah satu comment di shoutbox.

tulisannya:

JUDOTENSLAB “blog ini baru saja dilalui oleh uji coba web crawler judotenslab.”

setelah saya telusuri url pengirimnya, saya rada² tidak percaya membaca postingan di blog tersebut sbb:

Halo bloggers,

Selamat siang semuanya..

Sejak aktif kembali menulis blog beberapa hari ini, saya merasakan satu hal yang lumayan cape untuk dilakukan, yaitu : blogwalking. Blogwalking yang saya lakukan biasanya mungkin disebut nyampah oleh para blogger. Mengapa? Karena blogwalking yang dilakukan hanya sekedar ‘jalan-jalan’ ini bertujuan mengunjungi berbagai blog dan mencari kotak ShoutBox-nya dan kemudian meninggalkan jejak disana. Tidak seperti para blogger yang memang berniat membangun good relationship dengan mengomentari artikel dari blog yang bersangkutan.

Lalu apa hubungannya dengan sebuah Web Crawler?

Setelah merasa cape blogwalking seharian, saya terpikirkan untuk membuat sebuah bot yang berfungsi menggantikan pekerjaan saya, yaitu blogwalking dan meninggalkan jejak di ShoutBox para blogger. Hmm, PR yang menantang dan menarik untuk diimplementasikan bukan?

Awalnya kode ini saya mau buat dilingkungan PHP atau VB saja, namun karena adanya keterbatasan – dan kekurangan di tiap bahasa tersebut akhirnya saya lebih memilih PERL sebagai landasan programmingnya.

Dua jam berkutat dengan PERL dan dengan hanya bermodalkan google dan pengalaman minim di PERL, akhirnya script ini pun selesai dikerjakan. Yap, walaupun masih beta -tapi Web Crawler yang saya buat ini sudah memiliki fungsi utamanya, yaitu menjelajah blog – blog dan kotak ShoutBox.

Web Crawler / Web Spider ini saya coba running test ( web pertama yang dijelajahi adalah http://judotenslab.blogspot.com ) pada hari Minggu, 17 May 2009 Pukul. 21.55 WIB dan masih terus berjalan sampai sekarang. So far, pada hari ini (Senin, 18 May 2009 Pukul. 13:16 WIB) total web yang dicrawler sudah mencapai : 6408 website dan menemukan sekitar 2350 kotak ShoutBox milik para bloger dalam kurun waktu 15 Jam, 10 Menit.

Hasil yang cukup memuaskan bukan? Namun sedikit disayangkan Web Crawler judotenslab ini berjalan di server kosan yang menggunakan koneksi TELKOM SPEEDY dengan kecepatan standar. Bisa dibayangkan apabila saya mendapatkan donatur yang mau meminjamkan server berkecepatan tinggi-nya untuk melakukan test Web Crawler Performance ini, mungkin hasil yang didapat akan jauh berkali lipat.

Setelah melihat hasil yang cukup memuaskan, saya malah kepikiran untuk memanfaatkan Web Crawler saya ini sebagai modal utama membuat Search Engine sendiri. Yah, setidaknya Search Engine khusus blog lokal-lah. Tapi tentu tidak segampang itu merealisasikannya. Minimal saya harus memiliki server utama yang kuat, dari segi Bandwith dan Spesifikasinya. Dan satu lagi, faktor keberuntungan tampaknya juga berpengaruh. Hehehe. Maklum, tampaknya masi mimpi muluk untuk benar – benar merealisasikannya jika dilakukan sendiri dan tanpa bantuan rekan – rekan blogger yang lain.

Rencana lain yang sedang di persiapkan adalah membuat Web Crawler ini bisa running ramai – ramai di berbagai PC yang berbeda, namun tetap dengan hasil yang berbeda pula. Jadi dengan teknik seperti ini, Web Crawler / Web Spider buatan saya menjelajah jutaan website dengan lebih cepat dengan bantuan dari para blogger semuanya. Dan teman – teman pun bisa membantu menyumbangkan kinerja komputernya yang tidak terpakai untuk melakukan crawling ini setiap harinya.

Semoga saja proyek ini bisa direalisasikan dan didukung penuh oleh mereka yang berkompeten. Karena saya pikir, kita bisa memiliki dan merasakan manfaat yang lebih banyak dari Search Engine Lokal yang kita bangun. Sekaligus menunjukkan kepada dunia bahwa sumber daya IT di negeri kita pun banyak yang berkualitas, tidak didominasi oleh masyarakat Eropa/Amerika atau India saja.

Jika anda tertaruk untuk memberi donasi server, atau ikut melakukan penelitian Web Crawler / Web Spider ini, silahkan hubungi saya di judotens@gmail.com

Dan teruslah pantau hasil crawler Web Spider saya ini di :

http://mawarbiru.co.cc/shoutcrawl/

dan betul, blog saya dan belasan ribu blog lainnya kena crawl dari server tersebut. Skrip itu sekaligus melacak shoutbox dan memberikan comment otomatis pada setiap shoutbox yang ditemui (rada² spam)

Tapi betul gak yah, itu buatan orang indonesia sendiri?, dan kalaupun tuh script jatuh ketangan yang tidak bertanggung jawab (sebut saja: tukang sampah MLM dan referall), saya takut blog bukan lagi menjadi tempat yang nyaman karena berisi bot² yang otomatis mengirimkan sampah ke setiap soutbox atau comment box kita menggantikan tugas blogger untuk blogwalking.

Bagaimana pendapat kaskuser sekalian?

  1. Mei 20, 2009 pukul 11:47 pm

    Kayaknya untuk meredam bot bot seperti itu shoutbox kita harus pakai captcha🙂

    • Mei 21, 2009 pukul 12:29 am

      Akismetnya WordPress bisa ditembus kah oleh bot ini?

  2. Tyo
    Mei 21, 2009 pukul 1:02 am

    pertaxx… boleh juga scriptnya tuh…
    Salut…

  3. yopa21
    Mei 21, 2009 pukul 4:07 am

    wow,bahaya tuh klo sampe jatuh ke tangan yg salah
    tapi keren euy caranya

    tapi tetep aja bahaya…hehe

  4. Mei 21, 2009 pukul 10:58 am

    Assalamu ‘alaikum mas, demi menjalin silaturahmi sesama Blogger marilah kita saling bertukar link, gimana mas?? Salam kenal yah dari Dedhy Kasamuddin😀

  5. zefka
    Mei 21, 2009 pukul 12:32 pm

    Ayo buktikan kalo para ahli IT kita juga gak kalah ma yg dari luar.

  6. ian
    Mei 21, 2009 pukul 9:04 pm

    apa sih crawler itu? saia masih gak mudeng🙂

  7. Mei 22, 2009 pukul 10:24 am

    botnya bagus sih, cuman ntar kalo jadi spam beneran kan rese juga. harusnya, bot begitu digunakan untuk kebaikan. dan jangan sampe jatoh ke orang2 yang cuman pengen jadi seleblog sesaat.

  8. Mei 22, 2009 pukul 4:37 pm

    waduh…kalo gak pake captcha bisa-bisa habis tuh shoutbox di bombardir ama crawler..

  9. Mei 22, 2009 pukul 4:48 pm

    wah hebat tuh. bagaimana ya lo bisa kirim ke gue. gue mau cobain sobat. please

  10. nansio
    Mei 23, 2009 pukul 12:12 pm

    Kalo kita googling untuk keyword Web Crawler/ BootCrawler dan Shoutposter sebenarnya banyak sekali infonya, malah banyak sekali program gratis dan source code open sourcenya. Yang penting selain ilmu perlu juga kebijaksanaan (policy), jadi jangan sampe ilmu disalah gunakan. Memang mesin/ program komputer/blogwalking bisa dikalahkan dengan mesin/ program komputer/ blogcrawler. Tetapi hendaknya mesin lebih bisa menjadi pelayan manusia, dan blogwalking menjadi sarana humanisme, membangun relationship antara dunia nyata teman2 blogger di dunia “sana” dan di dunia “sini”, BLOGWALKING sebagai jembatan HUMANISME – mesin sebagai pelayan manusia dan bukan manusia menjadi pelayan mesin (Aaahhh.. sok filosofis yachhh wkekekekeekk) – Kayak Film Matrix ajaa…..hehe…Monggo terserah Anda…

  11. Mei 27, 2009 pukul 12:25 am

    yeah aku juga melakukan hal yg sama
    takjub deh asli

    semoga ketemu donatur yg bener

  12. Mei 28, 2009 pukul 6:22 am

    mana scriptnya?
    pengen jajal neh😀

  13. Juni 1, 2009 pukul 9:02 pm

    shotbox saya juga dilewati judotenslab tuh…moga aja scriptnya made in dalam negeri…kalau sampah dalam negeri kan masih bisa di daur ulang, he..he..

  14. Juli 18, 2009 pukul 3:28 am

    Kemampuan seperti itu harusnya dikembangkan dan didukung penuh utamanya oleh pemerintah, atau mungkin kita semua bisa bekerjasama untuk pengembangannya.

  15. September 2, 2009 pukul 2:49 am

    Seperti pisau, tinggal niatannya, tapi 90 % untuk nyepam, forgeted !!!!

  16. Januari 16, 2010 pukul 4:16 pm

    Betul, kalo di blinag spam ya spam, mereka misinya agar blog rame aja.

  17. Maret 6, 2011 pukul 6:10 pm

    mantap nih bot nya dimana carinya yah?

  1. No trackbacks yet.

Tinggalkan Balasan

Isikan data di bawah atau klik salah satu ikon untuk log in:

Logo WordPress.com

You are commenting using your WordPress.com account. Logout / Ubah )

Gambar Twitter

You are commenting using your Twitter account. Logout / Ubah )

Foto Facebook

You are commenting using your Facebook account. Logout / Ubah )

Foto Google+

You are commenting using your Google+ account. Logout / Ubah )

Connecting to %s

%d blogger menyukai ini: