Akses ke forum sangat lambat

[Husna QA]

Btw, bot telegram AltcoinsTalks Notifier juga sedang tidak bisa di akses, di keterangannya sih sedang proses "scraping post and karma notification". Saya tidak tahu persis apakah proses scraping tersebut juga bisa secara siginifikan meningkatkan aktifitas server forum atau tidak.

Oiya ane baru ngeh kalau botnya sempat down. Mungkin aja sih botnya berpengaruh ke akses server dan tidak ke whitelist sama server dan dianggap bot crawler atau DDOS attack. Cuma hari ini keknya normal sih, ane belum nemuin page Cloudflare sama sekali baik dengan atau tanpa VPN sekalipun. Ya semoga aja admin dan server bisa memberi whitelist ke tools yang butuh scraping forum secara rutin karena hal itu bakal membuat forum lebih hidup kalau emang ga ada plan untuk membuat tool secara in-house.

Nah itu maksudnya, ketika ada proses scraping post, setahu saya setidaknya ada proses dimana server diminta menyuplai data 'ekstra' dibandingkan ketika diakses user pada umumnya.

Kemarin saya dapat notifikasi qoute post di atas, artinya Bot AltcoinsTalks Notifier-nya sudah normal kembali, dan page Cloudflare saat ini sudah tidak saya dapati juga.
Btw, kalau ada tool seperti https://ninjastic.space/search untuk Altcoinstalks bisa jadi lebih ekstra lagi kinerja server-nya. CMIIW

[mu_enrico]

Saya tidak tahu persis apakah proses scraping tersebut juga bisa secara siginifikan meningkatkan aktifitas server forum atau tidak.

Scraping bot (eksternal) ataupun pakai script PHP (internal) itu tentu membutuhkan proses komputasi server, signifikan tidaknya ya tergantung seberapa sering akses bot atau seberapa rumit komputasi.

ketika ada proses scraping post, setahu saya setidaknya ada proses dimana server diminta menyuplai data 'ekstra' dibandingkan ketika diakses user pada umumnya.

Walaupun tidak ada data ekstra, tapi katakanlah kalau bot disuruh akses 1 page tiap 5 detik, dalam 1 menit "dia" udah buka 12 page... ini beban ke servernya melebihi user biasa yang paling buka 1-2 page tiap 1 menit.

[Husna QA]

ketika ada proses scraping post, setahu saya setidaknya ada proses dimana server diminta menyuplai data 'ekstra' dibandingkan ketika diakses user pada umumnya.

Walaupun tidak ada data ekstra, tapi katakanlah kalau bot disuruh akses 1 page tiap 5 detik, dalam 1 menit "dia" udah buka 12 page... ini beban ke servernya melebihi user biasa yang paling buka 1-2 page tiap 1 menit.

Nah, dalam keadaan "biasa" saja bisa demikian keadaannya, apalagi ketika sedang proses scraping data; Mungkin lebih kurang sama seperti ketika proses backup data, kalau datanya masih sedikit bisa lebih cepat prosesnya, namun tentu tidak demikian jika datanya sudah lumayan banyak sehingga membutuhkan waktu lebih lama ketika memprosesnya dan ini bisa menambah beban server.

Btw, saya pernah membaca postingannya om roycilik perihal proses scrap data yang digunakan DdmrDdmr;

Saya pernah PM menanyakan langasung kepada DdmrDdmr:

[mu_enrico]

Nah, dalam keadaan "biasa" saja bisa demikian keadaannya, apalagi ketika sedang proses scraping data; Mungkin lebih kurang sama seperti ketika proses backup data, kalau datanya masih sedikit bisa lebih cepat prosesnya, namun tentu tidak demikian jika datanya sudah lumayan banyak sehingga membutuhkan waktu lebih lama ketika memprosesnya dan ini bisa menambah beban server.

Btw, saya pernah membaca postingannya om roycilik perihal proses scrap data yang digunakan DdmrDdmr;

Saya pernah PM menanyakan langasung kepada DdmrDdmr:

Backup itu cepet gan karena cuma export database dan copas file, sedangkan kalau scraping itu harus mengakses page satu per satu.
Kalau dilihat dari hitungan DdmrDdmr 12 jam dapat 40k records (anggap aja dari record = webpage), ya berarti dalam 1 detik bot mengakses ~1 laman web... tentu makan sumber daya yang lebih parah dari contoh ane sebelumnya. Apakah bakal bikin server lambat? Ya tergantung infrastruktur yang disewa/dipunya.

Makanya pola pikir solusi pakai bot scraping begini baru ane dapati di forum kripto, sebelumnya yang biasa ane tau adalah webmaster membuat atau menginstall sesuatu, bisa itu plugin, atau scheduled script yang tentunya tidak terlalu membebani. Mungkin memang semangat desentralisasi sehingga solusi bisa dibuat oleh pihak ke-3 yang ga punya akses ke database dsb.

[Husna QA]

-snip-

Backup itu cepet gan karena cuma export database dan copas file, sedangkan kalau scraping itu harus mengakses page satu per satu.
Kalau dilihat dari hitungan DdmrDdmr 12 jam dapat 40k records (anggap aja dari record = webpage), ya berarti dalam 1 detik bot mengakses ~1 laman web... tentu makan sumber daya yang lebih parah dari contoh ane sebelumnya. Apakah bakal bikin server lambat? Ya tergantung infrastruktur yang disewa/dipunya.

Ya, tentunya balik lagi tergantung dari infrastruktur yang digunakan server tersebut. Contoh di Bitcointalk, sekalipun entah berapa user yang rutin melakukan scraping data pada websitenya, namun sejauh ini bisa dikatakan tidak ada efek yang terlalu terasa semisal akses ke forum menjadi lambat.

Makanya pola pikir solusi pakai bot scraping begini baru ane dapati di forum kripto, sebelumnya yang biasa ane tau adalah webmaster membuat atau menginstall sesuatu, bisa itu plugin, atau scheduled script yang tentunya tidak terlalu membebani. Mungkin memang semangat desentralisasi sehingga solusi bisa dibuat oleh pihak ke-3 yang ga punya akses ke database dsb.

Perihal scheduled script, apakah salah satu contoh hasil yang bisa didapatnya adalah seperti yang berikut ini?
https://bitcointalk.org/merit.txt.xz

[mu_enrico]

Perihal scheduled script, apakah salah satu contoh hasil yang bisa didapatnya adalah seperti yang berikut ini?
https://bitcointalk.org/merit.txt.xz

Kalau hanya tau hasil akhirnya, yaitu file .txt yang dikompress, ga bisa diketahui apakah mimin melakukan dengan cara:
(1) Dump manual misal via phpmyadmin atau software database management lain;
(2) Dengan script untuk dump data, eksekusi manual;
(3) Dengan script untuk dump data seperti pada (2), dengan eksekusi terjadwal.

Tapi yang ane terawang kalau itu om @theymos yang harusnya mampu dan dia menjanjikan update weekly (kalau ga salah) ya itu harusnya pakai script yang dijadwalkan.

[Husna QA]

Perihal scheduled script, apakah salah satu contoh hasil yang bisa didapatnya adalah seperti yang berikut ini?
https://bitcointalk.org/merit.txt.xz

Kalau hanya tau hasil akhirnya, yaitu file .txt yang dikompress, ga bisa diketahui apakah mimin melakukan dengan cara:
(1) Dump manual misal via phpmyadmin atau software database management lain;
(2) Dengan script untuk dump data, eksekusi manual;
(3) Dengan script untuk dump data seperti pada (2), dengan eksekusi terjadwal.

Tapi yang ane terawang kalau itu om @theymos yang harusnya mampu dan dia menjanjikan update weekly (kalau ga salah) ya itu harusnya pakai script yang dijadwalkan.

+1

Terima kasih
Ya, setahu saya @theymos menjanjikan memperbaharui datanya seminggu sekali, dan file yang ter-update hanya menyediakan data untuk 120 hari terakhir saja.
https://bitcointalk.org/index.php?topic=2852479.msg31327729#msg31327729

Asumsi saya juga harusnya menggunakan metode poin no.3 dimana scriptnya dijalankan otomatis melakukan dump data seminggu sekali. Tentunya hal tersebut bisa membantu user dengan tool-nya masing-masing untuk mengeksplorasi lebih jauh menggunakan data tersebut tanpa harus masing-masingnya melakukan scraping untuk mendapatkan data yang sama. Dalam hal ini, sedikit banyak bisa mengurangi beban server juga. CMIIW