Pengertian Standar pengecualian robot

 

Pengertian Standar pengecualian robot 

Standar pengecualian robot , juga di kenal sebagai protokol pengecualian robot atau hanya robots.txt , adalah standar yang di gunakan oleh situs web untuk berkomunikasi dengan perayap web dan robot web . Standar menentukan bagaimana memberi tahu robot web tentang area situs web mana yang tidak boleh di proses atau di pindai. Robot sering di gunakan oleh mesin pencari untuk mengkategorikan situs web. Tidak semua robot bekerja sama dengan standar; pemanen email, robot spam , malwaredan robot yang memindai kerentanan keamanan bahkan dapat memulai dengan bagian situs web yang telah di perintahkan untuk tidak di kunjungi. Standar ini dapat di gunakan bersama dengan Peta Situs , standar penyertaan robot untuk situs web.

Sejarah

Standar ini di usulkan oleh Martijn Koster  ketika bekerja untuk Nexor pada bulan Februari 1994 di milis www-talk , saluran komunikasi utama untuk aktivitas yang berhubungan dengan WWW pada saat itu. Charles Stross mengklaim telah memprovokasi Koster untuk menyarankan robots.txt, setelah ia menulis perayap web berperilaku buruk yang secara tidak sengaja menyebabkan serangan penolakan layanan di server Koster.

Dengan cepat menjadi standar de facto yang di harapkan di ikuti oleh perayap web saat ini dan masa depan; paling sesuai, termasuk yang dioperasikan oleh mesin pencari seperti WebCrawler , Lycos , dan AltaVista .

Pada 1 Juli 2019, Google mengumumkan proposal Protokol Pengecualian Robot sebagai standar resmi di bawah Gugus Tugas Teknik Internet . Draf sekarang akan menjalani proses penerimaan.

Gugus Tugas Teknik Internet

Internet Engineering Task Force ( IETF ) adalah organisasi standar terbuka, yang mengembangkan dan mempromosikan standar Internet sukarela , khususnya standar teknis yang terdiri dari paket protokol Internet (TCP/IP) . Tidak memiliki daftar keanggotaan formal atau persyaratan keanggotaan. Semua peserta dan manajer adalah sukarelawan, meskipun pekerjaan mereka biasanya didanai oleh pemberi kerja atau sponsor mereka.

IETF dimulai sebagai kegiatan yang didukung oleh pemerintah federal Amerika Serikat. Tetapi sejak 1993 telah beroperasi sebagai fungsi pengembangan standar di bawah naungan Internet Society, sebuah organisasi nirlaba berbasis keanggotaan internasional.

Tempat Kursus Ilmu Robotic : Sari Teknologi

Baca artikel lainnya : Pelatihan Robotik