robotstxt.js – Knižnica na spracovanie robots.txt pre JavaScript

robotstxt.js je nenáročná JavaScriptová knižnica na spracovanie a interpretáciu súborov robots.txt v prehliadačoch aj v prostredí Node.js. Poskytuje implementáciu v súlade so štandardmi na vyhodnocovanie oprávnení crawlerov, spracovanie direktív, vyhľadávanie XML sitemap a kontrolu pravidiel pre konkrétne user-agenty. Knižnica je určená pre SEO nástroje, crawlery, validátory a webové aplikácie a uľahčuje programovú prácu so súbormi robots.txt pri dodržaní zavedených štandardov pre vylúčenie robotov.

Kľúčové funkcie

  • Spracovanie robots.txt v súlade so štandardmi
  • Podpora prehliadačov a Node.js
  • Vyhodnocovanie pravidiel podľa user-agent
  • Spracovanie direktív Allow a Disallow
  • Podpora Crawl-delay, Cache-delay a Request-rate
  • Vyhľadávanie direktív Sitemap a Host
  • Párovanie pomocou zástupného znaku (*) a označenia konca cesty ($)
  • Rozlišovanie user-agentov bez ohľadu na veľkosť písmen
  • Správy o spracovaní, upozornenia a diagnostika

Typické použitie

  • Nástroje na SEO audit
  • Validátory robots.txt
  • Webové crawlery a spider aplikácie
  • Nástroje pre vyhľadávače
  • Platformy na monitorovanie webových stránok
  • Aplikácie pre technické SEO
  • Nástroje na migráciu webových stránok
  • Vlastné riešenia indexovania

Inštalácia

Najnovšiu verziu nainštalujete z NPM.

npm install @playfulsparkle/robotstxt-js

alebo

yarn add @playfulsparkle/robotstxt-js

Podrobnosti o stiahnutí

Zákaznícka podpora
Správa chýb

Majte prehľad o novinkách

Newsletter
Was this helpful - Post

More Downloads

sprintf.js – Knižnica na formátovanie reťazcov pre JavaScript

sprintf.js je nenáročná JavaScriptová knižnica na formátovanie reťazcov, ktorú možno použiť v prehliadačoch aj aplikáciách pre Node.js. Podporuje sprintf a vsprintf, pomenované zástupné symboly, prístup k vnoreným objektom, konfigurovateľné formátovanie a serializáciu JSON.

PyPrintf – sprintf knižnica pre Python

PyPrintf je nenáročná Pythonová knižnica na formátovanie reťazcov, ktorá prináša známe funkcie sprintf do Pythonu. Podporuje pozičné a pomenované zástupné symboly, serializáciu JSON, konfigurovateľné formátovanie a prísnu kontrolu typov.