robotstxt.js – robots.txt-feldolgozó könyvtár JavaScripthez

A robotstxt.js egy kis erőforrás-igényű JavaScript-könyvtár a robots.txt fájlok feldolgozására és értelmezésére böngészőben, valamint Node.js környezetben. Szabványkövető módon támogatja a keresőrobotok hozzáférési jogosultságainak kiértékelését, a direktívák feldolgozását, az XML-webhelytérképek felismerését és az egyes user agentekhez tartozó szabályok vizsgálatát. SEO-eszközök, crawlerek, validátorok és webalkalmazások fejlesztéséhez készült, így a robots.txt fájlok programozott kezelése egyszerűbbé válik, miközben a robotok kizárására vonatkozó bevett szabványokat követi.

Főbb funkciók

  • Szabványkövető robots.txt-feldolgozás
  • Böngésző- és Node.js-támogatás
  • User agenthez tartozó szabályok kiértékelése
  • Az Allow és Disallow direktívák feldolgozása
  • A Crawl-delay, Cache-delay és Request-rate támogatása
  • Sitemap és Host direktívák felismerése
  • Helyettesítő karakteres (*) és útvég-jelöléses ($) illesztés
  • A user agentek kis- és nagybetűkre nem érzékeny felismerése
  • Feldolgozási jelentések, figyelmeztetések és diagnosztikai információk

Tipikus felhasználási területek

  • SEO-auditáló eszközök
  • robots.txt-validátorok
  • Webes crawlerek és spider alkalmazások
  • Keresőmotorokhoz kapcsolódó segédeszközök
  • Weboldal-felügyeleti platformok
  • Technikai SEO-alkalmazások
  • Weboldal-migrációs eszközök
  • Egyedi indexelési megoldások

Telepítés

A legújabb verzió telepítéséhez használd az NPM-et.

npm install @playfulsparkle/robotstxt-js

vagy

yarn add @playfulsparkle/robotstxt-js

Letöltés részletei

Ügyfélszolgálat
Hibakezelő

Maradj naprakész

Newsletter
Was this helpful - Post

More Downloads

transliterate.js – Unicode-transzliterációs könyvtár JavaScripthez

A transliterate.js egy kis erőforrás-igényű JavaScript-könyvtár Unicode-szövegek transzliterációjához, amely böngészőben és Node.js környezetben is használható. Unicode-normalizálással és konfigurálható karakterleképezésekkel alakítja át az ékezetes karaktereket, szimbólumokat és nem latin betűs szövegeket ASCII-vé.

sprintf.js – Karakterlánc-formázó könyvtár JavaScripthez

A sprintf.js egy kis erőforrás-igényű JavaScript-könyvtár karakterláncok formázásához, amely böngészőben és Node.js alkalmazásokban is használható. Támogatja a sprintf és vsprintf használatát, a név szerinti helyőrzőket, a beágyazott objektumok elérését, a konfigurálható formázást és a JSON-szerializálást.

PyLatinize – Unicode-transzliterációs könyvtár Pythonhoz

A PyLatinize egy kis erőforrás-igényű Python-könyvtár Unicode-szövegek latin betűs ASCII-vé alakításához, konfigurálható karakterleképezések és Unicode-normalizálás használatával. Ideális URL-ek slugjainak létrehozásához, fájlnevek egységesítéséhez, keresési indexeléshez és szövegfeldolgozási folyamatokhoz.