robotstxt-parser 0.1.1

Robotstxt-Parser allows you to the check the accessibility of URLs and get other data. Full support for the robots.txt RFC, wildcards and Sitemap: rules.

Gemfile:
=

instalar:
=

Versiones:

0.1.1 September 18, 2014 (15 KB)
0.1.0 September 18, 2014 (15 KB)

dependencias de Development (2):

fakeweb ~> 1.3

rake >= 0

Mostrar toda la cadena de dependencias

Propietarios:

Autores:

Garen Torikian

SHA 256 checksum:

=

Total de descargas 164.243

Para esta versión 161.889

Versión publicada:
September 18, 2014 12:46am

Licencia:
MIT

Versión de Ruby requerida: >= 0

Enlace:

Página Documentación Descarga Revisar cambios Badge RSS Reportar abusos Dependencias inversas