robotstxt-parser 0.1.0

Robotstxt-Parser allows you to the check the accessibility of URLs and get other data. Full support for the robots.txt RFC, wildcards and Sitemap: rules.

Gemfile:
= In die Zwischenablage kopieren Kopiert!

installieren:
=

Versionen:

0.1.1 - September 18, 2014 (15 KB)
0.1.0 - September 18, 2014 (15 KB)

Development Abhängigkeiten (2):

fakeweb ~> 1.3

rake >= 0

Alle transitiven Abhängigkeiten anzeigen

Besitzer:

Autoren:

Garen Torikian

SHA 256-Prüfsumme:

9e7ba258e6275c63afa5abe8ef5843d608da23fc365bf4af43dc9178bb31fe00