RubyGems Navigation menu

robotstxt-parser 0.1.1

Robotstxt-Parser allows you to the check the accessibility of URLs and get other data. Full support for the robots.txt RFC, wildcards and Sitemap: rules.

バージョン履歴:

  1. 0.1.1 - September 18, 2014 (15KB)
  2. 0.1.0 - September 18, 2014 (15KB)

Development依存性 (2):

  • fakeweb ~> 1.3
  • rake >= 0
  • オーナー:

    作者:

    • Garen Torikian

    SHA 256チェックサム:

    9c432eff837240b9b776183d498997ae4d4447b90b2eb783126bdb6102a667d0

    累計ダウンロード数 80,691

    現行バージョン 79,489

    Gemfile:
    = クリップボードにコピー コピー完了!

    インストール:
    =

    ライセンス:

    MIT

    必要Rubyバージョン: >= 0

    リンク集: