robotstxtの被依存関係 以下のgemの最新版はrobotstxtを必要としています
hostelify 0.8.4
scrapper for publicly accessible data from hostelworld hostelbookers etc.
118,546 ダウンロード数
site_analyzer 0.3.17
Create site report for SEO many options.
44,110 ダウンロード数
rwspider 0.4.3
RW Spider is an multithreading spider client written in Ruby designed to make easy th...
8,285 ダウンロード数