RubyGems Navigation menu

tokenizer 0.1.1

A simple multilingual tokenizer for NLP tasks. This tool provides a CLI and a library for linguistic tokenization which is an anavoidable step for many HLT (human language technology) tasks in the preprocessing phase for further syntactic, semantic and other higher level processing goals. Use it for tokenization of German, English and French texts.

Gemfile:
= クリップボードにコピー コピー完了!

インストール:
=

バージョン履歴:

  1. 0.3.0 - January 20, 2016 (10KB)
  2. 0.2.0 - January 11, 2016 (10KB)
  3. 0.1.2 - September 03, 2015 (9.5KB)
  4. 0.1.1 - August 25, 2011 (8KB)
  5. 0.1.0 - May 19, 2011 (5.5KB)
全てのバージョンを表示(全6件)

Development依存関係 (4):

bundler >= 0
rake = 0.8.7
rdoc >= 3.9.1
yard >= 0

所有者:

作者:

  • Andrei Beliankou

SHA 256チェックサム:

82819cb92efebc52d2c455c928f7c637c9041c9d3fd5bb3527016e18625c3112

累計ダウンロード数 221,779

このバージョンのみ 10,323

ライセンス:

N/A

必要なRubyのバージョン: >= 1.8.7

リンク: