RubyGems Navigation menu

discourse_ai-tokenizers 0.3.1

A Ruby gem providing a consistent interface for various AI/ML tokenizers including OpenAI GPT, Anthropic Claude, Google Gemini, Meta Llama, Mistral, Qwen, and embedding models like BERT, BGE, and multilingual-E5. Features caching, truncation, token counting, and error handling across different tokenization libraries.

Gemfile:
=

installation:
=

Versions:

  1. 0.3.1 July 07, 2025 (20,6 Mo)
  2. 0.3.0 July 04, 2025 (20,6 Mo)
  3. 0.2.0 July 02, 2025 (20,6 Mo)
  4. 0.1.2 July 02, 2025 (20,6 Mo)
  5. 0.1.1 July 01, 2025 (20,6 Mo)
Voir toutes les versions (6)

Dépendances de Runtime (3):

activesupport >= 6.0
tiktoken_ruby ~> 0.0.11.1
tokenizers ~> 0.5.4

Dépendances de Development (2):

syntax_tree ~> 6.2.0

Propriétaires:

Pushed by:

Auteurs:

  • Rafael Silva

Total de contrôle SHA 256:

=

Total de téléchargements 1 865

Pour cette version 364

Version publiée:

License:

MIT

Version de Ruby requise: >= 3.2.0

Liens: