【図表】
出典: https://gigazine.net/news/20230407-tokenizer-open-ai/
【ニュース】
◆ChatGPTなどのチャットAIがどんな風に文章をトークンとして認識しているのかが一目で分かる「Tokenizer」 (Gigazine, 2023/04/07 08:00)
https://gigazine.net/news/20230407-tokenizer-open-ai/
【関連サイト】
◆Tokenizer (OpenAI API)
https://platform.openai.com/tokenizer
【関連まとめ記事】
◆全体まとめ
◆生成AI / ジェネレーティブAI (まとめ)
◆大規模言語モデル (まとめ)
◆ChatGPT (まとめ)
https://tt-ai.hatenablog.com/entry/ChatGPT