Codes to pre-train T5 (Text-to-Text Transfer Transformer) models pre-trained on Japanese web texts.
The following is a list of models that we have published.

• megagonlabs/t5-base-japanese-web (32k)
• megagonlabs/t5-base-japanese-web-8k (8k)

• pretrain of T5 with TPU

• Repositories
  • T5
  • mT5
• Related models
  • 日本語T5事前学習済みモデル (sonoisa/t5-base-japanese)
  • 日本語T5事前学習済みモデル (sonoisa/t5-base-japanese-mC4-Wikipedia)
• Articles
  • 第7回 T5 によるテキスト生成の検証 (2020年2月26日)
  • 第8回 続・T5 によるテキスト生成の検証 (2020年4月23日)
  • 第14回 Hugging Face Transformers で T5 を使ってみる (2021年4月22日)

Apache License 2.0