Open AI GPT-2とGoogle BERT日本語対応

———– blog ———–
Open AIのGPT-2アップデート前に試しましたが、びっくりするほど凄かった。そして、GoogleもBERT（Bidirectional Encoder Representations from Transformers）が日本語を含む世界約70言語にも対応したとのことで。

アップデートBERTは試しておりませんが、GPT-2は本当にびっくりしました。ちなみに試したGPT-2もアップデート前のものです。
ご興味がございましたら、Open AIのGPT-2やGoogleのBERT関係の公式リンクなどをざっくりとですが置いておきます。

Yesterday I launched Talk to Transformer, a site where you can try out @OpenAI's new text-generating language model on your own custom text. https://t.co/ncOL1QSRyS One example is below. @AlecRad @gdb pic.twitter.com/mcW6sipp3S

— Adam King (@AdamDanielKing) 2019年5月7日

We've trained an unsupervised language model that can generate coherent paragraphs and perform rudimentary reading comprehension, machine translation, question answering, and summarization — all without task-specific training: https://t.co/sY30aQM7hU pic.twitter.com/360bGgoea3

— OpenAI (@OpenAI) 2019年2月14日

We've fine-tuned GPT-2 using human feedback for tasks such as summarizing articles, matching the preferences of human labelers (if not always our own). We're hoping this brings safety methods closer to machines learning values by talking with humans. https://t.co/ok9jeMP5zj

— OpenAI (@OpenAI) 2019年9月19日

Hebrew, Hindi, Hungarian, Icelandic, Indonesian, Italian, Japanese, Javanese, Kannada, Kazakh, Khmer, Korean, Kurdish, Kyrgyz, Lao, Latvian, Lithuanian, Macedonian
Malay (Brunei Darussalam & Malaysia), Malayalam, Maltese, Marathi, Mongolian, Nepali, Norwegian, Polish…. (MORE)

— Google SearchLiaison (@searchliaison) 2019年12月9日

And yes, Spanish!

— Google SearchLiaison (@searchliaison) 2019年12月9日

BERT is rolling out for: Afrikaans, Albanian, Amharic, Arabic, Armenian, Azeri, Basque, Belarusian, Bulgarian, Catalan, Chinese (Simplified & Taiwan), Croatian, Czech, Danish, Dutch, English, Estonian, Farsi, Finnish, French, Galician, Georgian, German, Greek, Gujarati…. (MORE)

— Google SearchLiaison (@searchliaison) 2019年12月9日

github.com/openai/gpt-2
talktotransformer.com
blog.google/products/search/search-language-understanding-bert
github.com/google-research/bert
arxiv.org/abs/1810.04805