大規模言語モデルを成功させた要因「Transformer」とは
生成AI・大規模言語モデルのしくみ(5)言語モデルの大規模化とTransformer
大規模言語モデルを成功させた要因の1つに“Transformer”と呼ばれる言語モデルの登場がある。Transformerは、必要な情報を取り出す「注意機構」と、長期的な記憶から情報を探索する「MLPブロック」によって構成されるのだが、こ...
収録日:2024/04/16
追加日:2024/08/06
大規模言語モデルのインパクト…ChatGPTの発展
Microsoft Copilot~AIで仕事はどう変わるか(2)生成AIの現在地
日進月歩の開発が進む生成AIは、人間と同等の知性を獲得しつつある。その開発は、人間のより広範な活動にAIを活用するという目的に根ざしている。大規模言語モデル(Large Language Model)という言語モデルによって、私たちの...
収録日:2023/08/01
追加日:2023/10/04
アウシュヴィッツの悲劇をAIは理解できるか…母語の有無
ChatGPT~AIと人間の未来(2)AIは意味を理解しているのか
第2話では、「AIが意味を理解しているのかどうか」を、深掘りしていく。そもそも「意味」とは何だろうか。AI研究者からは、「AIはそれなりに意味分析も行なっている」という声も挙がる。しかし西垣氏は、人間とAIとでは、言語の...
収録日:2023/03/15
追加日:2023/05/25