LLMは、なぜ意味を理解できるのか。言語哲学をAIアルゴリズムから読み解く

LLM（大規模言語モデル）は、もはやAIだけの話ではありません。
スマホやインターネットに匹敵する大発明っていう人もいます。

いやいや、そんなもんじゃないですよ。

ここ100年、いや、1000年単位の大発明です。
ただ、難しいんですよ。

たとえば相対性理論も難しいですよね。
専門家じゃないと理解できません。

でも、LLMの難しさは、それとは違うんですよ。
僕は、よくAIの解説動画とか見て勉強しています。
Transformerの数式とか、動画で分かりやすく解説してくれてます。
それを見て、よくわかったという人もいます。

でも、その人のいうわかったは、どんなふうに計算して、どんな答えが出たかわかることです。
相対性理論の理解も同じです。

でも、LLMを理解するとは、それとはちょっと違うんです。
たとえば、僕が知りたいのは、LLMは本当に意味を理解しているのかです。
もし、本当に意味を理解しているのなら、どんなふうに意味を理解しているのか？
それがわかれば、人間がいかにして意味を理解するのかもわかります。

言葉の意味理解は、古代ギリシャ時代から続く、言語学や哲学の長年の課題です。
未だに統一的な定義は存在しません。
少なくとも言語学とコンピュータ科学で共通に使われる意味の定義など存在しません。

この、数千年来の課題が、今、解明されようとしているんですよ。

でも、そんな視点でTransformerを読み解こうとしている人はいません。
その視点を持つには、AIだけでなく、脳、言語、哲学、神経科学といった幅広い知識が必要です。

幸い、僕はそんなことを何十年も考え続けてきました。

というわけで、今回も引き続いてTransformerの読み解きを続けます。
僕がやらないと、誰もやらないのでやるしかないです。