G検定の勉強をしていると、ときどき試験範囲から大きく脱線します。
今回、引っかかったのは、Transformerと言語モデルの話でした。
ChatGPTのような大規模言語モデルは、人間が学校で習うように、日本語や英語の文法を一つずつ教えられているわけではありません。
大量の文章を学習し、そこまでの文脈に続く可能性の高いトークンを順番に生成します。
かなり単純化すれば、
次に来そうな言葉を予測し続けている
ということになります。
ところが、それだけで、どうしてこれほど自然な文章が書けるのでしょうか。
文法を教えていないのに、文法を使える
言語によって、語順も、主語の扱いも、時制も、名詞や動詞の変化も違います。
それにもかかわらず、大規模言語モデルは、多くの言語でかなり自然な文章を作ります。
もちろん、言語によって能力差はありますし、流暢に見えても意味を取り違えることがあります。
それでも、明示的な文法規則を一つずつ与えられたわけではないモデルが、文法的な文章を作れることは不思議です。
そこで、素人なりに一つの仮説が浮かびました。
全人類が残した膨大な言語データの中には、個々の言語の違いを超えた共通構造が隠れているのではないか。
そしてAIは、大量のデータを学習することで、その構造を掘り当てたのではないか。
このとき思い出したのが、ノーム・チョムスキーの「普遍文法」でした。
私の直感と、チョムスキーの普遍文法は少し違う
私はこれまで、普遍文法を、
世界中の言語の奥底にある共通の土台
くらいに理解していました。
その理解からすると、多言語を一つのモデルで扱える大規模言語モデルは、普遍文法の存在を実証しているようにも見えます。
しかし、少し調べると、チョムスキーの問題意識はそれだけではありませんでした。
中心にあるのは、
人間の子どもが、限られた言語入力から、なぜ複雑な文法を身につけられるのか
という問いです。
子どもは、不完全で限られた会話しか聞いていないのに、教えられていない文まで作れるようになります。
そのため、人間には生まれつき、習得可能な言語の範囲を絞る何らかの能力や制約があるのではないか。
それが、チョムスキー的な普遍文法の重要な部分です。
つまり、私が考えていたのは、
言語データの中に共通構造があるのではないか
という話です。
一方、チョムスキーが問題にしたのは、
人間の脳に、言語を獲得するための生得的な制約があるのではないか
という話です。
似ているようで、同じではありません。
AIはチョムスキーを否定したのか
大規模言語モデルは、人間の子どもとは比較にならないほど大量の文章を学習します。
そのモデルが、明示的な普遍文法を与えられなくても自然な言語を生成できる。
このことから、
生得的な文法規則を想定しなくても、大量のデータと学習能力があれば言語は身につくのではないか
という見方が生まれます。
その意味では、大規模言語モデルは、チョムスキー的な考え方への反証にも見えます。
しかし、チョムスキー側からは別の反論ができます。
人間の言語能力とは、どんな規則でも同じように学べる能力ではない。
人間が自然言語として使う規則と、規則としては一貫していても、人間が決して話さないような人工的な言語とを区別する能力も含むのではないか、という反論です。
たとえば、
-
文の意味や構造ではなく、左から何番目の単語かだけで変化する
-
単語数が偶数か奇数かで否定を決める
-
文を機械的に逆順に並べる
といった規則です。
これらは完全なデタラメではありません。
一貫した規則はあります。
しかし、人間の自然言語には現れにくい。
もしAIが、自然言語だけでなく、こうした「不可能な言語」まで同じように学べるのであれば、AIは人間と同じ言語能力を獲得したのではなく、単に与えられた規則を広く学べる装置なのかもしれません。
ここで、論点が少し変わります。
AIが自然言語を生成できるか
ではなく、
AIは、人間に可能な言語と不可能な言語を、人間と同じように区別するか
が問題になります。
人間の言語能力を説明するモデルであるなら、成功の仕方だけでなく、失敗の仕方まで人間に似ている必要がある。
これは、かなり強い反論です。
それでも、AIは何かを掘り当てている
ただし、この反論によって、私の最初の直感がすべて消えるわけではありません。
AIが人間と同じ普遍文法を持つとは限らない。
それでも、多数の言語を一つのモデルで扱えることは、自然言語の間に、横断的に学習できる共通構造が存在することを示しているように見えます。
ここでは、二つの普遍性を分けた方がよさそうです。
一つは、
人間の脳には、可能な言語を制約する生得的な仕組みがあるのか
という、人間側の普遍性です。
もう一つは、
世界の言語データには、異なる言語をまたいで学習できる共通構造があるのか
という、データ側の普遍性です。
大規模言語モデルが高い能力を示したからといって、前者がそのまま否定されたとは言えません。
AIは、人間の子どもとは、データ量も、身体も、学び方も違います。
一方、後者については、AIの登場によって、これまでとは違う方法で検証できるようになったように思います。
「確率的予測にすぎない」は十分な説明か
大規模言語モデルは、
次に来るトークンを確率的に予測しているだけ
と説明されます。
G検定の入口としては、分かりやすい説明です。
しかし、「だけ」という言葉には注意が必要かもしれません。
次のトークンを高い精度で予測するには、直前の単語だけでは足りません。
文の構造、語句の関係、話題、文脈などを捉えなければ、自然な続きを作れません。
目的が次のトークンの予測であっても、その過程で、モデルの内部に何らかの文法的・意味的な構造が形成される可能性があります。
それを人間と同じ「理解」と呼べるかは別です。
ただ、
確率的に予測しているから、文法を何も捉えていない
とまでは言えないように思います。
試験勉強としては、かなり脱線している
G検定の試験対策として考えると、ここまで深掘りする必要は、おそらくありません。
Transformerでは、Attentionや位置エンコーディング、言語モデルの基本を押さえる方が先です。
正直に言えば、第6章の技術的な仕組みを追っているだけでは、私はかなり眠くなります。
CNN、RNN、LSTM、GRU、Attention、Transformer。
それぞれの違いを整理する必要はありますが、内部構造そのものに強い興味があるわけではありません。
一方、その技術によって、人間の言語とは何かという古い問いが、別の姿で現れてくるとなると、急に面白くなります。
私は、技術そのものより、その技術が人間や社会の理解をどう変えるのかに関心があるのだと思います。
試験までは、第6章については合格点を取るための最低限を押さえる。
そこから生まれた脱線は、こうして別に記録しておく。
そのくらいの距離感でよいのかもしれません。
今のところの考え
大規模言語モデルが多数の言語を扱えることは、チョムスキーの普遍文法をそのまま証明するものではありません。
AIが人間には不可能な人工言語まで学べるのであれば、人間と同じ言語能力を持つ証拠にはならないからです。
しかし、AIの成功は、人間社会が残した膨大な言語データの中に、異なる言語を超えて学習可能な共通構造があることを示しているようにも見えます。
それを普遍文法と呼んでよいのかは分かりません。
少なくとも、今の自分には、
AIは普遍文法を発見したのではなく、「言語に普遍性はあるのか」という問いを、別の場所から掘り当てた
ように見えています。
チョムスキー本人は、大規模言語モデルに批判的です。
それでも、彼が提起した問いの影は、彼とはまったく違う思想から生まれたAIの中に残っている。
このねじれが、今の私にはとても面白く感じられます。
