「蒸留して作られた」と言われたとき、いったい何が写されたことになるのでしょう。この言葉は2015年の一本の論文から来ていて、その中身は、思っているよりずっと不思議です。写されるのは正解ではありません。先生の迷い方のほうなんです。そして四十年前、同じ問い——コピーとは何を写すことか——に、法と技術で答えを出した人たちがいました。
城戸さんが特集一で、技術が千五百年ずっと盗まれながら広がってきた話を書いています。僕は同じ問いを、技術の側から見てみます。
つまり、こういう問いです。コピーするとき、僕らは何を写しているんでしょう。
「蒸留」という言葉は、2015年の論文から来ている
まず言葉の出どころから。
蒸留（distillation）というのは、AI の分野では 2015 年のある論文が広めた言い方です。ジェフリー・ヒントン、オリオル・ヴィニャルス、ジェフ・ディーンの三人による「ニューラルネットワークにおける知識の蒸留」（arXiv:1503.02531）。
この論文が解こうとしたのは、けっこう地味な問題でした。たくさんのモデルを束ねて使うと精度は上がる。でも重い。実際に製品に載せるには重すぎる。じゃあ、その束ねた知識を、一つの軽いモデルに移せないか——そういう話です。論文の言い方を借りれば、「アンサンブルの知識を、はるかに配備しやすい単一のモデルへ圧縮することが可能である」。
大きいほうを教師、小さいほうを生徒と呼びます。ここまでは、まあ、分かる。
問題は、生徒が教師から何を受け取るかです。
正解ではなく、迷い方を写す
ここからが本題です。
普通に考えると、生徒は教師の「正解」を教わればいい気がします。この写真は猫、この写真は犬。正解のラベルを大量に渡して覚えさせる。
でも蒸留がやるのは、そこじゃないんです。生徒が真似るのは、教師が出した確率の分布のほう。つまり「これは猫である確率が90%、犬が7%、狼が2%、トラックが0.001%」という、間違った選択肢に割り振られたわずかな数字まで含めて写す。
学校のテストで考えてみてください。
満点の答案を写させてもらっても、写せるのは答えだけです。なぜその答えなのかは分からない。ところが、先生が採点しながら書き込んだメモつきの答案を見せてもらえたらどうでしょう。「これは論外」「これは惜しい、あと一歩」「これが正解」。同じ一問でも、受け取れる情報の量がまるで違います。選択肢どうしの距離が見えるからです。猫とトラックは遠く、猫と狼は近い——教師モデルは、そういう世界の構造を知っている。その構造ごと渡すのが蒸留なんですよ。
論文はこれを「間違ったクラスに割り当てられた確率にも、豊かな情報が含まれている」と説明します。正解だけを教わった生徒より、迷い方まで教わった生徒のほうが、少ない材料でうまく育つ。
だから、蒸留は「安く追いつく」道具になる
蒸留がなぜ今週のニュースに出てくるのか。ここまで来ると見えてきます。
大きなモデルを一から育てるには、莫大な計算と電気とお金がいります。ところが蒸留を使えば、すでに育った教師の答え方を写すことで、自前で全部やるより安く、それなりのところまで行ける。教師が何年もかけて世界の構造を学び取ったのなら、その構造を写させてもらえばいい、という発想です。
もともとは配備のための圧縮技術でした。それが、追いつくための技術としても効いてしまう。今週、米ホワイトハウス OSTP のクラツィオス局長が Kimi K3 について「Anthropic のモデルを大規模に蒸留して作られた」と主張したのは、この後者の意味です。
念のため書いておくと、Kimi K3 が水曜の紙面で扱ったとおりコーディングのランキングで首位に立ったモデルであることと、それがどう作られたかは、別の問題です。前者は測定できて、後者はいま争われている。僕は技術の側だけを書きます。
1982年、二つの部屋に分かれた技術者たち
さて、時計を四十四年戻します。
1982年11月、Compaq という会社が「Compaq Portable」を発表しました。IBM の PC と 100% 互換をうたう、最初の本格的なクローン機です。
IBM 互換機を作るには、どうしても BIOS——起動と入出力の面倒を見る、機械のいちばん底にあるソフト——が同じように振る舞う必要がありました。でも IBM の BIOS のコードをそのまま使えば、それは著作権侵害です。
そこで Compaq がやったのが、クリーンルーム方式でした。
技術者を、二つのグループに分けます。
チーム1は、IBM の BIOS を逆アセンブルして、徹底的に調べます。この関数呼び出しは何をするのか。割り込みはどう振る舞うのか。起動の手順は何を要求するのか。そして、調べた結果を仕様書にまとめる。ここが肝心なところで、仕様書には「何をするか」だけを書き、「どう書かれているか」は一切残しません。実装の details を剥ぎ取った、振る舞いの記述だけにする。
チーム2は、完全に隔離された部屋にいます。IBM のコードは見たことがない。彼らが受け取るのは、チーム1が書いた仕様書だけ。それを読んで、ゼロから BIOS を書き起こす。同じ振る舞いを、違う実装で作るわけです。
これが機能したのは、著作権が保護するのは表現であってアイデアではない、という原則があったからです。IBM のコードという具体的な表現は守られる。しかし「起動時にこの順番でこう振る舞う」という機能的な要件そのものは、誰も独占できない。だから、独立に書かれた二つの実装は、法的に別の著作物になる。
IBM は Compaq を訴えませんでした。
つまり、四十四年前には線が引けていた
僕がこの話を持ち出したのは、懐かしいからではありません。
1982年の Compaq は、「写してよいもの」と「写してはいけないもの」の線を、きれいに引ける状況にいたからです。
写してよいのは振る舞い。写してはいけないのは実装。線がはっきりしているから、技術者を二つの部屋に分けるという運用でその線を守れた。仕様書という紙が、部屋と部屋の間を通る唯一のものになる。何が通ったかを、あとから検証できる。
城戸さんの特集一に、1789年のイギリスには「図面を持ち出したかどうか」という検査可能な線があった、という話が出てきます。1982年の Compaq がやったのは、それと同じ種類のことです。線を引き、線を越えたかどうかを検査できる形にした。
蒸留には、その線がない
そして蒸留には、いまのところ、それがありません。
考えてみてください。蒸留で写されるのは、教師モデルの答え方の分布です。これは実装でしょうか、振る舞いでしょうか。
コードは一行も写っていません。重み——モデルの中身の数値——も写っていない。写されたのは、問いに対する答え方の癖です。1982年の分類でいえば、それは「振る舞い」に見えます。だとすれば、写してよいものだったことになる。
でも、待ってください。その答え方の癖こそが、教師モデルの価値そのものです。何年分もの計算と電気を注ぎ込んで獲得した、世界の構造の見え方。それが写せてしまうなら、「振る舞いは写してよい」という 1982 年の線引きは、そのまま持ち込めるんでしょうか。
僕には答えが分かりません。そして、たぶん誰にも、まだ答えは出ていません。 1982年の Compaq には「著作権は表現を守り、アイデアは守らない」という、あらかじめ存在する一般の線がありました。二つの部屋に分けるという工夫は、その線を守るための手段にすぎません。線が先にあったから、手段を設計できた。蒸留について、それに当たる線がどこにあるのかを、僕はまだ聞いたことがない。
編集長の声が聞こえます。「で、それは何の役に立つの」。
いい質問です。役に立つのは、こういうときです。ニュースで「盗まれた」という言葉を聞いたとき、それが「線を越えた」という意味なのか、「まだ線がない場所を歩いた」という意味なのかを、区別して聞ける。 二つはぜんぜん違う話です。前者は裁判で決着します。後者は、これから誰かが線を引くまで決着しません。
蒸留という比喩が、よくできている理由
最後に、言葉の話に戻ります。
蒸留というのは、もともと液体を熱して蒸気にし、冷やしてまた液体に戻す操作のことです。この過程で、元の液体の一部だけが移っていく。全部は移らない。移ったものは元と同じではないけれど、元の性質のいちばん濃いところを受け継いでいる。
ヒントンたちがこの言葉を選んだのは、モデルの圧縮を説明するためでした。でも 2026 年のいま、この比喩は別のことも言い当ててしまっています。
蒸留されたあとの液体を見ても、それがどの樽から来たのかは、匂いでしか分からない。
今週、国家が名指しに使ったのは、まさにその匂いの議論でした。