「描く」を科学するプロジェクト

藤幡現在、僕がリーダーとなって進めているプロジェクトは、JST（独立行政法人科学技術振興機構）が行っている「デジタルメディア作品の制作を支援する基盤技術」というプロジェクトに対して、2年前にプロポーザルを提案したことから始まっています。テーマは「デジタルメディアを基盤とした21世紀の芸術創造」。当初は、日常生活のデジタル化と同様に、美術分野のデジタル化をきちんと考え直してみたいということから発展していきました。一見すると、美術の分野が大きな恩恵をこうむっていると思えるほど、たくさんのコンピュータ・ソフトウエアが開発されているように見えますよね。しかし、フォトショップやイラストレーターといったグラフィック・ソフトは、実際には美術にお仕着せのソフトウエアになっているという見方もできると思います。使えるものにはなっていても、「デジタルだからこそできる」という表現ではない。既存のアプリケーションは、いまある美術をお手伝いするという具体的なところからのボトムアップにすぎないんです。いま「美術とは何か」という問い直しからのトップダウンの研究を行うことで、新しい美術表現の領域を拡げることができると思うし、既存のものではないデジタル技術の開発ができるだろうと考えています。

JSTへ提出したプロポーザルでは、「見る」「描く」「撮る」を通して「対象を知る」という4つの行為を結びつけたものを、「美術」と位置づけました。そして、研究をスタートさせるに当たっては、このままではいろいろな方向性がありすぎると考え、とくに「描く」にフォーカスすることにしました。その一つが、池内さんを中心にした「ロボットによる描画行為のシミュレーション」の研究ですね。

最初は、見たものをなんらかのかたちで処理すれば、それで絵を「描く」ことができるんじゃないか、色と形のデータさえとれれば絵は描けるんじゃないか、と考えていたんです。いまから思えば、ひじょうに乱暴な考えでしたね（笑）。例えば、「描く」という行為の分析を始めると、まず対象をどのように「見る」のか、たんに3次元キャプチャーで処理すればそれでいいのか、といった具合に、付随して様々な行為が含まれています。さらには、思ったように描けているのか、いないのか、描こうと思っていたことはなんだったのか、などなど……。何も見ないで、「描く」ということだけで自立していることだってありますし。

池内それで、工学の側の研究者も含めて、まずは実際に「描く」という行為を経験しなおそうとしたわけですね。

藤幡そうですね。ロボットに実際に描かせようというその前に、このプロジェクトにかかわる方々に参加してもらって、東京藝大でヌード・デッサン教室や油絵教室を行いました。それこそ、ほとんどの工学系の研究者は、慣れない油絵具や木炭を手にしたわけで、「描く」ことをあらためて体験しようという目的でした。

このときに僕がとても興味深く思ったのは、対象を何度も見て描く人と、ほとんど見ていない人の差が予想以上に大きかったということです。ビデオで見たら、2分間で55回見る人と、7回しか見ない人がいました。「描く」ことへの没頭のしかたがまったく違うんですね。しかし、どちらも「描く」という行為として、本人にとっては満足できるものでもある。「描く」だけでもひじょうに複雑な行為だと、再認識しました。

「描く」ことを通じて、いったい人間の中で、どんな創造的なことが起こっているのか。人間の創造の本質を、この研究から科学的に分析していきたいですね。

ロボットがどこまで判断するのか

藤幡人間の行為を、ロボットにまるごと置き換えて模倣させる。そんなことを現在考えているわけですが、人間にセンサーをつけて、そのデータ化された動きをロボットに与えたからといっても、人とロボットでは身体性が違うのでマッチしません。ですから、人間のデータをロボットに適応させる基本的なタスク（課題）のモデルをつくって、スキル・パラメーターで調節していくわけです。そして基本的なタスクに上位のタスクを載せていく。例えば、丸を描くとき、一気にグルッと描く場合と、右と左に分けて2回で描く場合があるわけです。1つのタスクで描くのか、2つのタスクで描くのか、その次には、線を引くのか、点を描くのか……とタスクを増やしていくことで、複雑な行為を実行していくという考え方です。「描く」行為のそうしたモデル、仮説を構築するということが、東京藝大側の当面の課題になっています。

池内「『描く』を科学する」ということを、ロボットを使ったシミュレーションを通じて共同研究しているわけですが、私自身がこの研究のゴールとして考えていることは大きく3点あります。「何を描くのか」「どのように描くのか」「描くことに身体性は必要なのか」の解明です。描くことの身体性には、とくに興味がありますね。画家、というか人間の身体性と意思がどのように統合されて、描く行為があるのか、それが知りたいと思っているんです。研究のアプローチは、「Analysis by Synthesis（統合による分析：同等な機能を持つ人工物の実現過程を通じて、複雑なシステムの分析を行う方法）」という、当然ですが工学的な手法です。ロボットによる描画システムを構築しながら、その過程を解析し、3つのゴールを目指します。

われわれの研究室にあるロボット「ドットちゃん」ですが、「3次元モデルを構築」し、「どのように描くかということを抽出」し、その結果によって「筆を持った多指ハンドを使って描画」しているというのが概略です。それに改良を加えながら、とりあえずリンゴを描くところまできたというのが現在の状況です。

ここまでが第1段階で、今後の展開方向としては「多視点画像からの3次元モデルの生成」「よりリッチな描画情報の抽出」「器用な描画動作の実現」といったことを考えています。対象物のデータは3次元で持っているわけですから、ピカソのように多視点を重畳したり、デュシャンのように動きを重畳したりしていくような表現も実現したいと思っています。

人間が絵を「描く」ときに対象物の周囲を動き回るように、ロボットが自分で動き回って情報を収集するというふうにもしていきたいですね。遠くから眺めたり、近づいて見たり、ドットちゃんが見直しながら絵を描いていくということをやりたいと思っています。もちろん、いまのままでは、ドットちゃんが大きすぎて危険ですけど。それに、いまは筆を見て、つかんで、そして線を引くということはできていますけれども、絵具をつけるとか筆を洗うなんていうこともさせたい。そうして性能を上げていって、対象を見る、自分の絵を見るという2つの結果を、計算機の内部で突き合わせて、どういうものが描きたいのか、どういうところが描き足らないのかを評価して再描画するとか、将来的にはシステムをそこまでもっていきたいですね。

身体性から出てくる描き方

池内なぜ「3次元モデルの構築」から始めるのかというと、対象物を見たときに、人間は脳の中にイメージとして一般的なモデルを持っているだろうと考えられるからです。脳の中には、線画や写真とは違うヴォリュームをもった何かがあって、そういうものを参照しながら世界を見ていると思います。だからこそ、描き手の要望に応じた、任意視点の線を抽出することができる。となると次の問題は、どういう特徴を3次元モデルから抽出していくのかということになります。この部分を東京藝大とこれから詰めていくことになります。

多指ハンドを使った描画にこだわっているのは、もともと私の関心事でもありますが、やはり身体性と筆のかかわりを知りたいからですね。ドットちゃんは、センサのついた4本の指で筆を持って描画していますが、世界的に見てもかなりの水準のことをしています。多指ハンドを使ってわかってきたことは、「描く」際に、握りの強い向きと弱い向きができてくることで、弱い方向には筆を動かさないんです。これはロボットだけでなく、もちろん人間でも同じことですね。握りが弱い方向には、あまり筆を運ばない。だから、リンゴを描く場合も、グルッと円を描かないわけです。つまり、右半円と左半円の2つのタスクで描くんです。

藤幡味がありますよ（笑）。分けて描いて揃わなかったり、線がつながらなかったりするあたり、かえって人間みたいですね。

池内そうなんです。味があるリンゴの絵が描けているなぁと思ってしまうんですけど、やはりこのあたりも問題だと思っています。それは描き手の結果に対して、解釈する人の側の問題なんですが……。「味がある」とかいうことであれば、ロボットが解釈する人のことを意識できるところまでいかないと。この間、DVDで『ミステリアス・ピカソ　天才の秘密』を藤幡さんが見せてくれましたけど、ピカソはあえて見る人の意表を突くような描き方をします。解釈する人を描き手がどこまで意識して「描く」のか、それはひじょうに重要だと思いました。

「描く」ためのタスク・モデルを考える

藤幡ピカソの映画を観ていると、「描く」ということには、「見せて驚かせる」という目的があきらかに含まれていることがわかります。実際、「描く」を考えるうえで、主体のモチベーションの問題は、重要なファクターになっていると思います。

ですから、タスク・モデルを構築するためでもあるのですが、絵画を「描く」目的別に分類するということを考えています。つまり、目的によって描き方が変わってくると思うんです。いま考えている範囲では、次の4つの目的に集約できるのではないでしょうか。つまり、「見ることが目的」、「描くこと自体が目的」、「見せることが目的」、「使うことが目的」。この4つの間でダイヤグラムができるんじゃないかと思います。

「見ることが目的」というのは、例えば植物図鑑とかの絵ですね。以前、植物学者の牧野富太郎の原画を見たことがあるのですが、描くことによってものすごく観察しなくてはいけなくなっているという好例ですね。「描くこと自体が目的」というのは、例えば子どもが鉛筆の感触を楽しんでいるようなことだと思うんです。ひょっとしたら、グラフィティなんかもここに入ってくるのかもしれない。「見せることが目的」というのは図面とかですね。「使うことが目的」というのは地図やポルノだとか。

画家は、純粋に「描くこと自体が目的」だといっていますが、じつは「見せること」も目的だし、さらには売ることが目的だったりします。目的はただ1つというわけでなく、いくつかの要素をもちながら絵画というものはあるわけです。いま、この研究で扱おうとしているのは、「見ることが目的」の絵、「描くこと自体が目的」の絵だといってよいでしょう。また、目的に対応して、「具体的な対象物がある絵画」、「具体的な対象物がない絵画」、「記号の絵画」というレイヤーもあると思います。整理はこれからなんですが、タスク・モデルを考えるためには、新しい絵画の分類が必要になっているのではないでしょうか。

それと、具体的な絵の描き方にかかわる部分で、3次元モデルから何をどのように抽出するのかということを、絵と写真の違いから分析しています。静物を使って、コントラストや遠近感、広角や望遠の使い方、見せ方まで実験して、つまり、写真と写生の違いとは何かを調べているわけです。いまいえるのは、写真には消失点が1点しかないけれど、絵画には複数あるということ。写真をどのように処理すると絵画になるのか。絵画らしさとは、どういったものなのか。揺らいでいる風景を捉える「絵画的」なリアリティを明確にしたいですね。

池内藤幡さんからそうした情報をいただいて、ロボット自身が比較して修正したりしていけたらおもしろいですよね。私たちが、工学的なアプローチをして、さまざまな条件を満たしながら結果を見ていくということですね。