AR パペット
役割
コンセプト、ステージデザイン、3Dモデリング、AR開発、パフォーマンス
伝統的な人形劇は実体の道具と固定のステージに依存している。ARで物理操作の感覚を保ちながら、人形劇をテーブル上に持ち込めるか？
マルチ画像トラッキングベースのAR人形劇場を作り、パフォーマーがテーブル上の実物タイルを動かしてデジタルキャラクターを操る、観賞可能なライブパフォーマンスを実現する。
カルカソンヌボードゲームのタイルをARトラッキングマーカーとして使用。Unity + ARFoundationで6タイル同時トラッキングを実現し、オリジナル脚本と3DシーンをiPhoneにデプロイ。
授業で完全なライブパフォーマンスを完遂。6タイル同時トラッキングで安定60fps、通常室内照明で認識成功率 > 95%（iPhone 15 Pro）。
動機
『サウンド・オブ・ミュージック』の操り人形劇をはじめて見たときのことを今も覚えている。人形がステージ上で踊り、まるで命があるかのようで。パフォーマーの指が動き、しかし観客が見るのはキャラクターが生きている姿。
授業でARに触れた時、ARと人形劇が構造的に同じだと気づいた——どちらも現実の物体を操作して、仮想のキャラクターを物理空間で生かす。違いは媒体だけ——人形劇は糸と棒、ARはカメラとスクリーン。
リサーチ
二つの人形劇の伝統を研究した——歴史的概観としてではなく、ARインタラクションデザインに変換できる原則を抽出するために。
中国影絵芝居
平たい人形をバックライトのスクリーンに当てる。観客は操り手を見ない——影と光だけ。核心的な仕組み：パフォーマーが実物の操作で物語を制御し、観客はフレーム越しに物語を体験する。これはARと構造的に同一：物理的入力、フレーム化されたデジタル出力。
西洋マリオネット劇場
人形は観客と同じ空間にいる。糸が操り手の手とキャラクターの手足を直接繋ぐ——手の動き一つ一つがキャラクターの動きに対応する。教訓：物理からデジタルへのマッピングが直接的であるほど、キャラクターはより生き生きする。抽象化レイヤーなし。これを動かせば、あれが動く。
観客は「フレーム」越しにパフォーマンスを見る。影絵はスクリーン、ARはスマホ画面。操作はフレームの外で行われる。
物理オブジェクトを動かせば、キャラクターが動く。抽象化レイヤーゼロ。マリオネットは糸、ARは画像トラッキング。
デザイン
デザイン判断
なぜ実物で、タッチではなく？
タッチスクリーン操作ではパフォーマーがスマホユーザーになってしまう。ボード上で実物のタイルを動かすことで、人形劇を定義する身体的パフォーマンスが維持される——観客はスクリーンだけでなく、パフォーマーの手を見ることができる。
なぜボードゲームのタイル？
AR画像トラッキングには視覚的に十分ユニークなマーカーが必要。カルカソンヌのタイルは手描きで、一枚一枚異なる——完璧なトラッカビリティ。しかもグリッドボードがステージに空間構造を与え、カスタムハードウェアは不要。
なぜライブで、プリスクリプトではなく？
伝統的な人形劇は即興的。パフォーマーがリアルタイムでテンポ、配置、強調を決める。プリスクリプトのアニメーションではパフォーマンスではなく動画になってしまう。
なぜ観客個人のデバイスで？
各観客のスマホは劇場の異なる座席。テーブルを一周すれば新しい角度からステージが見える——伝統的な人形劇場では不可能なこと。
ステージデザイン
ステージはカルカソンヌタイルを配置したグリッドボード。二つのゾーン：シーンエリアは環境の切り替え（タイルを替えれば背景が変わる）、キャラクターエリアはパフォーマーがキャラクタータイルを動かしてストーリーを進める場所。この区分は伝統的な人形劇場を映している——固定の背景幕と、その前の可動パフォーマンス空間。
ボードゲームとの繋がりは装飾的なものではない。カルカソンヌではタイルを置いて世界を構築する。ここではタイルを置いてステージを構築する。メカニクスがそのまま移植された。
シーン
シーンは2つだけ。理由はシンプル：6枚のタイルのうち4枚はキャラクター用、シーンには最大2枚しか割けない。2つのシーンは自然に「出発—到着」の物語アークを作る。
田舎道
オープニング。見張り塔、樹木、石墙——キャラクターがここで出会い、旅に出る。
町の市場
フィナーレ。中世マーケット、木造建築——4人のキャラクターがここで集合し、物語が完結。
キャラクター
4体のローポリキャラクター。ローポリは意図的な選択——カルカソンヌタイルはスケッチスタイルのイラストで、リアルなキャラクターを置くと視親的一貫性が崩れる。各キャラクターは専用タイルにマッピングされ、固定の関係性はなく、同じ脚本でも毎回異なる公演になる。
ストーリー
短い脚本：「魔法と鋼の旋律」。騎士と兵士が田舎道で出会い、町の市場へ旅する。そこで魔法使いと商人を見つける。ストーリーは意図的にシンプル——重要なのは脚本ではなく、パフォーマンス。毎回の公演は、パフォーマーがタイルをどう動かすか、どこで止まるか、何を強調するかによって異なる。
Scene 1: The Countryside Road A gentle melody begins as Sir Rowan, a knight, rides through the countryside. He spots a Soldier sitting on a rock, cleaning his shield. Song: "On the Road to Glory" Sir Rowan: "Through the fields, across the plains, with my sword, I carve my name." Soldier: "I've seen my share of toil and pain, fighting battles that never end." Sir Rowan: "Let's travel together, my friend. Strength is found in numbers." Soldier: "A knight's company is always welcome." Scene 2: The Town Market The market is busy, with vendors calling out. The Wizard is performing a magical trick. The Vendor is selling fruits nearby. Song: "Magic and Food" Wizard: "Potions and charms, come and see, a little magic for you and me!" Vendor: "I've got apples and meat, fresh and sweet, forget the magic, come take a treat!" Sir Rowan: "I'll take both—strength and sustenance." Soldier: "A full belly and a bit of magic—perfect!" All Together: "Together we stand, with food and might, through every journey, we take flight!"
開発
Unity + ARFoundationを選んだのは、マルチ画像トラッキングと3Dレンダリングを両方サポートする唯一のソリューションだから。Web ARはトラッキング精度が不足、ネイティブARKitには3Dレンダリングパイプラインがない。iPhone 15 Pro（ARKitバックエンド）にデプロイ。
難題はマルチ画像トラッキング。ARFoundationは複数画像を同時にトラッキングできるが、6枚のタイルがテーブルに同時に置かれると、各々を認識し、正しい3Dモデルにマッピングし、パフォーマーがボード周りを移動しても空間位置を保持する必要がある。初期ビルドではタイルがちらついて消えた——ライブパフォーマンスに耐えるほどトラッキングが安定していなかった。
キャラクターのちらつきと消失
試行 トラッキングバッファゾーンを拡大し、信号ロスト後の保持時間を延長
結果 ちらつきは減ったが位置がドリフト——キャラクターがタイルからゆっくり離れていった
一部タイルの認識率が低い
試行 各タイルのトラッカビリティスコアを個別にテスト
結果 単純なパターンのタイルはスコアが非常に低いことが判明。複雑なパターンのタイルに交換後、安定性が大幅に向上
解決策は参照画像ライブラリにあった。カルカソンヌタイルは豊かな色彩、パターン、イラストを持ち、トラッキングアルゴリズムに十分な視覚的特徴を提供する。ARFoundationで各タイルのトラッカビリティスコアをテストし、閾値以下のタイルを入れ替えた。結果：通常の室内照明下で6枚のタイルを同時トラッキング、安定60fps。
Unity + ARFoundation
画像トラッキング、平面検出、レンダリング。標準的なAR開発パイプライン。
マルチ画像トラッキング
6枚のタイルを参照画像として登録。各検出が対応する3Dモデルをタイルの実世界の位置と向きでトリガー。
iOS / ARKit
iPhoneにデプロイ。ARKitがカメラポーズ推定、特徴検出、環境マッピングを処理。
振り返り
ARと人形劇は同じ構造を共有する：実物を操作して、仮想のキャラクターを物理空間で生かす。カルカソンヌタイルがそれを実現した——カスタムマーカー不要、タッチスクリーン不要、パフォーマーの手がそのまま操縦桿。
一人で6枚のタイルを管理するのは非現実的だった。公演中は慌てて、観客の注意もスマホとテーブルの間を行き来した。人形劇の真の形態は分業であり、一人芝居ではない。
次のステップ：マルチパフォーマーモード——一人がキャラクター、もう一人がシーンを操作。外部スピーカーと大画面プロジェクションで、ショーをスマホからステージへ。