さまざまな業界から企業やクリエイターが集う世界最大級のテクノロジーと音楽・映画の祭典「SXSW 2023」(サウス・バイ・サウスウエスト 2023)が、3月、米テキサス州で開催されました。電通と電通クリエーティブXは、インタラクティブ部門「Creative Industries Expo」(クリエイティブ・インダストリーズ・エキスポ)に参加。「Unnamed Sensations」（まだ名もなき新しい感覚）をコンセプトに、世界に向けて最先端の体験を創造する3つのプロトタイプ作品を出展しました。最先端テクノロジーとクリエイティビティの融合が可能にした「触覚」「食感」「嗅覚」という3つの感覚の拡張について、リポートします。
今回３つの作品を出展しました。
今回の出展作品
作品１ 「Phantom Snack」
食べていないのに食べているような
新しい咀嚼（そしゃく）体験システム「Phantom Snack」（ファントムスナック）。「食べていないのに食べているような」感覚とは？ プロジェクトチームを代表して、和泉興氏に聞きました。
体が食感を欲している
――Phantom Snack（ファントムスナック）とは？
Phantom Snackは、全く新しいギルトフリーな（罪悪感のない）咀嚼体験です。口に何も入れることなく、サクサク、ポリポリといった咀嚼の感触や風味を楽しむことができます。何も食べないのでカロリーを全く摂取することがなく、むしろかめばかむほど運動カロリーを消費します。
そのアイデアは、個人的な体験から生まれました。私（和泉）は夜中についスナックを食べてしまいますが、お腹が空いているから食べたいというよりは、口さみしさを紛らわせたいという気持ちが大きいと感じていました。体が欲しているものがカロリーではなく、食感であるとした時に、食べてもカロリーを摂取しない方法が見つかれば、自分と同じ悩みを持つ大勢の人の気持ちを楽にできるのではないかと考えていました。
20年ほど前に方法だけは思いついていましたが、なかなか開発に着手できませんでした。いつか誰かが同じことを思いついて作ってくれたら買おうと思っていたのですが、なかなか現れず、ちょうど社内開発の募集があったため、応募して実現しました。
――どのようなチーム編成でSXSWに挑みましたか？
電通、電通クリエーティブX、電通デジタル、さらには協力会社などからスタッフが集まり、チームを編成しました。企画／コーディング／ハードウエア制作／開発プロデュースを担当するクリエイティブ・ディレクター、ネーミング／企画／ビジュアル面のエンジニアリングを担当するテクノロジスト、ブース全体の体験設計／デザイン・ロゴ・アニメーションを担当するアートディレクター。さらには、画像認識のAI開発担当、開発・展示プロデュース担当、モーショングラフィック制作担当、音声制作担当、看板美術担当、解説動画ディレクション担当。加えて、咀嚼や脳に関する研究機関に学術情報面でご協力をいただきました。
現地の出展ブースで来場者対応を行った３名は全員がSXSW初参加で、英語も不慣れでした。４日間の展示は、初日こそ不安でしたが、数をこなす中で短い期間で経験値が上がり、対応について日々反省と改善を行うことができました。それもあって、最後の一般観覧の頃にはかなりスムーズに接客ができていたと思います。
顔の画像認識と骨伝導イヤホンが連動
――新しい咀嚼体験を、どのようなテクノロジーで実現しましたか？
口の中に何も入れずに食べ物を咀嚼する動作をすると、顔の画像認識で検出した顎の動きに合わせて、骨伝導イヤホンからサクサクという咀嚼音と振動がフィードバックされるというのが基本的な仕組みです。さらに映像やアロマディフューザーを連動させることで、まるで本当にスナックを食べているような咀嚼体験が得られます。今回、出展ブースではチョコチップクッキー、ポテトチップ、サラダ、この世にはない未体験のスイーツなど、さまざまな「かむ体験」を用意しました。
――アイデアの実現にあたり、困難だった点はありますか？
机上論では成立しても実際にやってみないと確信が持てず、工数も見えない未知の部分があったので、社内提案前から先行してプロトタイピングを進めました。口を閉じたまま顎を動かす、モグモグという動きの検出についてです。工夫と試行錯誤が必要でした。初期の計算原理は比較的シンプルにできましたが、それでも画像認識で得た顔の特徴点を計算可能なように加工するコーディングについては調べても前例がほとんどなく、大変な開発になりました。めどがたったところで精度アップのためにルールベースから機械学習にシステムを移行しました。SXSWで成功させるには、さまざまな人種の顔や顎の動きに対応させる必要があります。データのサンプルとして電通グループの多くの方々に協力を依頼しました。
また、気持ちの良い体験にするため、音響やモーショングラフィックにも特に力をいれました。ここはわれわれの得意分野です。広告クリエイティブの制作で実績のあるプロフェッショナルにご協力いただいたことで、エンターテインメントとしてのクオリティが高いものに仕上がったと思います。
――現地での反響はいかがでしたか？
開発当初から国内のチームや関係者の中では好評でしたが、この体験自体が、海外でも受け入れられるかが不安でした。しかし、物珍しさもあって非常に楽しんでいただけたと思います。
多くの人が、その体験中にクレイジーだと笑ってくれましたし、スナックをつい食べすぎてしまうという私と「同類」の方からはすぐにでも欲しいと言っていただけました。またサステナビリティの課題に取り組んでいる方や、近い分野の研究をしている方からも反応が得られ、輪が広がりました。
ブースでは常に行列ができており、1000人以上の方々に実際にPhantom Snackを体験していただけました。未知の新しい体験を求めてSXSWにやってきた方々の期待に応えられたという実感がありました。
なにより、自分たちで開発してデザインしたものを大勢の人に体験してもらって、その反応を直に見られるというのは本当に貴重でハッピーな体験だと思いました。
美顔体操から認知症予防まで
――このテクノロジーの可能性について教えてください。
咀嚼することそれ自体には、健康面や精神面にさまざまな良い影響があると報告されています。集中力を高めたり、ストレスを軽減したりする効果などがあるそうです。また咀嚼は認知症の予防などにも効果があると期待されています。Phantom Snackでも同様の咀嚼効果が得られるか、今後も研究が必要です。この分野で、世の中に大きく貢献できる可能性について、ぜひ大学の研究室などと一緒に開発したいと考えています。まだ実際には試せていませんが、流動食に歯応えを加えて、療養中の食事をより楽しいものにできるかもしれません。
一方、この擬似的な咀嚼をエンターテインメント的な側面や、カロリー抑止として利用することはすぐにでも可能だと考えています。Phantom Snack単独でも次世代の嗜好（しこう）品として楽しめるものにできますし、実際に物を食べながら利用すれば、例えば油を使わずにクリスピーな食感を増幅させることもできそうです。VRと組み合わせればバーチャル空間で食べるエンターテインメントをヘルシーに構築できます。既存のVRゴーグルは口を隠さないので、画像認識にも向いています。モグモグする動きをコントローラーとして美顔体操になるフィットネスゲームにもできますし、他にもさまざまな利用シーンが考えられます。
日本人の咀嚼回数は有史以来一貫して低下し続けていると聞いていますが、ファントムスナックが人類の咀嚼回数の回復と健康増進に貢献できれば最高です。
――今後SXSWに参加する人や見に行く人に一言お願いします。
私たちはCreative Industries Expoに出展しましたが、今年は特にXR Experienceの展示にエッジが立っている印象を受けました。今後見に行かれる方は、SXSW全体を見回して、トレンドをキャッチ、実感できると良いかもしれません。
出展者として参加される方には、通常のサービス開発と同様に、最終成果物の体験リハーサルに重きを置き、統合テストと改善を数回繰り返すことをお勧めします。Phantom Snackは開発がかなり遅れましたが、なんとか数回の改善、改修を差し込むことができました。これが良い結果につながったと思います。
新しい体験を期待して来場される方々に驚きを直接提供できることはとてもエキサイティングです。ぜひ多くのクリエイターに出展を経験していただきたいと思います。
作品２ 「Hugtics」
自分で自分を抱きしめる
ベスト型ハグ体験テクノロジー「Hugtics」（ハグティクス）。「自分で自分を抱きしめる」感覚とは？ プロジェクトチームを代表して、大瀧篤氏に聞きました。
より幸せに生きていくための新しい提案
――Hugtics（ハグティクス）とは？
「Hug」（ハグ：抱きしめる）+「Haptics」（︎ハプティクス：触覚を擬似的に再現する技術）の造語です。ハグに特化した新しい触覚の提案をしていく姿勢を込めました。人間の幸福度を高める行為であるハグを、テクノロジーの力で再発明し、メンタルヘルス領域をはじめ多様な社会課題解決に貢献することを目指しています。SXSW 2023では、その第一歩として “自分で自分を抱きしめる”新しいハグ体験や他者のハグを転送する体験型デモンストレーションを行いました。
世界的にみて医療の発達により人類の平均寿命は伸びています。その一方で、精神面での課題を抱える人も増加の一途をたどっている状況でもあります。その社会課題に対して、私たちができることはないだろうか。より幸せに生きていくための新しい提案を考える中で生まれたのがHugticsです。
――どのようなチーム編成でSXSWに挑みましたか？
全体の企画・プロデュースを、電通「Motion Data Lab」のプロジェクトメンバーが担いました。Motion Data Labは、世の中のあらゆるモーションデータを集約し、伝統文化の継承やスポーツ領域、予防医学など、多様な領域での課題解決に応用していくプロジェクトです。また、今回のコア技術である触覚コミュニケーションデバイス「Sense-Roid」（センスロイド）を担当する開発パートナーとして、研究者の高橋宣裕さんにご参加いただきました。さらに、映像、ウェブ、ベスト制作などをピラミッドフィルムクアドラが、脳波測定を電通サイエンスジャムが、それぞれ担いました。
体験型デモンストレーションなので、企画書上の議論にとどまりすぎると絵に描いた餅になってしまいます。私たちは早々に実験をしては課題を見つけ、改善し続けることを大事にプロジェクトを推進してきました。
ハグを計測して、人工筋肉にフィードバック
――新しいハグ体験を、どのようなテクノロジーで実現しましたか？
鍵となるのは、人工筋肉が編み込まれたウェア型デバイスです。このウェアを着ながら圧力センサーを付けたトルソー（胴体部分のディスプレイツール）を抱きしめると、ハグのデータが計測され、人工筋肉にフィードバックされることで、自分で自分を抱きしめるという未知の体験を実現しています。
さらに、電通サイエンスジャムの「感性アナライザ」を用いて脳波をセンシングし、ハグ時の幸福度に関連する複数の感情変化を計測。その効果を独自のアルゴリズムで可視化し、ベスト型ウェアに内蔵したLEDの色に反映し、直感的に効果がわかる仕様です。
また、ベストと人工筋肉をセットにすることで人工筋肉からのフィードバックをより面の圧力に変え、ハグの感覚に近づけました。人工筋肉のみだと紐状の締め付け感が強いことが課題と思っていましたので、いろいろな素材やその厚さなどを検証のうえ、ベストを精査していきました。
――現地での反響はいかがでしたか？
来場者は好奇心旺盛な方が多く、体験するだけではなく、コメントをくれたり、質問をしてくれたり、ディスカッションに発展することが多かったです。多様な反応がありましたが、全てポジティブな反応でした。「It’s Cool!」だったり、良い意味で「So Crazy!」と満面の笑みで言っていただいたり。さらに、「この技術で、お母さんのハグを記録に残したい」「亡くなった父とのハグを思い出して幸せな気持ちになった」「孤児の子どもたちに、ハグを届けてあげたい」といったコメントも寄せられました。自分を抱きしめるという行為が、そのように発展していくことが興味深く、今後のヒントになりそうに思いました。
私たちは現場のオペレーションで精一杯だったため、周りを見る余裕がなかったのですが、他社の方やお客さんからは、「電通ブースが展示会場内で最も多くの人が集まっていた」「良いプロダクトやサービスがあっても見せ方が勿体無いブースも多い中で、電通はアイデアが良いうえに、見せ方も上手だった」と言っていただき、素直にうれしく思いました。電通としてのSXSW出展の経験値に加えて、コミュニケーションを生業にしている私たちだからこその強みが出せたのではないでしょうか。
時間と空間を超え、大切な人とのハグを再現
――今後の展望やHugitcsの可能性について教えてください。
技術面では、よりハグのクオリティや体験の新しさを追求していきたいと思っています。より人間を感じる温かみあるハグにしていく方向性もありますし、人間にはあり得ないようなハグをエンターテインメントの方向性として開発することも考えています。前者はよりメンタルヘルスの効果を高めることにつながると思いますし、後者はエンタメ利用の可能性が広がると思います。
ビジネス面では、企業とコラボレーションすることで、Hugitcs体験者の母数を増やしていきたいです。体験型デモンストレーションの宿命として、プロモーション動画だけではなかなか良さを伝えきれないですから。まずは現状のプロトタイプを用いることでコラボレーションの初速を上げつつ、中長期的にはニーズに合わせてHugticsをオーダーメイドで発展させ、より広く社会実装していくことを考えています。
Hugticsの可能性は、時間と空間を超えて広がります。Hugticsはハグのデータを常に保管しておけるので、ハグの「データプラットフォーム」を作ることができます。アイドルやスポーツ選手など著名人のハグもあれば、家族やパートナーなど大切な人のハグなど。それらを時間や場所を超えて残しておき、いつでも再現することができます。ハグのデータで医療、孤独対策、メタバースなど、さまざまな分野の課題に挑戦し、アップデートしていきたいです。
――今後SXSWに参加する人や見に行く人に一言お願いします。
現地での多様なディスカッションとフィードバックが一番の財産になったと感じています。出展者同士のつながりもできました。新しい出会いと発見があるので、興味がある方は、ぜひトライしていただけたらと思います。
また、プロジェクトメイキングという観点でも良いベンチマークになります。SXSW出展を目標に据えることで、チームに推進力が生まれます。世界中の人々が訪れる場所に恥ずかしいものを持っていくわけにはいきませんから。社内コンペに勝ち抜くことで、自分たちのアイデアのクオリティに自信を持てますし、その過程で多様なアドバイスをいただけるので、アイデアとプロジェクトが磨かれる良さもあると感じました。
アイデアと熱量があれば、思いを形にしたり、目標を実現できると思います。出展を検討されている方は、ぜひチャンスを掴んでいただけたらと思います。
作品３ 「Transcentdance」
匂いを可視化する
匂いデータをダンスに変換するARコンテンツ「Transcentdance」(トランセントダンス)。「匂いを可視化する」とは？ プロジェクトチームを代表して、電通クリエーティブXの田中翔太氏に聞きました。
「匂い」がAR上で踊る
――Transcentdance（トランセントダンス)とは？
「Transcend」（超越する）+「Scent」（匂い）+「Dance」の造語です。一言でいうなら、ダンスとして可視化された匂いを楽しむコンテンツ。体験者が匂いを選ぶと、その成分をセンサーが読み取り、AIが解析した匂いの種類や成分比率に合わせて、リアルタイムでキャラクター化された「匂い」がAR上で踊ります。瞬間的な情報ゆえに可視化することが難しいとされている匂いに時間と空間の情報を付加し、動きのあるダンスと結びつけました。
きっかけは、普段の広告作業で匂いを表現するような場合、毎回とても難易度か高いと感じていたことでした。できれば匂いをもっと直接的に見えるように、伝わるようにできないか。そこで、SXSWに向けた社内の企画公募を機に企画しはじめました。エンタテインメント分野において嗅覚情報はまだまだ活用されておらず、そこに可能性を感じてもいました。
――どのようなチーム編成でSXSWに挑みましたか？
電通クリエーティブXが企画制作を、Dentsu Craft Tokyoが実装を担当しました。匂いセンサーはレボーン社のものを使い、同社の官能評価士にも協力していただきました。匂いをダンス化する際には、振付師・ダンサーである黒田なつ子さんに協力していただきました。
匂いをダンスにすることを発案してから、完成までに約1年半かかりました。そのうちのほとんどを、コンセプトの設計や企画、匂いセンサーのリサーチなどに充て、実際の実装にかかった期間は2カ月ほどでした。
官能士とコンテンポラリーダンサー
――アイデアを形にするにあたり苦労した点は？
匂いは刹那的な情報であり、言語化することが極めて難しいとされています。ですので、同じ匂いに対しても人それぞれで感じ方が変わってきます。そのような中で、いかに匂いのビジュアル化に納得感を持たせるかが課題でした。
まずは、ダンス化する匂いを6つに絞り、官能評価士にそれぞれの匂いを50以上のキーワード（「甘い」「爽やかな」など）の強弱を5段階評価でつけてもらい、匂いを言語化しました。その言語情報と、実際の匂いを嗅いで、コンテンポラリーダンサーにダンスで表現してもらいました。このようにアナログで個別的な感覚も取り入れ、絶対的な答えではなく、一つの解答として匂いを表現することができ、納得感を出すことができました。
――現地での反響はいかがでしたか？
匂いに興味を持ってくれる外国の方が多い印象でした。日本で実装しているときは、果たして匂いのビジュアル化に「納得感」を覚えてもらえるだろうかと、かなり気をもんでいましたが、いざ現地で来場者の方々に実際にTranscentdanceを体験していただくと、むしろ彼らの方から積極的に理解しようとしてくれました。
また、多くの方からビジネスのアイデアなどもいただくことができました。Transcentdanceの技術について、「自分が関わっているビジネスに使えそうだ」といった提案を数多くいただきました。日本の技術展に出展したときは、こちらからの一方的なプレゼンに終始した感もあり、SXSWでの双方向的なやり取りが新鮮でした。
テックの創造性は映画や音楽と同列
――現状の課題と今後の展望について教えてください。
課題の一つ目は、まだまだ表現できる匂いの幅が狭いということです。現状、6タイプのダンスを作っていますが、今後タイプ数を増やしつつ、ミックスできるようにしていくことで、さまざまな匂いを表現できるようにしていきたいです。ダンスの種類を増やすだけでなく、ダンサーを複数人にするなど、ダンスをストックしていきたいとも考えています。また、そこにAIを介していくことで、自動でダンスを生成できるようにしていきたいです。
課題の二つ目は、エンタメ性がまだまだ弱いということです。ARで匂いを楽しむ体験としては、現状は体験者とのインタラクション（相互作用）がなく、弱い印象です。匂いのエンタメ化はまだまだ途上なので、そこに切り込んでいけるように、インタラクション（相互作用）を足していきたいです。匂いを楽しめるようになることで、匂いの学習や、匂いを用いる企業のプロモーション、匂いの展示など、さまざまな分野に展開できる技術だと思っています。
――今後SXSWに参加する人や見に行く人に一言お願いします。
商品化されているものから、プロトタイプの技術までさまざまな展示があり、参加でも観覧でも刺激を受けられると思います。音楽や映画と同列にテックが扱われているのが新鮮で、テックの創造性や発展性を外国の方は感じているんだなと思いました。前向きな人も多く、そんな空気感が最高なので、ぜひ歩き回ってください。
関連リンク
この記事に関するお問い合わせは、最下部「お問い合わせフォーム」から本件担当者名を明記の上、お願いします。
担当者：新井 健太（電通PRコンサルティング）
