メジャーリーグにも採用された臨場感《NTT~超高臨場感通信:後編》 Tokyoオリンピック2020と技術レガシー(25)

野地 秩嘉(ノンフィクション作家)
野地 秩嘉
ノンフィクション作家

『TOKYOオリンピック物語』の著者、野地秩嘉氏の連載第25回は、引き続き日本電信電話株式会社(以後NTT)から超高臨場感通信を紹介します。超高臨場感を実現できる本技術の根幹は光ファイバー、中継器、無線技術といった通信技術であり、運用技術であるといいます。同社が提供する『Kirari!(R)(きらり)』はメジャーリーグで採用され、オリンピック・パラリンピックでの実質的なデビューに向けた準備を進めています。今回は、本技術の実現に向けて開発しなくてはならなかった4つの技術と、臨場感のある観客の応援を届け選手のモチベーションを上げたいという開発者の想いについて迫ります。

開発

 Kirari!(R)は大画面のスクリーン、スピーカーを使う。だが、技術の根幹は光ファイバー、中継器、無線技術といった通信技術であり、運用技術だ。それこそ日本の通信技術のすべてがKirari!(R)を支えている。

 明治維新後に電線を引いて、電信を始め、電話が登場し、やがてインターネットが始まる。NTTの前身の逓信省、電電公社が日本の津々浦々に電柱を立て、電線を引いた。それを光ファイバーに引き換えたからこそ可能となった技術である。開発したのは川添、木下たちが中心だけれど、電柱を立てた明治期の人々の努力がなければこの技術は生まれなかった。もっと簡単に言えば全国に張り巡らされているのが電線だったら、超高臨場感は実現できなかった。

 さて川添の下で具体的に技術開発を進めたのは「NTTらしくない」長髪の木下真吾である。
木下が数十名のチームとともに開発しなくてはならない技術は4つあった。
 ひとつは「超ワイド映像合成技術」だ。4Kカメラでスポーツの現場全体を分割して撮影し、それをリアルタイムでつなぎ合わせる。すると、高精細な180度のパノラマ映像ができる。

 木下は「海の上を映したウインドサーフィンの映像を例に取り上げます」と説明を始めた。場所は何度目かの横須賀研究開発センタである。
「カメラ自体は4Kのカメラで、扇形に4台から5台を並べて撮影します。対象はどんなスポーツでもいいでしょう。問題は画像のつなぎ目なんです。映像自体をAIで処理しています。つなぎ目のところの形、色、照度をすべて補正して、つながっているように映像を作り直しているわけです。

 録画した映像でしたら、時間をかけてコンピュータで補正すればいい。リアルタイムで自動的に行う技術を開発するには時間がかかりました。我々は通信会社なので、カメラの性能を上げたわけではありません。複数台の4Kカメラであれば原理的にはOKです。通信とシステムの技術です」

 2番目は「任意背景被写体抽出技術」だ。競技場を映した場合、選手の背景には観客席が映る。その映像から選手の姿だけを切り出すことができる技術である。
 映像からの被写体抽出技術といえば、クロマキー撮影が一般的だ。バックにブルーやグリーンのスクリーンを張り、その前に人物を立たせて撮影する、いわゆるブルーバック合成である。
だが、Kirari!(R)の技術は観客席をブルーバックをしなくとも、選手だけを切り出すことができる。それが任意背景からの抽出だ。

 木下はこう説明する。
「雑多な背景から人物だけを抽出して、あたかもそこにいるかのような像にすることもできます。たとえば、バドミントンの試合です。選手の背後には観客席があります。リアルタイムで背景から選手だけを取り出すのです」

 選手だけを抽出した映像を作る場合、現場の設備を再現すると、さらにリアルに感じる。わたしは本物の卓球台が置かれた場所で、抽出技術を見た。部屋のなかに薄い膜のようなスクリーンがあり、その向こうには本物の卓球台があった。遠隔地で行われていた卓球の試合から選手ふたりだけが転送されてきて、目の前で卓球の試合をするのである。選手は立体的に映っていた。

 しかし、ピンポン球が卓球台に当たる音、スマッシュの音などがリアルだったのが印象に残る。
 卓球に限らず、バドミントン、ボクシングといった競技をKirari!(R)を使ったパブリックビューインクで見る場合は本物と同じ卓球台、ネット、リングを用意するだけで臨場感がぐっと増すのである。


日本電信電話株式会社 NTTサービスエボリューション研究所 木下真吾(きのした・しんご)氏
日本電信電話株式会社 NTTサービスエボリューション研究所 木下真吾(きのした・しんご)氏


音響

 3番目は画像を同期する技術、「超高臨場感メディア同期技術」である。
 この技術は映像や音声など複数のデータを絶対時刻を元に同期して伝送する技術だ。
 撮影対象の大きさや位置関係、音声の方向などの三次元情報、そして照明などの環境情報を同期する。すなわち、撮影した瞬間に照明の明るさなどをすべて均一にしてしまうから、複数のカメラで撮影しても、つなぎ目が現れないのである。コンピュータで編集しているのだが、録画ではなく、撮影と同時に自動的に同期してしまうところが画期的なのである。

 4番目の技術は音響だ。
「スピーカーを置いていない客席近くにまで音が飛び出したり、実際には映っていない観客の声を再現するなど、音響効果だけで競技会場との一体感を感じる演出を可能にしてある。
直線状の2次音源(スピーカアレイ)を制御して、会場中に任意の音場を作り出す高度な音響再生技術」。

 音響技術もNTT横須賀研究開発センタの一室で試聴した。野球の試合を超ワイド映像で映したもので、撮影カメラがあった位置は選手たちがいる3塁側のダグアウト横だった。わたしはダグアウトのすぐ横にいるような錯覚を覚えた。
 選手の目線で試合を見ていた。バットがボールを打つ、カーンという音も観客席ではなく、ダグアウトで聞く音だった。自分自身が選手のひとりになったのと同じなのである。
 驚いたのは選手の話し声だ。マイクをカメラの位置に置いておくと、ダグアウトにいる選手がバッターを応援する声もちゃんと聞こえてくるのである。
「超高臨場感」とはそういうことだ。

 しかし、この技術は追求していくと、きりがないのではないか。たとえば、野球場をKirari!(R)で映し出すとする。映像、音声はこのままでいい。ただ、さらに臨場感を出そうとするならば、美術、大道具、小道具も設営してしかるべきではないか。ビールの売り子も用意して、ビールを飲めるようにする。清涼飲料、ピーナッツなども用意する。客席もスタジアムのような傾斜をつけた席に座る。キャラクターグッズの売店もある…。野球場へ行った時と同じようにしてほしい。

 木下は苦笑しながら「いいですね、そのアイデア」とうなづいた。
「スポーツもいいけれど、エンタテイメントの可能性も十分あります。コロナ禍ですから、どこの会場も客席を減らしているでしょう。ミュージシャンのみなさんはさぞ困っていることと思います。ライブ会場の他に、いくつかの場所でKirari!(R)を使ったパブリックビューイングをやればミュージシャンの方々も助かると思います。演劇やミュージカルも可能です。
 また、超ワイド映像ですけれど、床にLEDパネルを貼ればプールを再現することもできます。水泳の競技をパブリックビューイングすることもできます」

 木下の話は続いた。
「超ワイドの場合だと、野球、サッカーのように広がりがあるスポーツがいいでしょうね。テレビ画面でずっと引いた映像だと視聴者は面白く感じないと思います。ただ、ライブスポーツの醍醐味は面白くない時間もあるということなんです。球場の客席に座って、ぼーっと空を眺めたりして。広い空間をそのまま感じることも発見の楽しみですね。特にメジャーリーグの球場へ行くと私はそう感じます。ホットドッグの売り子さんを見たり、周りを眺めたり…」



選手目線で試合を感じることができる(提供:NTT)
選手目線で試合を感じることができる(提供:NTT)


誰も見たことのない映像

 木下は言った。
「ウインドサーフィンの映像なんて、これまで誰も撮ったことはないと思います。漁船の舳先に小型の4Kカメラを4台、扇形に並べます。そのまま撮ったものを5Gの無線通信で船から伝送して、陸上にある編集基地のところで受けて、それを光ファイバー網で送る。高速で低遅延、高品質だからできることです。また、スクリーンにプロジェクターで映す場合は光の重なりがある部分が画像の切れ目のように見えてしまいますけれど、すべてきれいにつながった映像がネットワーク上に流れます。

 Kirari!(R)の超ワイド映像合成技術の本質は、複数のカメラの映像を切れ目なく自然につなぐことなんです。そして、つなぎ合わされた超ワイド映像は、いろんなディスプレイ装置で表示することができます。プロジェクターを使って表示する場合は、複数台を横に並べて超ワイド映像を表示するのですが、例えば、通常、映像A,Bを表示して、ぴったりくっつけると、AとBの間につなぎ目の線が入ってしまいます。それを避けるために、ブレンディングという方法を使います。ブレンディングとは、2つの映像AとBのつなぎ目部分にそれぞれのお互いの映像を重なり合わせること。例えば、映像Aは、Bとのつなぎ目の部分に、Bの端の映像を合わせる。BもAとのつなぎ目の部分にAの端の映像を合わせます。

 それぞれを重ねて表示することで、つなぎ目がなじみ、切れ目が目立たなくなるわけです。
 江ノ島の海岸でテストをやった時は60メートル級の台船を海に浮かべました。そこにオリンピックの本番では、横50メートル、縦5メートルのLEDモジュール(50cm×50cm)で作ったスクリーンを置きます。海の上にスクリーンがある感じで、等身大もしくはそれ以上の大きさのウインドサーフィンがスクリーン上の海を疾走するから、ひょっとすると、現物を見るより迫力を感じるかもしれません」

 ただし、問題は天気だ。船が出せる天気で、しかも、波があまりに高いと、わたしが横須賀研究開発センタで感じたように、見ている人は船酔いするだろう。

 木下は付け加えた。
「いずれは家庭でもKirari!(R)の映像がそのまま見られるようにしたいのですが、その場合は5G,6Gの無線通信が普及していることが前提です」


コロナ後のレガシー

「Kirari!(R)はアメリカのメジャーリーグで使われ始めました」  

 オリンピックが始まる直前、川添に会った。彼はいつ会ってもKirari!(R)とウインドサーフィンの話をする。ただ、その時は子ども時代に暮らしていたアメリカでの生活についても語った。

「アメリカのメジャーリーグは大変です。ホームグラウンドとアウェーのそれが遠いからです。ニューヨークヤンキースが遠征するとなると、飛行機に5時間乗って大陸を横断することもある。ファンがチームを応援したくても、飛行機に乗っていく人は少ない。ですから、彼らはスポーツバーへ行くわけです。ところが、コロナでスタジアムは無観客になり、スポーツバーも閉まっている。しかし、野球のライブ感を楽しみたい。そういう人たちのためにアメリカではドライブインシアターの活用を考えています。ドライブインシアターだったら大画面ですし、また、車の中だから、声を出して応援もできる。そういう企画も進んでいます」

 この技術はまずは体験してみることだ。それも野球、バドミントンもいいけれど、やはりこれまでライブでは見ることのできなかった競技、ヨット、ウインドサーフィン、雪山のなかで行われるようなエクストリームスポーツがもっとも向いているのではないか。

 川添もわたしの意見には「そうかもしれません」とうなづいた。

「私は学生時代からウインドサーフィンをやってきました。この競技はボートに乗って、沖合まで行かないと観戦できないんです。なんといっても、これまでウインドサーフィンの競技が電波に乗ったのは数えるほどです。揺れる船の上から撮らなきゃならないから撮影が難しい。それに、こちらの方が大きな理由ですけれど、人気がなかったから、テレビ番組にならなかった。オリンピック競技にも関わらず、放送されたことがなかった。ドローンで上空から撮れば別ですけれど、ウインドサーフィンにそこまでお金をかけてくれる放送局はなかったんです。
 しかし、Kirari!(R)であれば、風をはらんで疾走するボードを感じることができます。感じるスポーツ、発見のある競技にはこの技術がぴったりなんです。

 僕が必要だなあと思っているのは選手とKirari!(R)を見に来たお客さんとのふれあいです。コロナ禍のスポーツを見ていると、野球、サッカーは一部、観客がいますけれど、ゴルフなどはまだ無観客が主流です。

 観客がいるのといないのでは選手たちの気持ちが違うんです。これまたウインドサーフィンですけれど、選手たちはこれまで観客の応援を知りません。ですから、選手が海に行く前、帰って来た時にKirari!(R)を設置してある浜辺を通ってエントリーしてもらおうと思っているんです。そうすれば観客はリアルな拍手を送ることができる。また、遠隔地のパブリックビューイングのことも考えて、選手の紹介を時間をかけてやって、会場の拍手が選手に届くようにします。そうして、選手からの返事も帰ってくる。臨場感のある応援があれば選手のモチベーションも上がる…」

 しかし、そうした企画は川添よりも、ウインドサーフィンの競技団体が考えないと実現できないのではないか…。
 そう指摘したら、彼はにっこり笑った。

「野地さん、実は私、ウインドサーフィン協会の会長になりました。それは亡くなった長谷川浩さんの遺言だ、と。亡くなる前、協会の部下の方たちに『オレの後は川添さんに頼め』と言ったというのです。むろん、コロナになる前ですよ。まさか自分がいなくなるとは思ってなかったでしょうね。
 会社員と両立していいものかどうか、会社と上部団体のセーリング協会の会長に相談したんです。会社は『オリンピック・パラリンピックの成功に力を尽くせ』と言いました。
 一方、セーリング協会の河野(博文)会長は『川添さん、長谷川は僕にも後任はあなただと言っていたから頼みます』
 そう言われたら逃げることはできません。今また、海に出て、ウインドサーフィンをやってます」

 Kirari!(R)という技術は幸運だ。スポーツに関連する技術はいくら斬新で画期的であっても、競技団体が認めなければ日の目を見ない。もし、ふたりがウインドサーフィンをやっていなければKirari!(R)はエンタテイメントだけの技術で終わっていたかもしれないし、オリンピック・パラリンピックで実質的にデビューすることもなかっただろう。

 川添は言った。
「長谷川さんが亡くなったと知らせを聞いたのは役員会の最中でした。社長がしゃべっていた時に携帯が鳴って…。周りの役員に『すみません』と謝って、あわてて携帯を消そうとしたけれど、2度もかかってきたので、頭を下げて、身を小さくして話を聞いたんです。
 すると…。
『長谷川がつい、先ほど亡くなりました』
 えーって大声を出しましたよ、私。周りはみんな、私を見ていました。年甲斐もないけれど、会議中なのに、私が大声で泣きだしたからです。

 えー、すみません、先日、コロナ禍のなか、やっと鎌倉でウインドサーフィンの大会を開くことができました。新会長としてのあいさつで、長谷川前会長が天国から見守っているからとみんな、頑張ろう、それだけ話しました。あっ、そうだ。みんな、コロナにはくれぐれも気をつけるんだぞ、と」
 川添本人はわたしにそう話した。しかし、出席者に確認したら、彼は挨拶したのではなく、また泣いたらしい。



野地秩嘉(のじつねよし)
1957 年東京都生まれ。早稲田大学商学部卒業後、出版社勤務を経てノンフィクション作家に。人物ルポルタージュをはじめ、食や美術、海外文化などの分野で活躍中。著書は『高倉健インタヴューズ』『キャンティ物語』『サービスの達人たち』『一流たちの修業時代』『ヤンキー社長』など多数。『トヨタ物語』『トヨタ 現場の「オヤジ」たち』がベストセラーに。『TOKYOオリンピック物語』でミズノスポーツライター賞優秀賞受賞。近著は『スバル ヒコーキ野郎が作った車』(プレジデント社)、『トヨタに学ぶカイゼンのヒント71』(新潮選書)。


参考情報
・Kirari!は、日本電信電話株式会社の登録商標です。


▽連載『Tokyoオリンピック2020と技術レガシー』シリーズ一覧
    1. NTT「光の最新実用技術」前編 / 後編
    2. NTT「光ファイバー」前編 / 後編
    3. NEC「顔認証」前編 / 後編
    4. エアウィーヴ「機能性寝具」前編 / 後編
    5. セコム「警備システム」前編 / 後編
    6. ブリヂストン「バリアレス縁石」前編 / 後編
    7. AOKI「公式ユニフォーム」前編 / 後編
    8. ASICS「オフィシャルスポーツウェア」前編 / 中編 / 後編
    9. 「ハーフタイムミュージック」前編 / 後編
    10. NTT「バリアフリー道案内」前編 / 中編 / 後編
    11. NTT「超高臨場感通信」前編 / 中編 / 後編
    12. 東京大会の技術レガシー 最終回
▽【対談企画】新連載に向けて

 

 

▽みんさくメルマガ登録用メールアドレス

みんさくメールマガジンにご登録いただくと野地秩嘉氏の新連載「Tokyoオリンピック2020と技術レガシー」の最新情報や、みんさくの注目記事・キャンペーン情報をお届けします。ぜひご登録ください。

minsaku-cp01@ek21.asp.cuenote.jp

みんさくメルマガQRコード

【ご登録の流れ】

  1. 上記の登録用メールアドレス宛に空メールを送信
  2. 自動返信される「仮登録メール」内の本登録URLを押下
  3. 登録完了!

 

こちらの記事もおすすめ(PR)