NTT奧運黑科技:5G+AI觀賽身臨其境
2021/08/06
NTT計劃通過為東京奧運會及殘奧會開發的最新技術來開闢新的業務領域。該公司的技術可重現遠端賽場的比賽過程,就像在眼前一樣,結合了5G數據傳輸技術以及高清晰影像的提取與合成技術。NTT將直播變成了身臨其境的體驗,以此來提高服務的附加值。
「比賽開始了」,隨著解説員的聲音響起,兩位「乒乓球運動員」悄無聲息地出現在舞臺上。左手邊的運動員彎著身子發球,令人緊張到窒息的連續對打持續了5次以上。右邊的運動員奮力揮起球拍,扣殺成功。一名運動員做出勝利的手勢,對手卻不甘心地皺起眉頭。雖然可以看到他們細微的表情,甚至能聽到呼吸聲,但兩人並不是真人運動員,而是影像。
臨近奧運會開幕的6月下旬,在神奈川縣橫須賀市的NTT橫須賀研究開發中心,超高臨場感通信技術「Kirari !」進行了現場演示。設施內的特設舞臺上,只放著一張乒乓球臺。但兩名運動員隔著球臺打球的樣子臨場感十足,讓人分辨不出哪些部分是影像。
「能夠以公共觀賽方式(Public Viewing)觀看遠方比賽現場的影像」,在NTT集團以創新性影像技術開發為目標的「2020劃時代(epoch-making)項目」中發揮主導作用的NTT人類資訊研究所首席研究員木下真吾如此表示。
![]() |
用多個4K相機拍攝比賽現場的運動員,然後遠端傳送數據。「Kirari !」的作用説起來簡單,但背後卻隱藏著多項最先進的技術。其中之一就是由人工智慧(AI)從影像中識別運動員並將其提取出來的「任意背景實時被攝對象提取技術」。
這項技術是讓AI讀取幾萬種人物和背景圖像並進行學習,只準確地截取人物圖像。運動員每根頭髮的變化、額頭上每滴汗珠的樣子,甚至包括在乒乓球臺上飛來飛去的球,都準備了多臺高精度4K相機來提取圖像。
傳輸提取的影像採用了「Advanced MMT」技術。將運動員和背景的觀眾及裁判等的影像數據化,通過5G發送給播放的投影儀。利用多臺電腦快速傳輸的數據瞬間重構成影像。
原來的方法有時會缺失部分數據。數據缺失時,會導致影像延遲或缺損。因此,採用將數據分割成5個數據包,再發送一個多餘數據包的方法。多餘的數據包裏是壓縮了所有數據包的數據。「即使5個數據包中少了1個,也可以利用多餘的數據包播放」, 木下真吾表示。
螢幕是在漆黑的空間內組合多層半反射鏡狀透明板製成的,使播放的影像具有縱深感。這樣一來,就像電影《星際大戰》中出現的3D全息圖一樣,會立體呈現選手的影像。
NTT為了在東京奧運會的公共觀賽會場使用,一直在推進「Kirari!」的技術開發,但受疫情影響,奧運會決定以無觀眾形式舉辦而放棄使用。另一方面,利用「Kirari!」技術向帆船比賽會場的超巨大螢幕上發送4K影像,向出場運動員和賽會相關人員等展示。
![]() |
準備在Enoshima Yacht Harbor(神奈川縣藤澤市)舉辦的帆船比賽中,將無人機和從船上拍攝的4K影像通過NTT DoCoMo的5G傳輸合成,發送到會場內50米長的大螢幕上。
從競技者附近利用多個錄影機拍攝的影像將拼接起來。帆船比賽的觀眾一般使用雙筒望遠鏡等觀戰,難以捕捉到整個比賽場景。
通過將多個影像拼接起來發送到一個巨大螢幕上,「可以觀看單個錄影機無法實現的精緻、廣視角的寬屏影像」,木下真吾表示。
雖然這次「Kirari!」技術暫時沒有使用,但游泳和高爾夫會場也將提供活用5G的新技術。東京奧運會和殘奧會以後,在大規模的國際體育大賽中或許也可以使用新技術。木下充滿信心地表示:「為了展現未來的體育觀賽方式,今後還將繼續進行開發」。
日本經濟新聞(中文版:日經中文網)宇都宮想
版權聲明:日本經濟新聞社版權所有,未經授權不得轉載或部分複製,違者必究。