東大研究室発スタートアップ「DeepX」ー AIで建機を完全自動化へ。ICT化が困難な業界だからこそ、そこには大きなやりがいがあった ー【前編】

「AIであらゆる機械を自動化し、世界の生産現場を革新する」をミッションに掲げる、「株式会社DeepX（ディープエックス）」。東京大学でAI研究を牽引する松尾研究室発のスタートアップで、2017年から準大手ゼネコン「株式会社フジタ」と連携して「油圧ショベル自動化AIプロジェクト」を推進している。2020年7月には、実際の建設現場で掘削して掘り下げる作業を無人かつ自動で行うことに成功した。

本記事（前編）では、油圧ショベル自動化AIプロジェクトの概要や開発プロセスについて、DeepXの取締役であり、同プロジェクトの開発責任者である冨山 翔司氏に話を伺った。

生産性向上のために、AIで無人自動操縦をめざす

ーー 油圧ショベル自動化AIプロジェクトの背景をお聞かせください。

冨山氏 もともとフジタさんでは、油圧ショベルを遠隔で操作するロボット「ロボQ」を開発していました。災害現場などの危険な場所で人の代わりに「ロボQ」を油圧ショベルに乗せ、オペレーターが遠隔操作することで、安全に工事ができるという趣旨で開発されたものです。


さらに、私たちはAI技術を用いて、オペレーターなしで自動制御を可能にすることで、より生産性を高められるのではないかと考え、2017年からフジタさんとの協働プロジェクトがスタートしました。

建機にセンサーをつけて初心者のオペレーターでも高度な操作ができるIT技術もありますが、私たちは量が多くてざっくりとした単純操作をスピーディーにこなす技術を開発しています。例えば、土砂や岩を掘る掘削の作業や、土の山をひたすらダンプカーに積み込む作業などがそうですね。そういった部分を自動化することで、建設現場の生産性が大きく上がるのではないかというコンセプトです。

シミュレーターで、どんな土も掘れるように学習させる

ーー AIの開発プロセスについて教えていただけますか？

冨山氏 私たちが開発したAIは、油圧ショベルの姿勢の認識と制御に使われています。まず、油圧ショベルの姿勢を認識するためには、画像から各関節の角度の推定を行います。通常はセンサーを取り付けますが、コストがかかり現場で損傷がおきやすいため、私たちは広角カメラを機体に取りつけて、画像から油圧ショベルの姿勢を認識することにしました。

そのつど画像から機体の状態を正確に認識するのはセンサーを単純に設置するよりも難度が高いため、このAIの開発は苦労した部分ですね。フジタさんと協働しながら操縦席から油圧ショベルを撮影し続けて画像データを収集し、姿勢を認識するモデルの訓練と現場検証を重ねました。

そして、次のプロセスである油圧ショベルの制御では、推定された各関節の角度から、動きを実現する操作信号を推定します。ここの「推定された角度をもとにどう動くか」を学習する部分もメインで開発してきたところです。

ーー 建機では土や石がぶつかるなど毎回状況が異なりますが、そういった面も大変なのでしょうか。

冨山氏  一般的にAIの学習にはデータが必要とされています。例えば医療分野で肺がんを検出する場合は、がんになっている肺の画像をたくさん見せることで学習していきます。

一方で建機は、土や岩石の状態など外部の環境がそのつど異なり、機械も動いているため、条件となるデータを現場ですべて取得するのは現実的ではありません。実際に開発初期の段階では、フィードバック制御やプロオペレータの操作データから学習した制御モデルを試したものの、土の状態によってうまく掘れなくなるという問題も出てきて……。

そこで実機データは使わずに、さまざまな土をシミュレーターで擬似的に再現し、どんな土でも掘れる制御モデルを「強化学習」させるというアプローチをしました。「強化学習」は、AIが行動をしたときにそれに対して何点かという得点を与え、AI自身が試行錯誤しながら最適な動き方を見つけていく学習方法ですね。

建設業界はICT化が難しい領域。だからこそ、可能性とやりがいを感じる

ーー 2017年からプロジェクトに関わられていて、一番やりがいを感じる点はどこでしょうか？

冨山氏 開発したものが意図したように動いてカタチになったときは、もちろん嬉しいです。でも一番のやりがいは、建機の自動化の取り組みが、建設業界の労働力不足という大きな課題の解決に貢献している、というマクロな部分ですね。


そもそも、建設業界はICT化が遅れていると認識されている部分もあるかとおもいますが、それには理由があって、そもそもICT化がかなり難しいと感じています。例えば製造工場では、屋内で照明条件も同じで、ベルトコンベアで継続的にものが送られるなど、環境が限定されているケースが多い。

それに対して建設・土木工事は屋外で行われ、雨や強い日差し・逆光など外部環境の変化が大きく、ICT化がしにくいんです。今は技術が発達してきたことで、私たちもAIの開発を進め、建設業界の生産性向上に貢献できる状況がありますね。

現場を知ることで、制御のアイデアが浮かぶことも

ーー 完全無人・自動化は大きな挑戦だと思いますが、DeepXさん独自の工夫はありますか？

冨山氏 AIの開発の部分で、実機データではなく、シミュレーターを駆使して学習させるというアプローチは、他ではあまりないのではないでしょうか。環境の変化が大きい状況でも適用可能なAIを開発するには、シミュレーターをベースとした開発が重要なはずである、と当社では捉えています。また、そもそも建機を自動化・無人化している企業があまりないので、プロジェクト自体が独自の試みかもしれないですね。


また、AIを開発するときには、まず自動化の対象物（例えば、油圧シリンダーの動き）を解析的に調べるやり方が工学的には基本ですが、私たちは実際に工事している現場に通い、現場をよく知ることも大事にしてきました。

実際に人が建機を操作している様子を見ながら「人間はどうやって建機を制御しているんだろうか」と考えを巡らせて理解していくことで、制御のアイデアが浮かぶこともよくありましたね。


【編集部 後記】
難度の高いAI開発に挑戦し、建設・土木現場の理解を深めながら、油圧ショベル完全自動化に向けて前進する、DeepX。【後編】ではプロジェクトの今後の展望やDeepXの動向を中心に紹介する。後編はこちら