たとえ、顔の半分がマスクで覆われていても、 脇見運転や居眠り運転を確実に検知する画像認識技術。

目だけ動かす「ながらスマホ」すら検知する高精度

―ドライバーモニターシステム（DMS）とは、一体どのようなものですか？

T.K：近年の交通事故は、脇見運転や居眠り運転などドライバー要因のものが多くを占めています。DMSはこうした事故を予防するためのシステムで、車載カメラでドライバーの運転状態を監視し、危険な予兆を検知した際に回避する制御を行うというものです。

―そんなシステムがあるんですか。具体的な仕組みを教えてください。

T.K：まず、車室内に設置したカメラでドライバーの顔の向きや視線などの状態を捉え、脇見運転や居眠り運転の兆候がないかを推定します。その後は必要に応じてドライバーにアラートを出したり、自動ブレーキをアシストしたりなどの制御につなげるというものです。

H.T：車両制御が必要かどうかの判断は上位システムが行うので、私たちの部署ではドライバー状態を検出するためのアルゴリズム開発に取り組んでいます。

―いわゆる画像認識の技術ですね？

H.T：そうです。顔がどこにあって、目、鼻、口などの各パーツの状態がどうなっているかを認識するために、膨大なサンプル画像データを学習させるとともに、顔にお面のような3Dモデルを当てはめるなどしてより検出の精度を高める工夫をしています。

―やはりAIの活用も？

T.K：ええ、従来型の画像認識では限界があったので導入しています。AIにより精度が飛躍的に向上しました。

―すでに市場に出ているのでしょうか？

T.K：まだですが、レクサスのAdvanced Driveシステム（※）に私たちのDMSが搭載されると2020年に発表され、2021年中に2車種が発売される予定です。どちらもグレードの高い車種ですので、今後は精度向上とあわせて一般車への普及が重要なミッションになってきますね。

※Advanced Drive：自動運転レベル2（部分運転自動化）に対応するトヨタ自動車開発の高度運転支援技術

―競合製品もあるかと思いますが、アイシン製DMSの特徴は？

H.T：他社製品の多くが顔の向きでドライバー状態を推定するのに対し、うちの製品はそこに視線の検知を加えているところです。

―目の動きまで？それはまた何故ですか？

H.T：例えば脇見運転は顔の向きだけでも検出できるのですが、近年問題視されている運転中の「ながらスマホ」だと顔の向きは変えずに、目だけを動かすケースもあります。これは従来の機能では検出できない可能性があるため、瞳の向きやまぶたの角度にまで範囲を広げたわけです。

―なるほど。ただ、微細な動きの検知は難しそうですね。

H.T：はい。居眠り運転や脇見運転の検知に比べると、高い精度が求められます。その一方で認識ミスから起こる誤警告の回避も同時に実現しなければなりません。

T.K：他の問題として、ながらスマホは日本だと道路交通法違反ですが、海外では合法な国もあります。どのタイミングで警告を出すのかも検討しながらの機能開発ですね。

手づくりの評価環境で、開発の短スパン化に対応していく

―開発で苦労した点、工夫した点はありますか？

T.K：自分たちが開発したアルゴリズムがきちんと動くかどうか、それを評価する方法ですね。当初は開発中のDMSを搭載した実車をテストコースに持ち込んで、想定した性能が出るかどうかテストを行っていました。

―それは大掛かりですね。

T.K：そうなんですよ。テストコースを予約して、DMSを搭載したテスト車両を持ち込んで、走行試験でデータを取って、それを持ち帰って解析して・・・といった感じで、かなりの工数と時間がかかっていました。

S.T：ここしばらくはコロナウィルス感染拡大の影響でリモートワークが増えていますから、人を集めることもなかなか難しくなっていたこともあって、何か別の方法はないものかと。

―公道でやっちゃダメなんですか？

T.K：ダメですよ。公道で居眠り運転や脇見運転をしたら危ないじゃないですか（笑）。

―そりゃそうですね（笑）。どのような打開策を？

T.K：DMSの評価用環境を自作したんです。どういうものかというと、そうですね、ドライビングシミュレーターをイメージしていただけると近いかなと思います。自動車運転教習所に置いてあるようなやつです。

S.T：ただ、あんなに大層なものではなくて、机と椅子、レースゲームで使うようなハンドル型コントローラーやペダル類、ドライバー監視用カメラと周辺風景を映し出すモニタが設置されている手づくり感のある装置です。

―自作したんですか！

T.K：はい。でも、そんな装置をつくった経験がないので、どんなデバイスや知識が必要なのかも一切わからないわけです。何から手をつければいいのかすらわからない状態でしたから、まずは評価環境づくりの経験者を探しました。

―そんな方が社内にいらっしゃるんですか？

T.K：ええ。ベンチ評価は自動車の機能開発に欠かせないですからね。それでその方に相談に乗ってもらったところ、DMS評価に近いロジックテスト環境が社内にあるから、それを流用したらどうかという話になりました。これならいけそうだと思いましたが、難航しましたね。特に通信方法でつまずきました。

―どのように解決したんですか？

T.K：今度は通信に詳しい人を社内で探してきて（笑）、「通信方法を変えればうまくいくと思うよ」というアドバイスを受けて、センサーからのリアルタイム入力を評価できる環境構築に成功しました。

H.T：この評価環境のおかげで、自分のつくったアルゴリズムをすぐに動かして試せるので、開発スピードが飛躍的に向上しました。

―なるほど。そこまで急がれるのにはやはり理由が？

H.T：やはり開発が進むにつれて「こういうシーンでもきちんと動くのか調べて欲しい」といった顧客からの要望が増え、短スパンでの解析ニーズがどんどん高まってきますから。そこに対応する必要が出てくるわけです。

―開発速度向上と精度向上の両立は難しそうですね。

H.T：ええ。ただ、開発に没頭していると、とにかく1％でも精度を高めようと頑張ってしまうのですが、実は顧客やエンドユーザーにとってその1％はあまり重要ではない部分だったりすることもあります。

―素人考えだと、精度は高いに越したことがない気がしますが。

H.T：脇見や居眠りの状態がしっかり判断できるレベルでいいのに、精度を高めすぎてオーバースペックになってしまうケースもあるんです。そういった経験をふまえて、私は「ユーザーや顧客にとってどのような嬉しさがあるか、ちゃんと考えられているか」を自分に問いながら開発をしています。

―精度にこだわるあまり、データが大きくなりすぎてしまうことも・・・？

S.T：あります。ECU（車載コンピューターユニット）に載せられるソフトウェアのサイズや計算量に制約がありますので、限られたリソースの中でどの機能を優先させるのかを顧客と話し合いながら微調整を重ねていく感じですね。高精度になればなるほどAIモデルも大きくなりますし。

ウィルス感染拡大による運転習慣の変化にも柔軟に対応

―DMS開発の歴史はかなり長いと聞きましたが、近年何か変化はありますか？

T.K：新型コロナウィルスの流行を受けてマスクをつける人が急激に増えているので、そこの対応に追われています。

S.T：現在はマスク着用の習慣のない欧米など海外でもつける人が急増していて、そうした運転習慣の変化にも柔軟に対応することもDMS開発の特徴といえるかもしれません。

―確かに鼻と口がなくなると、かなり判定が難しくなりそうですね。

T.K：もともと日本人に花粉症が多いこともあり、現行のDMSでもマスクには対応しています。ただ、今まではほとんど白いシンプルなものだけだったのに、手づくりの柄入りマスクなど従来なかったマスクが予想以上に増えてきたので、そういったものを検知できるような改良を加える必要性が出てきています。

H.T：具体的にはマスクの画像データを大幅に強化したりだとか、学習に関してもマスクだけ別のモデルで特徴点を出すように工夫してみたりだとか。これまでとは別の方向で精度を上げていこうとしていますね。

―わかりました。最後に、今後の見通しや目標などがあればお聞かせください。

T.K：今後技術が発展して完全自動運転が社会実装されれば、脇見はむしろやっていいという世の中になります。そうなると、次は利便性やエンタメ性など「嬉しさ」のようなことを考えるフェーズに移行するんだろうなと考えています。

―確かに、DMSは本格的な自動運転社会が来ても活用できそうな技術ですね。

S.T：車載カメラで個人認証してその人に合わせたシートの位置や室内温度に調整したり、好みの音楽コンテンツを流すなんてこともできるでしょうし、ドライバーの視線を検知して見ている方向に必要な情報を映し出すとか、そういった機能の実現にも役立つはずです。

―ワクワクする話ですね。他にも考えられる用途ってありますか？

H.T：安全性の面でも、現在はドライバーだけを見ていますが、視野を拡大して後ろの席や助手席も見れるようにしてはどうかと考えています。事故の際、乗員の体格や座っている姿勢を識別してエアバッグの制御を変えるなど、これまでになかった新機能の開発も実現できるのかなと思うので、そういった転用にも耐えうるように画像処理の精度をさらに高めていきたいですね。

S.T：子どもの置き去りや荷物忘れなどを防ぐ機能、発作など急病や飲酒運転の検知なども可能になるかもしれません。挙げはじめたらきりがないですね（笑）。

―そういう未来を実現させるためにも、まずは広く普及させることが重要ですね。

T.K：はい。そのために例えば、ユーザーの選択肢を増やすということは今後必要になってくるかもしれませんね。フルスペックの高級ラインから、安価でも最低限ここまでの安全機能は担保されているというラインまで選べるようにするとか。

S.T：現状だと高級車にしか搭載されていないので、どうしても高級品のイメージがあるんだと思います。これからどんどん増えていって、ついているのが当たり前の世の中になるといいですね。

―煽り運転のニュースでドライブレコーダーが一気に普及した例もありますもんね。

H.T：そうですね。確かに「DMSがついていたおかげで助かった」みたいな報道があれば、一気に広がる可能性を秘めている製品だと思います。

―技術者として今後、目指すことはありますか。

T.K：今後の性能向上に欠かせないAI実装のスキルを身に付けたいですね。現在は外部技術者の力を借りることも多いので。

S.T：AIの知見があれば、自分のアイデアの幅も広がりますしね。私もそこは身に付けていきたいです。

H.T：私も同じです。あとは技術が進歩して、リッチな環境で先進技術満載のDMSをつくってみたいという気持ちもあります。