機械学習講習会開催

9月13日(火)14(水)に大学のイベントとして企業向けの機械学習講習会を開催しました。対象企業は、日ごろから豊田工大にご支援いただいてる会社様になります。

13日は初級編でPython, NumPy, scikit-learnの使い方を午後半日かけてひと通り解説しました。Jupyter Notebookを使ったインタラクティブな講習になっています。14日は中級編で、Pytorchによる深層学習プログラムの書き方の基本を午後半日で説明しました。時間が限られていますので、MNISTの手書き文字認識を対象に、単純な3層NNやCNNで学習し評価するサンプルプログラムを元に解説しました。自動微分についても説明しています。

自動微分を理解していなくてもPytorchのプログラムは書けて、実際動いてしまいますが、地に足がついていない状態になります。よく深層学習の開発者が「微分(値)を貯める」とか「勾配を貯める」という表現を使いますが、自動微分が分かってないと、こう言われてもピンとこないでしょう。ですのでloss.backward()と書いたときに何が起こっているかは知っておいた方が良いと考えました。評価データに対する順方向の予測計算時に、model.eval()やwith torch.no_grad()で勾配の計算を止める意味も分かると思いますので。

上級編ではTransformer/BERT、Encoder-Decoderモデルによる翻訳や対話生成、敵対的学習、Autoencoderなどを説明する予定。

TTIC近況

豊田工大シカゴ校に2日ほど滞在しました。構内がコロナ禍の期間にリノベーションされていましたので紹介します。

TTIC (Toyota Technological Institute at Chicago)は日本語では豊田工業大学シカゴ校という名称で、シカゴ大学のキャンパス内に存在する。シカゴ大学は、シカゴのダウンタウンから南に車で30分ぐらい走ったところにあり、その一角を豊田工業大学シカゴ校が使っている。TTICは独立したアメリカの大学院大学で日本人もほとんどいない。機械学習理論や計算量の研究で世界的な研究センターなので専門家の中ではよく知られている。たとえば、TTICの Turk 学長は顔認識手法のEigenface(固有顔)の発明者として有名だ。

TTICの窓から遠くにシカゴのダウンタウンが見える(縦横の線は網戸)。手前はシカゴ大学のキャンパスで、街(Hyde Park)の一般住宅と一体化している。

講義室

講義室の入り口付近
講義室の中

コロナ禍中のリノベーション後、オープンかつ余裕のあるスペースになっている。

以前、縦長の会議室兼講義室があった場所は、オープンなミーティングエリアになっている。

昼食を食べることができるエリア。ここもオープンエリアになっている。奥にはキッチンがあり、只でコーヒーやお茶が飲める(教職員だけでなく学生も)。この日はランチ時間にインド料理を食べる会が開催された。

2日ほど使わせてもらった教員室。ここはビジター用だが、他の教員室も同じぐらいの広さ。

会議室。この会議室には、先日逝去された古井前TTIC学長のお名前が付けられている。

今、アメリカは街中ではほとんどノーマスクで屋内でもマスクはしていない。大学での室内の会議もマスクなしが普通。稀に感染が気になる人(アジア系が多い)は外でもマスクをしている。それでもさすがにTTICは大学なので消毒のアルコールは学内の各所に押されている。

コロナ禍を経て3年ぶりのTTIC訪問だった。57th通りのNoodlesが営業していたことでほっとした。一方、Boothの学食はメニューが縮小されていて残念。よく食べていたピザがなくなっていた。新学期が始まると少しはメニューが増えるのかもしれない。注文も機械で注文と支払いをしてから、品物を受け取るような形になっていた。以前は、そこにあるピザなどを受け取って、レジで払うような日本でもよくあるカフェテリア形式だったのだが。

余談になるが、8月は新学期に向けた学生の移動や夏の旅行でシカゴオヘア空港での入国審査に1時間ぐらい並ばないといけない。かなり密な状態で並ぶのでこの時点で感染してしまわないかかなり心配になる。コロナ前はオヘアでの入国審査は機械で出来たのに、審査官による審査に変わっていて、しかもかなり慎重に入国審査をしているのが長い待ち時間の要因のような気がする。

現在帰国には日本行の飛行機の72時間以内のPCR検査結果が必要で、シカゴ大学やTTICの学生はシカゴ大学の検査センターで検査証明を取れるが、ビジターは一般の検査センターに行く必要がある。私は、18th通りあたりにあるLoop Medical Center – South Loop で検査を受けた。オンラインでの予約が必要。今はそんなに混んでいないそうで、午前中に検査をすると午後の4時ぐらいには結果がオンラインで通知される。一点だけ、検査結果を見るためのサイトのセキュリティが堅固で、Text(SMS)か直接電話を受け取れるアメリカ国内の電話番号をアカウント作成時に登録しておくことが必要。PCR検査結果に問題なかったので予定通り帰国できた。羽田空港での検疫もほとんど時間をとられなかった。MySOSアプリを事前にインストールして、帰国の1日前ぐらいには青色の表示に変えておくことがスムーズな検疫通過の条件だ。また、航空会社が日本出国時にはワクチンの接種証明、日本への帰国時にはPCR検査結果の航空会社のサイトへの事前アップロードを要求するのもコロナで変わった点。このような面倒な状況でも機内は満席になっていた。航空券代も通常の倍ぐらいの価格なのに。

SNL2022

7/8, 9に第6回の国際ワークショップSNL2022を豊田工大で開催します。参加登録はまだ間に合います。

SNL(Symbolic-Neural Learning)は記号的な構造情報とニューラルネットワークの融合を対象に2017年からスタートした国際ワークショップです。前回2021年はオンラインでの開催になりましたが、今年は対面のみでの開催です(一部の少数の講演者は事情によりオンライン)。コロナ禍の影響で懇親会ができないなどまだ完全にコロナ前に戻っているわけではありませんが、久々の対面で活発な議論が行われると思います。

今回の基調講演者も、Microsoftの池内先生、ペンシルバニア大学のDan Roth先生、CMU/メルボルン大学のEd Hovy先生、Facebook AI Research/UCLのRiedel先生と豪華なメンバーです。その他の口頭発表の講演者11名も目下活躍中の方々ばかりです。

参加登録は下記から。

lhttp://www.tti-coin.jp/SNL2022/registration.html

Regular (Early 6/19まで): JPY 9,000

Regular (Late 7/2まで): JPY 10,000

Regular (On site): JPY 12,000

Student (Early 6/19まで): JPY 4,000

Student (Late 7/2まで); JPY 5,000

Student (On site): JPY 6,000

と国際会議としては画期的な安さです(この講演者であれば10倍の値段でもおかしくありません)。この分野の若手の育成のために参加しやすい参加費にしていますので、学生さんの参加は大歓迎です。

PV公開

卒業論文・修士論文の発表会が今週・来週に迫ってきていて、研究室の1年間の中で最繁忙期を迎えています。さて、知能数理研究室の約3分間の紹介ビデオが大学のHPから公開されました。研究室の特徴を平易に紹介していますので、人工知能に興味のある高校生や広く一般の方に見てもらえると嬉しいです。

https://www.toyota-ti.ac.jp/research/laboratory/post-11.html

DC2採用内定

博士後期課程1年の牧野君の日本学術振興会特別研究員(DC2)への申請「グラフ形式の知識を蓄積する深層学習情報抽出」について、審査の結果、採用内定となったという通知がありました。昨年のDC1申請は残念ながら不採択でしたが、リベンジできて良かったです。

TTIC協定留学

当研究室の修士2年の村瀬君と藤井君が11月下旬から12月中旬まで、豊田工業大学シカゴ校(TTIC: Toyota Technological Institute at Chicago)に協定留学します。通常は3ヶ月間の協定留学期間がありますが、コロナ禍の影響により短縮となりました。来年からは通常の協定留学に戻ることを願っています。

BioCreative VII presentations

Our submissions have been accepted for poster and short presentations at the BioCreative VII Workshop.

DrugProt:Text mining drug/chemical-protein interactions (Track 1)

Naoki Iinuma, Masaki Asada, Makoto Miwa, Yutaka Sasaki, TTI-COIN at BioCreative VII Track 1, BioCreative VII Workshop, November, 2021. (pdf)

Selected poster flash talks

Tomoki Tsujimura, Ryuki Ida, Isanori Oiwa, Makoto Miwa, and Yutaka Sasaki, TTI-COIN at BioCreative VII Track 2, BioCreative VII Workshop, November, 2021. (pdf)

GAN-based Shape Design for Die Forging

New preprint

Hayato Futase, Tomoki Tsujimura, Tetsuya Kajimoto, Hajime Kawarazaki, Toshiyuki Suzuki, Makoto Miwa, Yutaka Sasaki,Physical Context and Timing Aware Sequence Generating GANs, arXiv:2110.04077, 2021.

https://arxiv.org/abs/2110.04077

This paper proposes a new neural model of Generative Adversarial Networks (GANs) that is suitable for designing the intermediate shapes for die forging. Because the shape of heated metal gradually changes during the press, GANs should be aware of the timing and physical phenomena. In this respect, we proposed Physical Context and Timing aware sequence generating GANs (PCTGAN) that generates images in a sequence, considering the time sequence and physical quantities.

This new GAN is partly patented (U.S. Patent No: 10,970,601).