AIPオープンセミナー (2021/07/07)

数理統計学チームの研究を紹介するセミナーです.

YouTubeの公開動画

2021/07/07 15:00-17:00 Zoomによるオンライン配信(要登録)

Mathematical Statistics Team (https://aip.riken.jp/labs/generic_tech/math_stat/) at RIKEN AIP

Speaker 1: Hidetoshi Shimodaira (30 mins)
Title: Statistical Intelligence for Advanced Artificial Intelligence
Abstract: Our goal is to develop a data-driven methodology with statistical inference for artificial intelligence, which may be called “statistical intelligence.” In the first half of the talk, I overview our research topics: (1) Representation learning via graph embedding for multimodal relational data, (2) Valid inference via bootstrap resampling for many hypotheses with selection bias, (3) Statistical estimation of growth mechanism from complex networks. In the second half of the talk, I discuss a generalization of “additive compositionality” of word embedding in natural language processing. I show the computation of distributed representations for logical operations including AND, OR, and NOT, which would be a basis for implementing “advanced thinking” by AI in the future.

Speaker 2: Akifumi Okuno (30mins)
Title: Approximation Capability of Graph Embedding using Siamese Neural Network
Abstract: In this talk, we present our studies on the approximation capability of graph embedding using the Siamese neural network (NN). Whereas a prevailing line of previous works has applied the inner-product similarity (IPS) to the neural network outputs, the overall Siamese NN is limited to approximate only the positive-definite similarities. To overcome the limitation, we propose novel similarities called shifted inner product similarity (SIPS) and weighted inner product similarity (WIPS) for the siamese NN. We theoretically prove and empirically demonstrate their improved approximation capabilities.

Speaker 3: Yoshikazu Terada (30 mins)
Title: Selective inference via multiscale bootstrap and its application
Abstract: We consider a general approach to selective inference for hypothesis testing of the null hypothesis represented as an arbitrarily shaped region in the parameter space of the multivariate normal model. This approach is useful for hierarchical clustering, where confidence levels of clusters are calculated only for those appearing in the dendrogram, subject to heavy selection bias. Our computation is based on a raw confidence measure, called bootstrap probability, which is easily obtained by counting how many times the same cluster appears in bootstrap replicates of the dendrogram. We adjust the bias of the bootstrap probability by utilizing the scaling law in terms of geometric quantities of the region in the abstract parameter space, namely, signed distance and mean curvature. Although this idea has been used for non-selective inference of hierarchical clustering, its selective inference version has not been discussed in the literature. Our bias-corrected p-values are asymptotically second-order accurate in the large sample theory of smooth boundary surfaces of regions, and they are also justified for nonsmooth surfaces such as polyhedral cones. Moreover, the p-values are asymptotically equivalent to those of the iterated bootstrap but with less computation.

Speaker 4: Thong Pham (30 mins)
Title: Some recent progress in modeling preferential attachment of growing complex networks
Abstract: Preferential attachment (PA) is a network growth mechanism commonly invoked to explain the emergence of those heavy-tailed degree distributions characteristic of growing network representations of diverse real-world phenomena. In this talk, I will review some of our recent PA-related works, including a new estimation method for the nonparametric PA function from one single snapshot and a new condition for Bose-Einstein condensation in complex networks.

言語処理学会第27回年次大会(NLP2021)において優秀賞と委員特別賞を受賞

単語の意味をベクトルで表現する,という単語埋め込みの研究において2つの受賞をしました.横井祥(東北大学,理研AIP),内藤雅博(京都大学,理研AIP),下平英寿(京都大学,理研AIP)の共同研究です.

優秀賞 横井祥, 下平英寿 「単語埋め込みの確率的等方化」

委員特別賞 内藤雅博, 横井祥, 下平英寿 「単語埋め込みによる論理演算」

言語処理学会のサイト https://www.anlp.jp/nlp2021/award.html

新人ラボメンの内藤くん(B4),おめでとう!

「みんなのPython勉強会」でトークしてきました

みんなのPython勉強会#57 祝5周年 – データサイエンス祭り!!

というイベントで講演させていただきました.

YouTube動画 の1:30〜2:03)

『統計学・機械学習における新しい手法のつくりかた』
下平英寿先生(京都大学、理化学研究所、@hshimodaira

データサイエンスでは統計学・機械学習の様々な手法が実践されています.テキストに載っている手法のアルゴリズムをPythonなどで実装しても問題が解決しないときは,自分で新しい手法を作ることになります.新型コロナウイルスの系統解析で用いられる手法や,深層学習のバッチ正規化に関連した手法をこれまでに考えました.このような新しい手法の作り方についてお話したいと思います.

配属のための研究室見学

この研究室への配属に興味ある学生の見学や相談は随時受け付けていますので,先生へメール(下平本多)で問い合わせてください.何度か見学に来てもいいです.

事前に研究室での研究内容についてイメージを持ってから訪問すると具体的な質問ができて有意義と思います.研究のページにある次の項目を訪問前に見てください.

  • 研究紹介のリンク: 研究ダイジェスト,研究紹介などをみると,どのような研究をやっているか,雰囲気わかると思います.そこで興味を持てれば,見学時に具体的な質問をしてください.
  • 論文被引用数: Google Scholarみると,論文が被引用数の多い順(人気順みたいなもの)に並んでいますので,過去のどのような研究が評価されているかがわかります.
  • 最近の論文: 研究室で書かれた最近の論文です.ちょっとむずかしいとは思いますが,ぜひいくつかクリックして眺めてください.ここに研究室の活動が集約されています.論文は研究室の「商品」とも言えます.

学士や修士の卒業研究はこちらにリストがありますので,参考にしてください.

研究室ではコアタイムはないですが,なるべく研究室に来て他のメンバーとも交流したほうが良いです.そのほうが研究テーマも決まりやすいし,研究も良い結果になることが多いです.研究室でお茶会みたいな企画をすることもありますが任意参加です.勉強に関しては,研究室ゼミ,個別の打ち合わせ,輪読が必須の活動です.輪読で読む本は学生が候補を提案して投票して決めています.

第22回情報論的学習理論ワークショップ (IBIS 2019)において優秀プレゼンテーション賞を受賞

研究室メンバーの奥野彰文(理研AIP)らの共同研究が第22回情報論的学習理論ワークショップ (IBIS 2019)において優秀プレゼンテーション賞を受賞しました.

題名:ノンパラメトリックなリンク回帰とその理論的性質について
著者:奥野彰文(理研AIP),矢野恵佑(東大),下平英寿(京大/理研AIP)

第22回情報論的学習理論ワークショップ (IBIS 2019)のウェブサイト:
http://ibisml.org/ibis2019/