NLP若手の会 (YANS) 第18回シンポジウム (2023)において奨励賞

大規模言語モデルが内部でどのように情報を表現しているのか,とくにファインチューニング前後でどのように変化するのか,について「内部表現の幾何に基づく言語モデルの解釈」と題する発表を行い(発表者 大山百々勢 ),奨励賞を受賞しました.

「内部表現の幾何に基づく言語モデルの解釈」
◯大山百々勢 (京大/理研),山際宏明 (京大),石橋陽一 (京大),下平英寿 (京大/理研)

NLP若手の会 (YANS) 第18回シンポジウム (2023)

第25回情報論的学習理論ワークショップ(IBIS2022)において学生最優秀プレゼンテーション賞を受賞

バンディット問題における敵対的設定・確率的設定という異なる報酬モデルに対して同時に最適性を達成する方策の研究について,D3土屋平が学生最優秀プレゼンテーション賞を受賞しました.受賞対象の研究「バンディット問題におけるBest-of-Both-Worlds方策の進展:構造的バンディットと分散依存リグレット」は,土屋平(京大,理研AIP),本多淳也(京大,理研AIP),伊藤伸志(NEC)の共同研究です.

IBIS2022のサイト https://ibisml.org/ibis2022/awards/

データ科学コース 入試説明会(2022年12月)

2023年2月の入試について,Zoomによる入試説明会が開催予定です.入試についての説明のほかに,弊研究室 (統計知能・統計数理)の分野説明もあります.

データ科学コース 入試説明会【オンライン開催】

第1回 2022年12月14日(水曜)17:00-18:30

第2回 2022年12月17日(土曜)13:00-14:30

※事前登録不要.zoom接続情報は下記URLに掲載.

2023年度からの組織変更について

京都大学情報学研究科の組織変更

情報学研究科は2023年(令和5年)4月に改組され、現在の6専攻は統合されて7つのコースを擁する「情報学専攻」になります。現在の知能情報学専攻、社会情報学専攻、先端数理科学専攻、数理工学専攻、システム科学専攻、通信システム専攻は、それぞれ対応するコースに移行します。そして、データ科学コースが新設されます。

この研究室はどうなるの?

下平・本多研究室は、2つのコースに所属します。つぎのどちらの分野名も下平・本多研究室です。研究室内での主な活動に差はありませんが、大学院生が履修する授業科目はコースによって違いがあります。

  • システム科学コース 統計知能分野
  • データ科学コース 統計数理分野

各コースのサイトはこちら

トップ研究者のリスト

論文の被引用数等をベースにした世界の研究者データが公開されています.そのデータからトップ研究者のリストを作成してみました.研究の各分野について,世界の上位20名と,日本の上位20名のリスト(PDFファイル)です.

こんな感じ.それぞれの研究者の分野は,メイン(分野1)とサブ(分野2)の両方で登録されているので,同じ人がリストに2回出てくることもあります.

研究者データでは,各研究者がどの分野で論文を書いているかの成分値が自動推定されて,その上位2分野が利用されています.成分値が低い研究者でも,他分野での被引用数が多い場合は上位に掲載されることがあります.そこで,成分値が15%以上となっている場合に限定したリストも作成しました.世界と日本で上位300名のリスト(エクセルファイル)です.

PDFファイルのダウンロード(成分値は考慮せず上位20名)

エクセルファイルのダウンロード(成分値15%以上の上位300名)

研究者データ

Baas, Jeroen; Boyack, Kevin; Ioannidis, John P.A. (2021), August 2021 data-update for “Updated science-wide author databases of standardized citation indicators”, Mendeley Data, V3, https://doi.org/10.17632/btchxktzyw.3

言語処理学会第28回年次大会(NLP2022)において若手奨励賞を受賞

単語の意味をベクトルで表現する,という単語埋め込みの研究においてB4の大山百々勢が若手奨励賞(対象280件中12件)を受賞をしました.対象となった研究「単語ベクトルの長さは意味の強さを表す」は,大山百々勢 (京大,理研AIP),横井祥(東北大学,理研AIP),下平英寿(京都大学,理研AIP)の共同研究です.

言語処理学会のサイト https://www.anlp.jp/nlp2022/award.html

マルチスケールブートストラップによる選択的推測のセミナー(2021/12/15)

YouTubeの公開動画

EPFL CIS-RIKEN AIP Joint Seminar #6 20211215

Date and Time: December 15th 6:00pm – 7:00pm(JST)
10:00am-11:00pm(CET)
Venue:Zoom webinar

Language: English

Speaker: Hidetoshi Shimodaira, RIKEN AIP

Title: Selection bias may be adjusted when the sample size is negative in hierarchical clustering, phylogeny, and variable selection

Abstract:
For computing p-values, you should specify hypotheses before looking at data. However, people tend to use datasets twice for hypothesis selection and evaluation, leading to inflated statistical significance and more false positives than expected. Recently, a new statistical method, called selective inference or post-selection inference, has been developed for adjusting this selection bias. On the other hand, we also face biased p-values in multiple testing, although it is a different type of selection bias. In this talk, I present a bootstrap resampling method with a “negative sample size” for adjusting these two types of selection bias. The theory is based on a geometric idea in the data space, which bridges Bayesian posterior probability to the frequentist p-value. Examples are shown for the confidence interval of regression coefficients after model selection and significance levels of trees and edges in hierarchical clustering and phylogenetic inference.

Bio:
Hidetoshi Shimodaira is a professor at Kyoto University and a team leader at RIKEN AIP. He has been working on theory and methods of statistics and machine learning. His multiscale bootstrap method is used in genomics for evaluating the statistical significance of trees and clusters. His “covariate shift” setting for transfer learning is popular in machine learning.

研究室分野名の変更(2021/10/08)

京都大学情報学研究科における研究室の分野名が変更になりました.

旧分野名:数理システム論 (Mathematical System Theory)

新分野名:統計知能 (Statistical Intelligence)

研究室では,統計的方法論による「理解や思考」の探求を目指して,人工知能やデータサイエンスの基礎となる手法の数理的研究をしています.統計学や機械学習を融合する形でのデータ駆動型の帰納的推測を「統計知能 (Statistical Intelligence)」と呼称し研究室の分野名としました.

AIPオープンセミナー (2021/07/07)

数理統計学チームの研究を紹介するセミナーです.

YouTubeの公開動画

2021/07/07 15:00-17:00 Zoomによるオンライン配信(要登録)

Mathematical Statistics Team (https://aip.riken.jp/labs/generic_tech/math_stat/) at RIKEN AIP

Speaker 1: Hidetoshi Shimodaira (30 mins)
Title: Statistical Intelligence for Advanced Artificial Intelligence
Abstract: Our goal is to develop a data-driven methodology with statistical inference for artificial intelligence, which may be called “statistical intelligence.” In the first half of the talk, I overview our research topics: (1) Representation learning via graph embedding for multimodal relational data, (2) Valid inference via bootstrap resampling for many hypotheses with selection bias, (3) Statistical estimation of growth mechanism from complex networks. In the second half of the talk, I discuss a generalization of “additive compositionality” of word embedding in natural language processing. I show the computation of distributed representations for logical operations including AND, OR, and NOT, which would be a basis for implementing “advanced thinking” by AI in the future.

Speaker 2: Akifumi Okuno (30mins)
Title: Approximation Capability of Graph Embedding using Siamese Neural Network
Abstract: In this talk, we present our studies on the approximation capability of graph embedding using the Siamese neural network (NN). Whereas a prevailing line of previous works has applied the inner-product similarity (IPS) to the neural network outputs, the overall Siamese NN is limited to approximate only the positive-definite similarities. To overcome the limitation, we propose novel similarities called shifted inner product similarity (SIPS) and weighted inner product similarity (WIPS) for the siamese NN. We theoretically prove and empirically demonstrate their improved approximation capabilities.

Speaker 3: Yoshikazu Terada (30 mins)
Title: Selective inference via multiscale bootstrap and its application
Abstract: We consider a general approach to selective inference for hypothesis testing of the null hypothesis represented as an arbitrarily shaped region in the parameter space of the multivariate normal model. This approach is useful for hierarchical clustering, where confidence levels of clusters are calculated only for those appearing in the dendrogram, subject to heavy selection bias. Our computation is based on a raw confidence measure, called bootstrap probability, which is easily obtained by counting how many times the same cluster appears in bootstrap replicates of the dendrogram. We adjust the bias of the bootstrap probability by utilizing the scaling law in terms of geometric quantities of the region in the abstract parameter space, namely, signed distance and mean curvature. Although this idea has been used for non-selective inference of hierarchical clustering, its selective inference version has not been discussed in the literature. Our bias-corrected p-values are asymptotically second-order accurate in the large sample theory of smooth boundary surfaces of regions, and they are also justified for nonsmooth surfaces such as polyhedral cones. Moreover, the p-values are asymptotically equivalent to those of the iterated bootstrap but with less computation.

Speaker 4: Thong Pham (30 mins)
Title: Some recent progress in modeling preferential attachment of growing complex networks
Abstract: Preferential attachment (PA) is a network growth mechanism commonly invoked to explain the emergence of those heavy-tailed degree distributions characteristic of growing network representations of diverse real-world phenomena. In this talk, I will review some of our recent PA-related works, including a new estimation method for the nonparametric PA function from one single snapshot and a new condition for Bose-Einstein condensation in complex networks.

言語処理学会第27回年次大会(NLP2021)において優秀賞と委員特別賞を受賞

単語の意味をベクトルで表現する,という単語埋め込みの研究において2つの受賞をしました.横井祥(東北大学,理研AIP),内藤雅博(京都大学,理研AIP),下平英寿(京都大学,理研AIP)の共同研究です.

優秀賞 横井祥, 下平英寿 「単語埋め込みの確率的等方化」

委員特別賞 内藤雅博, 横井祥, 下平英寿 「単語埋め込みによる論理演算」

言語処理学会のサイト https://www.anlp.jp/nlp2021/award.html

新人ラボメンの内藤くん(B4),おめでとう!