概要
テーマ（幾何的な発想が多い）
- 自然言語処理に関連した機械学習と統計学およびその応用
- 生成モデルを理解するための数理的アプローチ
- 埋め込み、表現学習
- 様々な情報源から得られるベクトルの関連を考慮して情報統合する多変量解析
- k近傍法などノンパラメトリックな判別法
- ニューラルネットワークの深層学習に関する統計理論
- 確率シミュレーションで信頼度計算するブートストストラップリサンプリング
- 選択的推測など統計的検定や信頼区間の手法
- ベイズ統計学や確率分布の空間の幾何学（情報幾何学）
- 複雑ネットワークの統計解析
- 適切な確率モデルを選ぶためのモデル選択法，情報量規準，L1正則化法
- 分子進化系統樹や遺伝子発現解析などのバイオインフォマティクス
研究紹介のリンク
ちょっと古い研究紹介
- 年度ポスター
- 研究紹介 (2019/08/30)
- 研究の講演スライド: DSSV2019, IJCAI2019, ISIWSC2019
- グラフ埋め込みや類似度関数の学習 (2019/02/28)
- 単語埋め込み，選択的推測，複雑ネットワーク，情報量規準 (2019/02/28)
- 最近の論文 (2019/02/28)
- 出身者による研究室紹介
- 基礎工学部，理学部，工学部の特徴をシラバスから探る！（最近の卒業研究を紹介します）
- なぜサンプルサイズを負にすると ベイズが頻度論に変わるのか? （日本統計学会研究業績賞記念講演 2011） 一言でいうと，確率分布の空間で仮説の曲率が反転するから
- 負のサンプルサイズ（日本語の資料）
関連する話題
研究成果
論文被引用数
- Hidetoshi Shimodaira (Google Scholar)
- Hidetoshi Shimodaira (Web of Science)
- Hidetoshi Shimodaira (Scopus)
- Hidetoshi Shimodaira (Semantic Scholar)
ソフトウエア
- 研究室のgithubサイトはこちら https://github.com/shimo-lab
- Universal-Geometry-with-ICA 【論文】 Discovering Universal Geometry in Embeddings with ICA (arxiv) (EMNLP2023 main) [各種言語や画像モデルの埋め込みに共通する「意味の独立成分」を可視化してみた]
- hoc 【論文】Understanding Higher-Order Correlations Among Semantic Components in Embeddings (arxiv) (EMNLP2024 main) [ICA変換した埋め込みに残る非独立性を高次相関で見る]
- Axis-Tour【論文】Axis Tour: Word Tour Determines the Order of Axes in ICA-transformed Embeddings (arxiv) (EMNLP2024 findings) [ICA変換した埋め込みの軸の意味の連続性を最適化する順序を決定]
- 複雑ネットワークの統計解析 PAFit 【論文】PAFit: an R Package for Estimating Preferential Attachment and Node Fitness in Temporal Complex Networks (arXiv) (Journal of Statistical Software 2020) [ネットワーク成長モデルの優先的選択関数と適応度を同時推定するソフトウエア]
- クラスタリングの信頼度 pvclust 【論文】Pvclust: an R package for assessing the uncertainty in hierarchical clustering
- 分子系統樹の信頼度 CONSEL 【論文】CONSEL: for assessing the confidence of phylogenetic tree selection
- マルチスケールブートストラップ法 scaleboot
- 自然言語処理(古い) senbei, kadingir, SCNE
- グラフ埋め込み(古い) SIPS
- 旧ソフトウエアサイト
最近の論文リスト
- 不均衡最適輸送を用いた意味変化検出 (NLP2025) 言語処理学会第31回年次大会(NLP2025)において委員特別賞 [単語の意味変化を使用事例ごとに検出する]
- Mapping 1,000+ Language Models via the Log-Likelihood Vector (arxiv) [1000個以上の言語モデルを対数尤度ベクトルで確率分布の空間にマッピングしてみた]
- Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport (arxiv) [不均衡最適輸送で単語の意味変化を定量化する]
- Norm of Mean Contextualized Embeddings Determines their Variance (arxiv) (COLING 2025) [言語モデルの埋め込みの分散は平均埋め込みのノルムで決まる]
- Revisiting Cosine Similarity via Normalized ICA-transformed Embeddings (arxiv) (COLING 2025) [独立成分によるコサイン類似度の新しい解釈]
- Zipfian Whitening (arxiv) (NeurIPS2024) [埋め込みの中心化や白色化は単語頻度で重み付けすると良い]
- Understanding Higher-Order Correlations Among Semantic Components in Embeddings (arxiv) (EMNLP2024) [ICA変換した埋め込みに残る非独立性を高次相関で見る]
- Axis Tour: Word Tour Determines the Order of Axes in ICA-transformed Embeddings (arxiv) (EMNLP2024) [ICA変換した埋め込みの軸の意味の連続性を最適化する順序を決定]
- Block-Diagonal Orthogonal Relation and Matrix Entity for Knowledge Graph Embedding (arxiv) (EMNLP2024) [行列の埋め込みを用いた知識グラフ埋め込み]
- Shimo Lab at “Discharge Me!”: Discharge Summarization by Prompt-Driven Concatenation of Electronic Health Record Sections (arxiv) (BioNLP-WS 2024) (ACL 2024 BioNLP Workshop) (BioNLP ACL’24 Shared Task on Streamlining Discharge Documentation) [電子カルテから退院サマリー文書の作成]
- Predicting Drug-Gene Relations via Analogy Tasks with Word Embeddings (arxiv) [単語埋め込みを用いたアナロジータスクによる薬物-遺伝子関係の予測]
- Knowledge Sanitization of Large Language Models (arxiv) [大規模言語モデルでプライバシー保護のための知識サニタイゼーション]
- Bregman Divergence による低品質なテキストにおけるロバストな事前学習 (JSAI2024) [低品質データを用いた言語モデルの学習]
- 大規模言語モデルにおける幻覚緩和のための単語確率の外挿 (NLP2024) 言語処理学会第30回年次大会(NLP2024)においてリクルート賞 [トランスフォーマーの「外挿」によって単語生成確率の性能向上]
- 依存関係の大きさは意味の関連性を表す (NLP2024) [単語埋め込みを独立成分分析したときの独立性からのズレに着目し単語の意味の関連性として解釈した]
- Discovering Universal Geometry in Embeddings with ICA (arxiv) (EMNLP2023 main) [各種言語や画像モデルの埋め込みに共通する「意味の独立成分」を可視化してみた]
- Norm of word embedding encodes information gain (arxiv) (EMNLP2023 main) [KLダイバージェンス，単語埋め込みのノルム，単語頻度の関係とキーワード抽出等のタスクについて]
- Improving word mover’s distance by leveraging self-attention matrix (arxiv) (EMNLP2023 findings) [単語埋め込みだけでなくBERTのself-attentionを利用して文構造を考慮した最適輸送距離を計算する]
- 3D Rotation and Translation for Hyperbolic Knowledge Graph Embedding (arxiv) (EACL2024) [双曲空間における3D回転と移動による知識グラフの埋め込み]
- 単語ベクトルの長さは意味の強さを表す (NLP2022) [KLダイバージェンス，単語埋め込みのノルム，意味の強さ，単語頻度の関係について] 言語処理学会第27回年次大会(NLP2022)において若手奨励賞
- Selective inference after feature selection via multiscale bootstrap (AISM 2022) (arXiv) [特徴量選択の選択的推測をマルチスケールブートストラップ法で計算]
- A Hypergraph Approach for Estimating Growth Mechanisms of Complex Networks (IEEE Access 2022) [複雑ネットワークの成長モデルをハイパーグラフに拡張する手法の提案と論文共著者ネットワーク分析等への応用]
- Improving Nonparametric Classification via Local Radial Regression with an Application to Stock Prediction (ArXiv 2021) [マルチスケールk近傍法の改良と株価予測への応用]
- Revisiting Additive Compositionality: AND, OR and NOT Operations with Word Embeddings (arXiv 2021) (ACL-IJCNLP 2021 Student Research Workshop) [単語ベクトルの加法構成性を再考してANDからOR, NOTへの拡張をする]
- Nonparametric estimation of the preferential attachment function from one network snapshot (arXiv 2021) (Journal of Complex Networks 2021) [一つのネットワークだけから，ネットワーク時系列の成長モデルを推定する]
- 単語埋め込みの確率的等方化 (NLP2021) [単語ベクトルが空間的に等方的であることがタスク性能向上へつながる] 言語処理学会第27回年次大会(NLP2021)において優秀賞
- 単語埋め込みによる論理演算 (NLP2021) [単語ベクトルの加法構成性を一般化してAND, OR, NOTの意味計算を行う] 言語処理学会第27回年次大会(NLP2021)において委員特別賞
- Extrapolation Towards Imaginary 0-Nearest Neighbour and Its Improved Convergence Rate (arXiv 2020) (NeurIPS 2020 accepted) [k近傍法（k-NN）のバイアスをゼロにするためにk=0とした架空の推定量とその収束レートの最適性]
- Stochastic Neighbor Embedding of Multimodal Relational Data for Image-Text Simultaneous Visualization (arXiv 2020) [マルチモーダル関連性データの確率的近傍埋め込みによる画像とテキストの同時可視化]
- Hyperlink Regression via Bregman Divergence (arXiv 2019) (Neural Networks) [Bregmanダイバージェンスによるハイパーリンク回帰]
- Joint Estimation of the Non-parametric Transitivity and Preferential Attachment Functions in Scientific Co-authorship Networks (Journal of Informetrics) (arXiv 2019) [共著ネットワークにおける推移性と優先的選択のノンパラメトリック同時推定]
- PAFit: an R Package for Estimating Preferential Attachment and Node Fitness in Temporal Complex Networks (arXiv) (Journal of Statistical Software 2020) [ネットワーク成長モデルの優先的選択関数と適応度を同時推定するソフトウエア]
- 単語埋め込みの二種類の加法構成性 (言語処理学会第26回年次大会 NLP2020) [加法構成性についてANDとORの二種類あることを示した]
- More Powerful Selective Kernel Tests for Feature Selection (arViv 2019) (AISTATS 2020) [山田チームの共同研究] [カーネル法の特徴量選択で選択的推測をマルチスケール・ブートストラップで計算]
- 擬ユークリッド空間への単語埋め込み (言語処理学会第25回年次大会 NLP2019) KIM, GEE WOOK（修士１年）が若手奨励賞＆最優秀ポスター賞受賞
- Representation Learning with Weighted Inner Product for Universal Approximation of General Similarities (arXiv 2019) (IJCAI 2019) (スライド) [ニューラルネットワークと重み付き内積による一般類似度関数の万能近似性]
- Segmentation-free compositional n-gram embedding (arXiv 2019) (NAACL-HLT 2019 accepted papers) (software) [単語分割しない合成的文字n-gram埋め込み]
- Robust Graph Embedding with Noisy Link Weights (arXiv) (AISTATS 2019) [リンクにノイズがあるときのロバストなグラフ埋め込み]
- Graph Embedding with Shifted Inner Product Similarity and Its Improved Approximation Capability (arXiv) (AISTATS 2019) (software) [ニューラルネットワークの関係データ解析で用いる類似度の拡張とその近似定理および近似レート評価]
- An information criterion for auxiliary variable selection in incomplete data analysis (Entropy 2019) [不完全データにおける補助変数選択のための情報量規準]
- Selective Inference for Testing Trees and Edges in Phylogenetics (arXiv 2019) (Frontiers in Ecology and Evolution) (software) [系統樹推定における選択的仮説検定]
- Word-like character n-gram embedding (W-NUT 2018) [単語らしい文字n-gramの埋め込み]
- Transitivity vs Preferential Attachment: Determining the Driving Force Behind the Evolution of Scientific Co-Authorship Networks (ICCS 2018) [共著ネットワークなどの複雑ネットワーク成長メカニズムにおける優先的選択性と推移性について]
- On representation power of neural network-based graph embedding and beyond (arXiv) (ICML 2018 workshop Theoretical Foundations and Applications of Deep Generative Models) [ニューラルネットワークの関係データ解析で用いる類似度の拡張とその表現定理]
- A probabilistic framework for multi-view feature learning with many-to-many associations via neural networks (arXiv) (ICML 2018) [ニューラルネットワークによるマルチビュー関連データ解析]
- Selective inference for the problem of regions via multiscale bootstrap (arXiv 2018) [マルチスケールブートストラップによる選択的仮説検定]
- 単語らしい文字n-gramの埋め込みによる単語の分散表現 (言語処理学会 第24回年次大会 NLP2018)
- Segmentation-Free Word Embedding for Unsegmented Languages (EMNLP 2017) [単語分割しない単語埋め込み]
- Spectral Graph-Based Method of Multimodal Word Embedding (TextGraphs-11, 2017) [画像を補助情報とした単語埋め込み]
- 単語分割を経由しない単語埋め込み (言語処理学会 第23回年次大会 NLP2017)
- An information criterion for model selection with missing data via complete-data divergence (Annals of the Institute of Statistical Mathematics 2018) [欠測データの情報量規準]
- Joint estimation of preferential attachment and node fitness in growing complex networks (Scientific Reports 2016) [ネットワーク成長モデルの優先的選択関数と適応度を同時推定]
- Image and tag retrieval by leveraging image-group links with multi-domain graph embedding (ICIP 2016) [Flickrの画像，タグ，グループ検索]
- Cross-Lingual Word Representations via Spectral Graph Embeddings (ACL 2016) (CL-Eigenwords Website) [多言語コーパスの単語分散表現]
- マッチング相関分析を用いた画像-マルチタグ間の相互検索, 電子情報通信学会 和文論文誌D 2016「画像の認識・理解」特集 [Flickrの画像，タグ検索]
- Cross-validation of matching correlation analysis by resampling matching weights (Neural Networks 2016) (arXiv) [CDMCAの概要とそのリサンプリング理論]
- PAFit: A Statistical Method for Measuring Preferential Attachment in Temporal Complex Networks (PLOS ONE 2015) [ネットワーク成長モデルの優先的選択関数を推定]
- Higher-order accuracy of multiscale-double bootstrap for testing regions (Journal of Multivariate Analysis 2014) [マルチスケール・ブートストラップ法およびダブルブートストラップ法の高次漸近理論]
- Measuring preferential attachment in growing networks with missing-timelines using Markov chain Monte Carlo (Physica A 2012) [タイムラインが未観測の場合のネットワーク成長モデル推定]
古いエッセイ
古いテクニカルレポート
- Improving predictive inference under covariate shift by weighting the log-likelihood function, ISM RM-712, 1998. 共変量シフトの最初の論文 (Shimodaira JSPI 2000) とほぼ同じだが，８章の幾何的議論は論文にするとき削除されてしまった．
- A graphical technique for model selection diagnosis, ISM RM-680, 1998. この一部は，その後の論文 (Shimodaira Comm. Stat. 2001) に含まれている．