コンテンツへスキップ
概要
研究室のトピック（幾何的な発想が多い）
- 自然言語処理に関連した機械学習と統計学およびその応用
- 生成モデルを理解するための数理的アプローチ
- 埋め込み、表現学習
- 様々な情報源から得られるベクトルの関連を考慮して情報統合する多変量解析
- k近傍法などノンパラメトリックな判別法
- バンディット理論などデータに基づいて動的に意思決定する手法
- ニューラルネットワークの深層学習に関する統計理論
- 確率シミュレーションで信頼度計算するブートストストラップリサンプリング
- 選択的推測など統計的検定や信頼区間の手法
- ベイズ統計学や確率分布の空間の幾何学（情報幾何学）
- 複雑ネットワークの統計解析
- 適切な確率モデルを選ぶためのモデル選択法，情報量規準，L1正則化法
- 分子進化系統樹や遺伝子発現解析などのバイオインフォマティクス
研究紹介のリンク
研究紹介（ちょっと古い）
関連する話題
研究成果
論文被引用数
ソフトウエア
最近の論文リスト
- 不均衡最適輸送を用いた意味変化検出 (NLP2025) 言語処理学会第31回年次大会(NLP2025)において委員特別賞 [単語の意味変化を使用事例ごとに検出する]
- Mapping 1,000+ Language Models via the Log-Likelihood Vector (arxiv) [1000個以上の言語モデルを対数尤度ベクトルで確率分布の空間にマッピングしてみた]
- Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport (arxiv) [不均衡最適輸送で単語の意味変化を定量化する]
- Norm of Mean Contextualized Embeddings Determines their Variance (arxiv) (COLING 2025) [言語モデルの埋め込みの分散は平均埋め込みのノルムで決まる]
- Revisiting Cosine Similarity via Normalized ICA-transformed Embeddings (arxiv) (COLING 2025) [独立成分によるコサイン類似度の新しい解釈]
- Zipfian Whitening (arxiv) (NeurIPS2024) [埋め込みの中心化や白色化は単語頻度で重み付けすると良い]
- Understanding Higher-Order Correlations Among Semantic Components in Embeddings (arxiv) (EMNLP2024) [ICA変換した埋め込みに残る非独立性を高次相関で見る]
- Axis Tour: Word Tour Determines the Order of Axes in ICA-transformed Embeddings (arxiv) (EMNLP2024) [ICA変換した埋め込みの軸の意味の連続性を最適化する順序を決定]
- Block-Diagonal Orthogonal Relation and Matrix Entity for Knowledge Graph Embedding (arxiv) (EMNLP2024) [行列の埋め込みを用いた知識グラフ埋め込み]
- Shimo Lab at “Discharge Me!”: Discharge Summarization by Prompt-Driven Concatenation of Electronic Health Record Sections (arxiv) (BioNLP-WS 2024) (ACL 2024 BioNLP Workshop) (BioNLP ACL’24 Shared Task on Streamlining Discharge Documentation) [電子カルテから退院サマリー文書の作成]
- Predicting Drug-Gene Relations via Analogy Tasks with Word Embeddings (arxiv) [単語埋め込みを用いたアナロジータスクによる薬物-遺伝子関係の予測]
- Knowledge Sanitization of Large Language Models (arxiv) [大規模言語モデルでプライバシー保護のための知識サニタイゼーション]
- Bregman Divergence による低品質なテキストにおけるロバストな事前学習 (JSAI2024) [低品質データを用いた言語モデルの学習]
- Finite-time Analysis of Globally Nonstationary Multi-Armed Bandits (Journal of Machine Learning Research) [非定常なバンディット問題における漸近最適方策]
- Follow-the-Perturbed-Leader with Fréchet-type Tail Distributions: Optimality in Adversarial Bandits and Best-of-Both-Worlds (COLT 2024) [FTPL方策における一般のフレシェ型分布の最適性予想の肯定的解決]
- Adaptive Learning Rate for Follow-the-Regularized-Leader: Competitive Ratio Analysis and Best-of-Both-Worlds (COLT 2024) [バンディット問題における競合比解析に基づく学習率最適化手法]
- Exploration by Optimization with Hybrid Regularizers: Logarithmic Regret with Adversarial Robustness in Partial Monitoring (ICML 2024) [部分観測問題における新たな探索手法とそれによる両環境最適方策の構築]
- Learning with Posterior Sampling for Revenue Management under Time-varying Demand (IJCAI 2024) [在庫管理問題における事後分布サンプリングに基づいた価格最適化]
- 大規模言語モデルにおける幻覚緩和のための単語確率の外挿 (NLP2024) 言語処理学会第30回年次大会(NLP2024)においてリクルート賞 [トランスフォーマーの「外挿」によって単語生成確率の性能向上]
- 依存関係の大きさは意味の関連性を表す (NLP2024) [単語埋め込みを独立成分分析したときの独立性からのズレに着目し単語の意味の関連性として解釈した]
- Stability-penalty-adaptive Follow-the-regularized-leader: Sparsity, Game-dependency, and Best-of-both-worlds (NeurIPS 2023) [オンライン学習におけるFTRL方策の新たな学習率最適化法とその応用]
- Discovering Universal Geometry in Embeddings with ICA (arxiv) (EMNLP2023 main) [各種言語や画像モデルの埋め込みに共通する「意味の独立成分」を可視化してみた]
- Norm of word embedding encodes information gain (arxiv) (EMNLP2023 main) [KLダイバージェンス，単語埋め込みのノルム，単語頻度の関係とキーワード抽出等のタスクについて]
- Improving word mover’s distance by leveraging self-attention matrix (arxiv) (EMNLP2023 findings) [単語埋め込みだけでなくBERTのself-attentionを利用して文構造を考慮した最適輸送距離を計算する]
- 3D Rotation and Translation for Hyperbolic Knowledge Graph Embedding (arxiv) (EACL2024) [双曲空間における3D回転と移動による知識グラフの埋め込み]
- Thompson Exploration with Best Challenger Rule in Best Arm Identification (ACML 2023) [最適腕識別問題における事後分布サンプリングを用いた強制探索の回避法]
- Optimality of Thompson Sampling with Noninformative Priors for Pareto Bandits (ICML 2023) [バンディット問題における無情報事前分布による方策の最適性と非最適性の証明]
- Further Adaptive Best-of-Both-Worlds Algorithm for Combinatorial Semi-Bandits (AISTATS 2023) [組合せバンディット問題における両環境最適方策]
- Follow-the-Perturbed-Leader Achieves Best-of-Both-Worlds for Bandit Problems (ALT2023) [バンディット問題におけるFTPL方策の最適性予想の肯定的解決]
- Best-of-Both-Worlds Algorithms for Partial Monitoring (ALT2023) [部分観測問題（バンディット問題の一般化）における確率的・敵対的環境に同時最適となる方策]
- Optimal dose escalation methods using deep reinforcement learning in phase I oncology trials (Journal of Biopharmaceutical Statistics, 2023) [新薬の第１相試験における強化学習を用いた動的な用量選択]
- バンディット問題における Best-of-Both-Worlds 方策の進展：構造的バンディットと分散依存リグレット (IBIS2022) [バンディット問題における両環境最適方策に関する最近の進展] 第25回情報論的学習理論ワークショップ(IBIS2022)において学生最優秀プレゼンテーション賞
- Minimax Optimal Algorithms for Fixed-Budget Best Arm Identification (NeurIPS2022) [バンディット問題におけるミニマックス最適な最適腕識別方策]
- Nearly Optimal Best-of-Both-Worlds Algorithms for Online Learning with Feedback Graphs (NeurIPS2022) [グラフフィードバック型バンディット問題における確率的・敵対的環境に同時最適となる方策]
- 単語ベクトルの長さは意味の強さを表す (NLP2022) [KLダイバージェンス，単語埋め込みのノルム，意味の強さ，単語頻度の関係について] 言語処理学会第27回年次大会(NLP2022)において若手奨励賞
- Adversarially Robust Multi-Armed Bandit Algorithm with Variance-Dependent Regret Bounds (COLT2022) (full version) [敵対的環境に頑健かつ分散情報を考慮可能なバンディット方策]
- Selective inference after feature selection via multiscale bootstrap (AISM 2022) (arXiv) [特徴量選択の選択的推測をマルチスケールブートストラップ法で計算]
- Optimal adaptive allocation using deep reinforcement learning in a dose-response study (Statistics in Medicine 2022) [治験での用量-反応曲線の推定における強化学習を用いた動的患者割り当て]
- Bayesian optimization with partially specified queries (Machine Learning 2022) [入力変数を完全には指定できない環境下でのベイズ最適化]
- A Hypergraph Approach for Estimating Growth Mechanisms of Complex Networks (IEEE Access 2022) [複雑ネットワークの成長モデルをハイパーグラフに拡張する手法の提案と論文共著者ネットワーク分析等への応用]
- Improving Nonparametric Classification via Local Radial Regression with an Application to Stock Prediction (ArXiv 2021) [マルチスケールk近傍法の改良と株価予測への応用]
- Revisiting Additive Compositionality: AND, OR and NOT Operations with Word Embeddings (arXiv 2021) (ACL-IJCNLP 2021 Student Research Workshop) [単語ベクトルの加法構成性を再考してANDからOR, NOTへの拡張をする]
- Nonparametric estimation of the preferential attachment function from one network snapshot (arXiv 2021) (Journal of Complex Networks 2021) [一つのネットワークだけから，ネットワーク時系列の成長モデルを推定する]
- 単語埋め込みの確率的等方化 (NLP2021) [単語ベクトルが空間的に等方的であることがタスク性能向上へつながる] 言語処理学会第27回年次大会(NLP2021)において優秀賞
- 単語埋め込みによる論理演算 (NLP2021) [単語ベクトルの加法構成性を一般化してAND, OR, NOTの意味計算を行う] 言語処理学会第27回年次大会(NLP2021)において委員特別賞
- Extrapolation Towards Imaginary 0-Nearest Neighbour and Its Improved Convergence Rate (arXiv 2020) (NeurIPS 2020 accepted) [k近傍法（k-NN）のバイアスをゼロにするためにk=0とした架空の推定量とその収束レートの最適性]
- Stochastic Neighbor Embedding of Multimodal Relational Data for Image-Text Simultaneous Visualization (arXiv 2020) [マルチモーダル関連性データの確率的近傍埋め込みによる画像とテキストの同時可視化]
- Hyperlink Regression via Bregman Divergence (arXiv 2019) (Neural Networks) [Bregmanダイバージェンスによるハイパーリンク回帰]
- Joint Estimation of the Non-parametric Transitivity and Preferential Attachment Functions in Scientific Co-authorship Networks (Journal of Informetrics) (arXiv 2019) [共著ネットワークにおける推移性と優先的選択のノンパラメトリック同時推定]
- PAFit: an R Package for Estimating Preferential Attachment and Node Fitness in Temporal Complex Networks (arXiv) (Journal of Statistical Software 2020) [ネットワーク成長モデルの優先的選択関数と適応度を同時推定するソフトウエア]
- 単語埋め込みの二種類の加法構成性 (言語処理学会第26回年次大会 NLP2020) [加法構成性についてANDとORの二種類あることを示した]
- More Powerful Selective Kernel Tests for Feature Selection (arViv 2019) (AISTATS 2020) [山田チームの共同研究] [カーネル法の特徴量選択で選択的推測をマルチスケール・ブートストラップで計算]
- 擬ユークリッド空間への単語埋め込み (言語処理学会第25回年次大会 NLP2019) KIM, GEE WOOK（修士１年）が若手奨励賞＆最優秀ポスター賞受賞
- Representation Learning with Weighted Inner Product for Universal Approximation of General Similarities (arXiv 2019) (IJCAI 2019) (スライド) [ニューラルネットワークと重み付き内積による一般類似度関数の万能近似性]
- Segmentation-free compositional n-gram embedding (arXiv 2019) (NAACL-HLT 2019 accepted papers) (software) [単語分割しない合成的文字n-gram埋め込み]
- Robust Graph Embedding with Noisy Link Weights (arXiv) (AISTATS 2019) [リンクにノイズがあるときのロバストなグラフ埋め込み]
- Graph Embedding with Shifted Inner Product Similarity and Its Improved Approximation Capability (arXiv) (AISTATS 2019) (software) [ニューラルネットワークの関係データ解析で用いる類似度の拡張とその近似定理および近似レート評価]
- An information criterion for auxiliary variable selection in incomplete data analysis (Entropy 2019) [不完全データにおける補助変数選択のための情報量規準]
- Selective Inference for Testing Trees and Edges in Phylogenetics (arXiv 2019) (Frontiers in Ecology and Evolution) (software) [系統樹推定における選択的仮説検定]
- Word-like character n-gram embedding (W-NUT 2018) [単語らしい文字n-gramの埋め込み]
- Transitivity vs Preferential Attachment: Determining the Driving Force Behind the Evolution of Scientific Co-Authorship Networks (ICCS 2018) [共著ネットワークなどの複雑ネットワーク成長メカニズムにおける優先的選択性と推移性について]
- On representation power of neural network-based graph embedding and beyond (arXiv) (ICML 2018 workshop Theoretical Foundations and Applications of Deep Generative Models) [ニューラルネットワークの関係データ解析で用いる類似度の拡張とその表現定理]
- A probabilistic framework for multi-view feature learning with many-to-many associations via neural networks (arXiv) (ICML 2018) [ニューラルネットワークによるマルチビュー関連データ解析]
- Selective inference for the problem of regions via multiscale bootstrap (arXiv 2018) [マルチスケールブートストラップによる選択的仮説検定]
- 単語らしい文字n-gramの埋め込みによる単語の分散表現 (言語処理学会 第24回年次大会 NLP2018)
- Segmentation-Free Word Embedding for Unsegmented Languages (EMNLP 2017) [単語分割しない単語埋め込み]
- Spectral Graph-Based Method of Multimodal Word Embedding (TextGraphs-11, 2017) [画像を補助情報とした単語埋め込み]
- 単語分割を経由しない単語埋め込み (言語処理学会 第23回年次大会 NLP2017)
- An information criterion for model selection with missing data via complete-data divergence (Annals of the Institute of Statistical Mathematics 2018) [欠測データの情報量規準]
- Joint estimation of preferential attachment and node fitness in growing complex networks (Scientific Reports 2016) [ネットワーク成長モデルの優先的選択関数と適応度を同時推定]
- Image and tag retrieval by leveraging image-group links with multi-domain graph embedding (ICIP 2016) [Flickrの画像，タグ，グループ検索]
- Cross-Lingual Word Representations via Spectral Graph Embeddings (ACL 2016) (CL-Eigenwords Website) [多言語コーパスの単語分散表現]
- マッチング相関分析を用いた画像-マルチタグ間の相互検索, 電子情報通信学会 和文論文誌D 2016「画像の認識・理解」特集 [Flickrの画像，タグ検索]
- Cross-validation of matching correlation analysis by resampling matching weights (Neural Networks 2016) (arXiv) [CDMCAの概要とそのリサンプリング理論]
- PAFit: A Statistical Method for Measuring Preferential Attachment in Temporal Complex Networks (PLOS ONE 2015) [ネットワーク成長モデルの優先的選択関数を推定]
- Higher-order accuracy of multiscale-double bootstrap for testing regions (Journal of Multivariate Analysis 2014) [マルチスケール・ブートストラップ法およびダブルブートストラップ法の高次漸近理論]
- Measuring preferential attachment in growing networks with missing-timelines using Markov chain Monte Carlo (Physica A 2012) [タイムラインが未観測の場合のネットワーク成長モデル推定]
古いエッセイ
古いテクニカルレポート
