2009 年 3 月 23 日に北キプロスのガージマーウサ（ファマグスタ）で開催された科学教育研究フロンティア会議において、デイヴィッド・ヘステネス教授へのインタビューが行われました。この内容をまとめます。 Taşar, M. F., Bilici, S. C., & Fettahlıoğlu,…

BERT の Attention 機構に関する論文を Gemini Paper Summarizer で要約しました。 Clark, K., Khandelwal, U., Levy, O., & Manning, C. D. (2019). What does BERT look at? An analysis of BERT’s attention. 【注意】AI の説明には誤りが含まれる可能性…

文埋め込みが捉える言語的特性に関する論文を Gemini Paper Summarizer で要約しました。 Conneau, A., Kruszewski, G., Lample, G., Barrault, L., & Baroni, M. (2018). What you can cram into a single vector: Probing sentence embeddings for linguis…

単語表現空間における構文木構造の埋め込みに関する論文を Gemini Paper Summarizer で要約しました。 Hewitt, J., & Manning, C. D. (2019). A Structural Probe for Finding Syntax in Word Representations. In Proceedings of the 2019 Conference of th…

文脈的単語表現の転移可能性に関する論文を Gemini Paper Summarizer で要約しました。 Liu, N. F., Gardner, M., Belinkov, Y., Peters, M. E., & Smith, N. A. (2019). Linguistic knowledge and transferability of contextual representations. 【注意】…

BERT の解釈可能性に関する論文を Gemini Paper Summarizer で要約しました。 Tenney, I., Das, D., & Pavlick, E. (2019). BERT rediscovers the classical NLP pipeline. 【注意】AI の説明には誤りが含まれる可能性があり、正確さは保証できません。詳細…

Google が開発した言語モデル BERT に関する論文を Gemini Paper Summarizer で要約しました。 Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of deep bidirectional Transformers for language understanding. 【注意】AI…

初代 GPT に関する論文を Gemini Paper Summarizer で要約しました。 Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training. 【注意】AI の説明には誤りが含まれる可能性があ…

DeepSeek-V3 に関する論文を Gemini Paper Summarizer で要約しました。 DeepSeek-AI, Liu, A., Feng, B., Xue, B., Wang, B., Wu, B., … Pan, Z. (2024). DeepSeek-V3 Technical Report. 【注意】AI の説明には誤りが含まれる可能性があり、正確さは保証で…

DeepSeek-Coder-V2 に関する論文を Gemini Paper Summarizer で要約しました。 DeepSeek-AI, Zhu, Q., Guo, D., Shao, Z., Yang, D., Wang, P., … Liang, W. (2024). DeepSeek-Coder-V2: Breaking the barrier of closed-source models in code intelligence…

DeepSeek-V2 に関する論文を Gemini Paper Summarizer で要約しました。 DeepSeek-AI, Liu, A., Feng, B., Wang, B., Wang, B., Liu, B., … Xie, Z. (2024). DeepSeek-V2: A strong, economical, and efficient Mixture-of-Experts language model. 【注意】…

初代 DeepSeek に関する論文を Gemini Paper Summarizer で要約しました。 DeepSeek-AI, Bi, X., Chen, D., Chen, G., Chen, S., Dai, D., … Zou, Y. (2024). DeepSeek LLM: Scaling open-source language models with longtermism. 【注意】AI の説明には誤…

テキストの埋め込みベクトルから元のテキストを復元することに関する論文を Gemini Paper Summarizer で要約しました。 Morris, J. X., Kuleshov, V., Shmatikov, V., & Rush, A. M. (2023). Text embeddings reveal (almost) as much as text. 【注意】AI …

Meta が発表した LLM (Large Language Model) ならぬ LCM (Large Concept Model) の論文を Gemini Paper Summarizer で要約しました。 Large Concept Models: Language Modeling in a Sentence Representation Space | Research - AI at Meta 【注意】AI の…

Transformer が発表された有名な論文を Gemini Paper Summarizer で要約しました。 Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … Polosukhin, I. (2017). Attention Is All You Need. 【注意】AI の説明には誤りが含ま…

メビウス変換の合成が行列の積と同じ規則になることを、順を追って説明します。

DeepSeek-V3 はその性能と訓練効率により注目を集めています。Web 版を試してみました。