2009 年 3 月 23 日に北キプロスのガージマーウサ（ファマグスタ）で開催された科学教育研究フロンティア会議において、デイヴィッド・ヘステネス教授へのインタビューが行われました。この内容をまとめます。 Taşar, M. F., Bilici, S. C., & Fettahlıoğlu,…

BERT の Attention 機構に関する論文を Gemini Paper Summarizer で要約しました。 Clark, K., Khandelwal, U., Levy, O., & Manning, C. D. (2019). What does BERT look at? An analysis of BERT’s attention. 【注意】AI の説明には誤りが含まれる可能性…

文埋め込みが捉える言語的特性に関する論文を Gemini Paper Summarizer で要約しました。 Conneau, A., Kruszewski, G., Lample, G., Barrault, L., & Baroni, M. (2018). What you can cram into a single vector: Probing sentence embeddings for linguis…

単語表現空間における構文木構造の埋め込みに関する論文を Gemini Paper Summarizer で要約しました。 Hewitt, J., & Manning, C. D. (2019). A Structural Probe for Finding Syntax in Word Representations. In Proceedings of the 2019 Conference of th…

文脈的単語表現の転移可能性に関する論文を Gemini Paper Summarizer で要約しました。 Liu, N. F., Gardner, M., Belinkov, Y., Peters, M. E., & Smith, N. A. (2019). Linguistic knowledge and transferability of contextual representations. 【注意】…

BERT の解釈可能性に関する論文を Gemini Paper Summarizer で要約しました。 Tenney, I., Das, D., & Pavlick, E. (2019). BERT rediscovers the classical NLP pipeline. 【注意】AI の説明には誤りが含まれる可能性があり、正確さは保証できません。詳細…

Google が開発した言語モデル BERT に関する論文を Gemini Paper Summarizer で要約しました。 Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of deep bidirectional Transformers for language understanding. 【注意】AI…

初代 GPT に関する論文を Gemini Paper Summarizer で要約しました。 Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training. 【注意】AI の説明には誤りが含まれる可能性があ…

DeepSeek-V3 に関する論文を Gemini Paper Summarizer で要約しました。 DeepSeek-AI, Liu, A., Feng, B., Xue, B., Wang, B., Wu, B., … Pan, Z. (2024). DeepSeek-V3 Technical Report. 【注意】AI の説明には誤りが含まれる可能性があり、正確さは保証で…

DeepSeek-Coder-V2 に関する論文を Gemini Paper Summarizer で要約しました。 DeepSeek-AI, Zhu, Q., Guo, D., Shao, Z., Yang, D., Wang, P., … Liang, W. (2024). DeepSeek-Coder-V2: Breaking the barrier of closed-source models in code intelligence…

DeepSeek-V2 に関する論文を Gemini Paper Summarizer で要約しました。 DeepSeek-AI, Liu, A., Feng, B., Wang, B., Wang, B., Liu, B., … Xie, Z. (2024). DeepSeek-V2: A strong, economical, and efficient Mixture-of-Experts language model. 【注意】…

初代 DeepSeek に関する論文を Gemini Paper Summarizer で要約しました。 DeepSeek-AI, Bi, X., Chen, D., Chen, G., Chen, S., Dai, D., … Zou, Y. (2024). DeepSeek LLM: Scaling open-source language models with longtermism. 【注意】AI の説明には誤…

テキストの埋め込みベクトルから元のテキストを復元することに関する論文を Gemini Paper Summarizer で要約しました。 Morris, J. X., Kuleshov, V., Shmatikov, V., & Rush, A. M. (2023). Text embeddings reveal (almost) as much as text. 【注意】AI …

Meta が発表した LLM (Large Language Model) ならぬ LCM (Large Concept Model) の論文を Gemini Paper Summarizer で要約しました。 Large Concept Models: Language Modeling in a Sentence Representation Space | Research - AI at Meta 【注意】AI の…

Transformer が発表された有名な論文を Gemini Paper Summarizer で要約しました。 Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., … Polosukhin, I. (2017). Attention Is All You Need. 【注意】AI の説明には誤りが含ま…

メビウス変換の合成が行列の積と同じ規則になることを、順を追って説明します。

DeepSeek-V3 はその性能と訓練効率により注目を集めています。Web 版を試してみました。

運動エネルギーと重力ポテンシャルが時間遅延に与える影響を考察し、そこからラグランジアンの形式を導きます。 ※ 厳密な議論ではありません。思い付きのメモ以上のものではありません。

プランク単位系は、ディラック定数 ℏ、光速 c、万有引力定数 G という物理学の基本定数を用いて構築される自然単位系です。本記事では、プランク単位系の主要な物理量の導出とその解釈について解説します。

GPS 衛星の時間のずれを、重力と運動の両方による影響を考慮して計算します。

特殊相対性理論における時間の変換は、基底と成分という視点で考えることでより体系的に理解することができます。ローレンツ因子の定義から始めて、微分形式を経由して時刻の変換式を導出し、さらにそれが基底の変換とは逆の関係になっている構造を説明しま…

時間の進み方は観測者の状況によって変化します。本記事では、古典力学と特殊相対性理論の考え方を使って、なるべく簡単に重力場における時間の遅れを計算します。

Intel Arc A770 の Ollama のパフォーマンスと比較するため、AMD Radeon RX 7600 XT で計測してみました。

Obsidian で AI チャットができるプラグインのうち、実用には適さないと判断したものを簡単に紹介します。 ネガティブな情報を掲載するのもどうかと思いましたが、試行錯誤の手間を省く目的で公開します。

Obsidian から Ollama を利用できる Local GPT プラグインを紹介します。 更新履歴： 2024.12.07: 推奨埋め込みモデルを BGE-M3 に変更

General Chinese（通字方案）は、20世紀の言語学者、趙元任によって考案された音韻表記システムです。このシステムの特筆すべき点は、中国語の主要な方言の発音を同時に表現できる包括的な音素超越的（diaphonemic）正書法として設計されたことにあります。

AI 科学者についての論文を Claude 3.5 Sonnet に読み込ませて、要約しました。 Lu, C., Lu, C., Lange, R. T., Foerster, J., Clune, J., & Ha, D. (2024). The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery. arXiv:2408.06292 …

知識ベース (KB) 埋め込みについての論文を Claude 3.5 Sonnet に読み込ませて、要約しました。 Bourgaux, C., Guimarães, R., Koudijs, R., Lacerda, V., & Ozaki, A. (2024). Knowledge Base Embeddings: Semantics and Theoretical Properties. arXiv:240…

新しめのローカル LLM で英語から日本語とフランス語への翻訳を行って、Gemini 1.5 Pro で評価しました。

Llama 3.1 と同時に公開されたペーパーを Gemini 1.5 Pro に読み込ませて、質問しました。 The Llama 3 Herd of Models | Research - AI at Meta 【注意】AI の説明には誤りが含まれる可能性があり、正確さは保証できません。詳細は原論文を確認してください…