人工ニューラルネットワークにおける創発的記号構造
The Emergent Symbolic Structure of Artificial Neural Networks (arxiv.org)
要約
本研究は、現代のAIシステムが、記号構造を扱う伝統的な知能モデルとは異なり、連続ベクトルで情報を表現するニューラルネットワークに基づいているにもかかわらず、言語や論理などの構造化された領域で優れた性能を発揮する理由を探求しています。著者らは、ニューラルネットワークの内部表現が、計算の大部分を占める記号構造を暗黙的に実現している可能性を提唱し、その仮説を支持する証拠を示しています。
全文翻訳
Computer Science > Computation and Language
arXiv:2608.29530 (cs)
[Submitted on 30 Aug 2026]
Title:人工ニューラルネットワークにおける創発的シンボル構造
Authors:R. Thomas McCoy, Paul Soulos, Tal Linzen, Paul Smolensky
View a PDF of the paper titled The Emergent Symbolic Structure of Artificial Neural Networks, by R. Thomas McCoy and Paul Soulos and Tal Linzen and Paul Smolensky
Abstract:現代の人工知能（AI）システムは、一見すると不向きに見える領域で驚くべき成果を上げています。知能は伝統的に、論理式のような構造化された記号の組み合わせ上で動作するものとモデル化されてきました。しかし、最も強力な現代のAIシステムはニューラルネットワークに基づいており、それらは代わりに連続ベクトルで情報を表現します。ベクトルは言語、論理、その他の認知領域の構造を捉えるには不十分に見えますが、ニューラルネットワークはこれらの分野で印象的なパフォーマンスを達成しています。どのようにしてそれが可能なのでしょうか？本研究では、潜在的な答えを提案します。見た目に反して、おそらくニューラルネットワークの内部表現は暗黙的にシンボル構造を実現しているのではないでしょうか。この仮説を支持するために、様々なニューラルネットワークのベクトル表現がシンボル構造によって密接に近似できることを示します。ネットワークの表現生成プロセス全体を、シンボル構造をインスタンス化する閉形式方程式に置き換えることができ、ネットワークの振る舞いはほとんど変化しません。この発見は、リストを操作するために訓練された小規模なニューラルネットワークと、算術、論理、コンピュータコード、言語というシンボル伝統の中心的な4つのドメインで動作する大規模言語モデル（LLM）の両方に当てはまります。さらに、私たちのシンボル近似により、特定されたシンボル構造に対する内部表現への正確な介入を通じて、LLMの振る舞いを標的を絞った方法で変更することが可能になり、LLMの振る舞いが私たちが特定したシンボル構造に依存していることを示しています。本研究は、知能に関する長年のシンボル的概念と、現代AIのベクトルベースの性質を調和させる潜在的な方法を提供します。
| Comments: | 30 pages, plus 29 pages of references and appendices |
| Subjects: | Computation and Language (cs.CL); Artificial Intelligence (cs.AI) |
| Cite as: | arXiv:2608.29530 [cs.CL] |
| (or arXiv:2608.29530v1 [cs.CL] for this version) | |
| https://doi.org/10.48550/arXiv.2608.29530 arXiv-issued DOI via DataCite |
Submission history
From: Tom McCoy view email
[v1] Sun, 30 Aug 2026 03:32:13 UTC (1,107 KB)
Full-text links:
Access Paper:
View a PDF of the paper titled The Emergent Symbolic Structure of Artificial Neural Networks, by R. Thomas McCoy and Paul Soulos and Tal Linzen and Paul Smolensky
Additional Features
Current browse context:
cs.CL
Change to browse by:
References & Citations
Loading...
BibTeX formatted citation
loading...
Data provided by:
Bookmark
Bibliographic Tools
Bibliographic and Citation Tools
Bibliographic Explorer Toggle
Bibliographic Explorer (What is the Explorer?)
Connected Papers Toggle
Connected Papers (What is Connected Papers?)
Litmaps Toggle
Litmaps (What is Litmaps?)
scite.ai Toggle
scite Smart Citations (What are Smart Citations?)
Code, Data, Media
Code, Data and Media Associated with this Article
alphaXiv Toggle
alphaXiv (What is alphaXiv?)
Links to Code Toggle
CatalyzeX Code Finder for Papers (What is CatalyzeX?)
DagsHub Toggle
DagsHub (What is DagsHub?
GotitPub Toggle
Gotit.pub (What is GotitPub?)
Huggingface Toggle
Hugging Face (What is Huggingface?)
ScienceCast Toggle
ScienceCast (What is ScienceCast?)
Demos
Demos
Replicate Toggle
Replicate (What is Replicate?)
Spaces Toggle
Hugging Face Spaces (What is Spaces?)
Spaces Toggle
TXYZ.AI (What is TXYZ.AI?)
Related Papers
Recommenders and Search Tools
Link to Influence Flower
Influence Flower (What are Influence Flowers?)
Core recommender toggle
CORE Recommender (What is CORE?)
- Author
- Venue
- Institution
- Topic
About arXivLabs
arXivLabs: experimental projects with community collaborators
arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.
Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.
Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.
Which authors of this paper are endorsers? | Disable MathJax (What is MathJax?)