グラディエント降下法によるニューラルネットワーク学習の普遍性

コンピュータサイエンス > 機械学習 arXiv:2007.13664 (cs) [2020年7月27日提出] タイトル: グラディエント降下法によるニューラルネットワーク学習の普遍性 著者: G. Welper G. Welperによる「グラディエント降下法によるニューラルネットワーク学習の普遍性」と題された論文のPDFを表示 PDF HTML (実験的) を表示 概要: ニューラルネットワークの設計選択が、その効果的な最適化においてしばしば重要であることが観察されています。本稿では、そのため、勾配降下法でうまく学習できるようにニューラルネットワークを再設計することが常に可能かどうかという問いを議論します。これにより、以下の普遍的な結果が得られます。すなわち、与えられたネットワークに対して、分類タスクで良好なネットワーク重みを見つけられるアルゴリズムが存在するならば、その重みと対応するフォワード出力を単純な勾配降下法トレーニングで再現できる、このネットワークの拡張が存在します。この構成は実用的な計算を意図したものではありませんが、メタ学習や関連アプローチの可能性についてある程度の指針を提供します。 主題: 機械学習 (cs.LG); 機械学習 (stat.ML) MSCクラス: 68T07, 68Q04, 90C26 引用方法: arXiv:2007.13664 [cs.LG] (またはこのバージョンについては arXiv:2007.13664v1 [cs.LG]) https://doi.org/10.48550/arXiv.2007.13664 詳細はこちらをご覧ください arXiv発行DOI (DataCite経由) 提出履歴 送信者: Gerrit Welper [メールを表示] [v1] 月曜日, 2020年7月27日 16:17:19 UTC (31 KB) 全文リンク: 論文にアクセス: G. Welperによる「グラディエント降下法によるニューラルネットワーク学習の普遍性」と題された論文のPDFを表示 PDF HTML (実験的) TeXソース ライセンスを表示 現在の閲覧コンテキスト: cs.LG < 前 | 次 > 新着 | 最近 | 2020-07 次の方法で閲覧を変更: cs stat stat.ML 参考文献と引用 NASA ADS Google Scholar Semantic Scholar DBLP - CS Bibliography listing | bibtex export Bibtex citation 読み込み中... Bibtex形式の引用 × 読み込み中... 提供されたデータ: ブックマーク 書誌ツール 書誌および引用ツール 書誌エクスプローラー 書誌エクスプローラーを切り替える (エクスプローラーとは何ですか?) Connected Papers Connected Papersを切り替える (Connected Papersとは何ですか?) Litmaps Litmapsを切り替える (Litmapsとは何ですか?) scite.ai scite Smart Citationsを切り替える (Smart Citationsとは何ですか?) コード、データ、メディア この論文に関連するコード、データ、メディア alphaXiv alphaXivを切り替える (alphaXivとは何ですか?) コードへのリンク CatalyzeX Papers用のCatalyzeXコードファインダー (CatalyzeXとは何ですか?) DagsHub DagsHubを切り替える (DagsHubとは何ですか?) GotitPub Gotit.pubを切り替える (GotitPubとは何ですか?) Huggingface Hugging Faceを切り替える (Huggingfaceとは何ですか?) ScienceCast ScienceCastを切り替える (ScienceCastとは何ですか?) デモ デモ Replicate Replicateを切り替える (Replicateとは何ですか?) Spaces Hugging Face Spacesを切り替える (Spacesとは何ですか?) Spaces TXYZ.AIを切り替える (TXYZ.AIとは何ですか?) 関連記事 レコメンダーおよび検索ツール Influence Flowerへのリンク Influence Flower (Influence Flowersとは何ですか?) Core recommender CORE Recommenderを切り替える (CORE Recommenderとは何ですか?) IArxiv recommender IArxiv Recommenderを切り替える (IArxiv Recommenderとは何ですか?) 著者 この論文の著者は、承認者ですか? MathJaxを無効にする (MathJaxとは何ですか?) arXivLabs arXivLabs: コミュニティ協力者との実験的なプロジェクト arXivLabsは、協力者がarXivの新しい機能を直接ウェブサイト上で開発・共有できるフレームワークです。arXivLabsと協力する個人および組織は、オープンさ、コミュニティ、卓越性、ユーザーデータプライバシーという私たちの価値観を受け入れ、賛同しています。arXivはこの価値観にコミットしており、それに従うパートナーのみと協力します。arXivコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか? arXivLabsの詳細をご覧ください。