PyTorch: различия между версиями

Материал из Википедии — свободной энциклопедии
Перейти к навигации Перейти к поиску
Интерактивная навигация по истории
(Показать все непатрулированные изменения)
[отпатрулированная версия][непроверенная версия]
← Предыдущая правкаСледующая правка →
Содержимое удалено Содержимое добавлено
ВизуальныйВики-текст
исправление викиссылки
исправление
Строка 11: Строка 11:
|лицензия=[[BSD]]
|лицензия=[[BSD]]
|Репозиторий=https://github.com/pytorch/pytorch}}
|Репозиторий=https://github.com/pytorch/pytorch}}
'''PyTorch''' — фреймворк [[Машинное обучение|машинного обучения]] для [[Python|языка Python]] с открытым исходным кодом, созданная на базе [[Torch]]<ref>{{cite news|url=https://www.infoworld.com/article/3159120/artificial-intelligence/facebook-brings-gpu-powered-machine-learning-to-python.html|title=Facebook brings GPU-powered machine learning to Python|last=Yegulalp|first=Serdar|date=2017-01-19|work=InfoWorld|accessdate=2017-12-11}}</ref><ref>{{cite web|url=https://www.oreilly.com/ideas/why-ai-and-machine-learning-researchers-are-beginning-to-embrace-pytorch|title=Why AI and machine learning researchers are beginning to embrace PyTorch|last=Lorica|first=Ben|date=2017-08-03|publisher=O'Reilly Media|accessdate=2017-12-11}}</ref><ref>{{книга |ссылка=https://link.springer.com/chapter/10.1007/978-1-4842-2766-4_12 |заглавие=Deep Learning with Python |издательство=Apress, Berkeley, CA |isbn=9781484227657 |страницы=195—208 |язык=en |doi=10.1007/978-1-4842-2766-4_12 |автор=Ketkar, Nikhil |год=2017}}</ref>. Используется для решения различных задач: [[компьютерное зрение]], [[обработка естественного языка]].<ref>{{Cite web|url=http://dl4nlp.info/en/latest/|title=Natural Language Processing (NLP) with PyTorch — NLP with PyTorch documentation|website=dl4nlp.info|language=en|access-date=2017-12-18}}</ref> Разрабатывается преимущественно группой искусственного интеллекта [[Facebook]]<ref>{{Cite news|url=https://www.oreilly.com/ideas/when-two-trends-fuse-pytorch-and-recommender-systems|title=When two trends fuse: PyTorch and recommender systems|last=Patel|first=Mo|date=2017-12-07|work=O'Reilly Media|access-date=2017-12-18|language=en}}</ref><ref>{{Cite news|url=https://techcrunch.com/2017/09/07/facebook-and-microsoft-collaborate-to-simplify-conversions-from-pytorch-to-caffe2/|title=Facebook and Microsoft collaborate to simplify conversions from PyTorch to Caffe2|last=Mannes|first=John|date=|work=[[TechCrunch]]|access-date=2017-12-18|archive-url=|archive-date=|dead-url=|language=en|quote=FAIR is accustomed to working with PyTorch — a deep learning framework optimized for achieving state of the art results in research, regardless of resource constraints. Unfortunately in the real world, most of us are limited by the computational capabilities of our smartphones and computers.}}</ref><ref>{{Cite web|url=https://venturebeat.com/2017/11/29/tech-giants-are-using-open-source-frameworks-to-dominate-the-ai-community/ |title=Tech giants are using open source frameworks to dominate the AI community |last=Arakelyan |first=Sophia |date=2017-11-29 |website=[[VentureBeat]] |language=en |archive-url= |archive-date= |access-date=2017-12-18 }}</ref>. Также вокруг этого фреймворка выстроена экосистема<ref>{{Cite web|url=https://pytorch.org/|title=PyTorch|publisher=pytorch.org|lang=en|accessdate=2019-06-16|archiveurl=https://web.archive.org/web/20190831215729/https://pytorch.org/|archivedate=2019-08-31|deadlink=yes}}</ref>, состоящая из различных библиотек, разрабатываемых сторонними командами: PyTorch Lightning{{Cite web|url=https://pytorchlightning.ai|title=PyTorch Lightning|publisher=pytorchlightning.ai|accessdate=2021-02-17}} и Fast.ai<ref>{{Cite web|url=https://www.fast.ai/|title=fast.ai · Making neural nets uncool again|publisher=www.fast.ai|accessdate=2019-06-16}}</ref>, упрощающие процесс обучения моделей, Pyro, модуль для {{нп5|языки вероятностного программирования|вероятностного программирования|en|Probabilistic programming language}}, от [[Uber]]<ref>{{Cite news|url=https://eng.uber.com/pyro/|title=Uber AI Labs Open Sources Pyro, a Deep Probabilistic Programming Language|date=2017-11-03|work=Uber Engineering Blog|access-date=2017-12-18|language=en}}</ref>, Flair<ref>{{Статья|год=2019-06-16|заглавие=A very simple framework for state-of-the-art Natural Language Processing (NLP): zalandoresearch/flair|ссылка=https://github.com/zalandoresearch/flair}}</ref>, для обработки естественного языка и Catalyst<ref>{{Статья|год=2019-11-25|заглавие=Reproducible and fast DL & RL. Contribute to catalyst-team/catalyst development by creating an account on GitHub|ссылка=https://github.com/catalyst-team/catalyst}}</ref>, для обучения [[Глубокое обучение|DL]] и [[Обучение с подкреплением|RL]] моделей.
'''PyTorch''' — фреймворк [[Машинное обучение|машинного обучения]] для [[Python|языка Python]] с открытым исходным кодом, созданный на базе [[Torch]]<ref>{{cite news|url=https://www.infoworld.com/article/3159120/artificial-intelligence/facebook-brings-gpu-powered-machine-learning-to-python.html|title=Facebook brings GPU-powered machine learning to Python|last=Yegulalp|first=Serdar|date=2017-01-19|work=InfoWorld|accessdate=2017-12-11}}</ref><ref>{{cite web|url=https://www.oreilly.com/ideas/why-ai-and-machine-learning-researchers-are-beginning-to-embrace-pytorch|title=Why AI and machine learning researchers are beginning to embrace PyTorch|last=Lorica|first=Ben|date=2017-08-03|publisher=O'Reilly Media|accessdate=2017-12-11}}</ref><ref>{{книга |ссылка=https://link.springer.com/chapter/10.1007/978-1-4842-2766-4_12 |заглавие=Deep Learning with Python |издательство=Apress, Berkeley, CA |isbn=9781484227657 |страницы=195—208 |язык=en |doi=10.1007/978-1-4842-2766-4_12 |автор=Ketkar, Nikhil |год=2017}}</ref>. Используется для решения различных задач: [[компьютерное зрение]], [[обработка естественного языка]].<ref>{{Cite web|url=http://dl4nlp.info/en/latest/|title=Natural Language Processing (NLP) with PyTorch — NLP with PyTorch documentation|website=dl4nlp.info|language=en|access-date=2017-12-18}}</ref> Разрабатывается преимущественно группой искусственного интеллекта [[Facebook]]<ref>{{Cite news|url=https://www.oreilly.com/ideas/when-two-trends-fuse-pytorch-and-recommender-systems|title=When two trends fuse: PyTorch and recommender systems|last=Patel|first=Mo|date=2017-12-07|work=O'Reilly Media|access-date=2017-12-18|language=en}}</ref><ref>{{Cite news|url=https://techcrunch.com/2017/09/07/facebook-and-microsoft-collaborate-to-simplify-conversions-from-pytorch-to-caffe2/|title=Facebook and Microsoft collaborate to simplify conversions from PyTorch to Caffe2|last=Mannes|first=John|date=|work=[[TechCrunch]]|access-date=2017-12-18|archive-url=|archive-date=|dead-url=|language=en|quote=FAIR is accustomed to working with PyTorch — a deep learning framework optimized for achieving state of the art results in research, regardless of resource constraints. Unfortunately in the real world, most of us are limited by the computational capabilities of our smartphones and computers.}}</ref><ref>{{Cite web|url=https://venturebeat.com/2017/11/29/tech-giants-are-using-open-source-frameworks-to-dominate-the-ai-community/ |title=Tech giants are using open source frameworks to dominate the AI community |last=Arakelyan |first=Sophia |date=2017-11-29 |website=[[VentureBeat]] |language=en |archive-url= |archive-date= |access-date=2017-12-18 }}</ref>. Также вокруг этого фреймворка выстроена экосистема<ref>{{Cite web|url=https://pytorch.org/|title=PyTorch|publisher=pytorch.org|lang=en|accessdate=2019-06-16|archiveurl=https://web.archive.org/web/20190831215729/https://pytorch.org/|archivedate=2019-08-31|deadlink=yes}}</ref>, состоящая из различных библиотек, разрабатываемых сторонними командами: PyTorch Lightning{{Cite web|url=https://pytorchlightning.ai|title=PyTorch Lightning|publisher=pytorchlightning.ai|accessdate=2021-02-17}} и Fast.ai<ref>{{Cite web|url=https://www.fast.ai/|title=fast.ai · Making neural nets uncool again|publisher=www.fast.ai|accessdate=2019-06-16}}</ref>, упрощающие процесс обучения моделей, Pyro, модуль для {{нп5|языки вероятностного программирования|вероятностного программирования|en|Probabilistic programming language}}, от [[Uber]]<ref>{{Cite news|url=https://eng.uber.com/pyro/|title=Uber AI Labs Open Sources Pyro, a Deep Probabilistic Programming Language|date=2017-11-03|work=Uber Engineering Blog|access-date=2017-12-18|language=en}}</ref>, Flair<ref>{{Статья|год=2019-06-16|заглавие=A very simple framework for state-of-the-art Natural Language Processing (NLP): zalandoresearch/flair|ссылка=https://github.com/zalandoresearch/flair}}</ref>, для обработки естественного языка и Catalyst<ref>{{Статья|год=2019-11-25|заглавие=Reproducible and fast DL & RL. Contribute to catalyst-team/catalyst development by creating an account on GitHub|ссылка=https://github.com/catalyst-team/catalyst}}</ref>, для обучения [[Глубокое обучение|DL]] и [[Обучение с подкреплением|RL]] моделей.


PyTorch предоставляет две основные высокоуровневые модели:<ref>{{Cite web|url=https://pytorch.org/about/|title=PyTorch – About|website=pytorch.org|accessdate=2018-06-11|deadlink=yes|archiveurl=https://web.archive.org/web/20180615190804/https://pytorch.org/about/|archivedate=2018-06-15}}</ref>
PyTorch предоставляет две основные высокоуровневые модели:<ref>{{Cite web|url=https://pytorch.org/about/|title=PyTorch – About|website=pytorch.org|accessdate=2018-06-11|deadlink=yes|archiveurl=https://web.archive.org/web/20180615190804/https://pytorch.org/about/|archivedate=2018-06-15}}</ref>

Версия от 21:17, 4 апреля 2021

PyTorch
Логотип программы PyTorch
Тип Библиотека машинного обучения и глубинного обучения
Авторы Adam Paszke, Sam Gross, Soumith Chintala, Gregory Chanan
Написана на Python, C++, CUDA
Операционные системы Linux, macOS, Windows
Первый выпуск октябрь 2016
Последняя версия
Репозиторий github.com/pytorch/pytor…
Лицензия BSD
Сайт pytorch.org (англ.)
Логотип Викисклада Медиафайлы на Викискладе

PyTorch — фреймворк машинного обучения для языка Python с открытым исходным кодом, созданный на базе Torch[2][3][4]. Используется для решения различных задач: компьютерное зрение, обработка естественного языка.[5] Разрабатывается преимущественно группой искусственного интеллекта Facebook[6][7][8]. Также вокруг этого фреймворка выстроена экосистема[9], состоящая из различных библиотек, разрабатываемых сторонними командами: PyTorch LightningPyTorch Lightning. pytorchlightning.ai. Дата обращения: 17 февраля 2021. и Fast.ai[10], упрощающие процесс обучения моделей, Pyro, модуль для вероятностного программирования[англ.], от Uber[11], Flair[12], для обработки естественного языка и Catalyst[13], для обучения DL и RL моделей.

PyTorch предоставляет две основные высокоуровневые модели:[14]

  • Тензорные вычисления (по аналогии с NumPy) с развитой поддержкой ускорения на GPU
  • Глубокие нейронные сети на базе системы autodiff

Тензоры PyTorch

Тензоры не представляют собой чего-либо особенного, просто являясь многомерными массивами. Тензоры PyTorch (Tensors) похожи на массивы пакета numpy, но дополнительно могут обрабатываться на видеоускорителях. PyTorch поддерживает различные типы тензоров.[15]

Модули

Модуль Autograd

PyTorch использует метод автоматической дифференциации. Производится запись вычислений, произведенных в прямом направлении, затем производится воспроизведение в обратном порядке для вычисления градиентов. Этот метод особенно полезен при построении нейронных сетей, так как позволяет рассчитывать дифференциальные поправки параметров одновременно с прямым проходом.

Модуль Optim

torch.optim — модуль, реализующий несколько алгоритмов оптимизации, используемых при построении нейронных сетей. Реализовано большинство наиболее часто используемых методов.

Модуль nn

Модуль PyTorch autograd позволяет легко определять вычислительные графы и работать с градиентами, однако может быть слишком низким уровнем для определения сложных нейронных сетей. Более высокоуровневой абстракцией для таких применений является модуль nn.

См. также

Примечания

  1. ↑ Release 2.5.1 — 2024.
  2. ↑ Yegulalp, Serdar (2017-01-19). "Facebook brings GPU-powered machine learning to Python". InfoWorld. Дата обращения: 11 декабря 2017.
  3. ↑ Lorica, Ben Why AI and machine learning researchers are beginning to embrace PyTorch. O'Reilly Media (3 августа 2017). Дата обращения: 11 декабря 2017.
  4. ↑ Ketkar, Nikhil. Deep Learning with Python (англ.). — Apress, Berkeley, CA, 2017. — P. 195—208. — ISBN 9781484227657. — doi:10.1007/978-1-4842-2766-4_12.
  5. ↑ Natural Language Processing (NLP) with PyTorch — NLP with PyTorch documentation (англ.). dl4nlp.info. Дата обращения: 18 декабря 2017.
  6. ↑ Patel, Mo (2017-12-07). "When two trends fuse: PyTorch and recommender systems". O'Reilly Media (англ.). Дата обращения: 18 декабря 2017.
  7. ↑ Mannes, John. "Facebook and Microsoft collaborate to simplify conversions from PyTorch to Caffe2". TechCrunch (англ.). Дата обращения: 18 декабря 2017. FAIR is accustomed to working with PyTorch — a deep learning framework optimized for achieving state of the art results in research, regardless of resource constraints. Unfortunately in the real world, most of us are limited by the computational capabilities of our smartphones and computers. {{cite news}}: Шаблон цитирования имеет пустые неизвестные параметры: |dead-url= (справка)
  8. ↑ Arakelyan, Sophia Tech giants are using open source frameworks to dominate the AI community (англ.). VentureBeat (29 ноября 2017). Дата обращения: 18 декабря 2017.
  9. ↑ PyTorch (англ.). pytorch.org. Дата обращения: 16 июня 2019. Архивировано из оригинала 31 августа 2019 года.
  10. ↑ fast.ai · Making neural nets uncool again. www.fast.ai. Дата обращения: 16 июня 2019.
  11. ↑ "Uber AI Labs Open Sources Pyro, a Deep Probabilistic Programming Language". Uber Engineering Blog (англ.). 2017-11-03. Дата обращения: 18 декабря 2017.
  12. ↑ A very simple framework for state-of-the-art Natural Language Processing (NLP): zalandoresearch/flair. — 2019-06-16.
  13. ↑ Reproducible and fast DL & RL. Contribute to catalyst-team/catalyst development by creating an account on GitHub. — 2019-11-25.
  14. ↑ PyTorch – About. pytorch.org. Дата обращения: 11 июня 2018. Архивировано из оригинала 15 июня 2018 года.
  15. ↑ An Introduction to PyTorch – A Simple yet Powerful Deep Learning Library. analyticsvidhya.com. Дата обращения: 11 июня 2018.

Литература

  • Макмахан Б., Рао Д. Знакомство с PyTorch: глубокое обучение при обработке естественного языка = Natural Language Processing with PyTorch. Build Intelligent Language Applications Using Deep Learning. — Питер, 2020. — 256 с. — ISBN 978-5-4461-1241-8.

Ссылки

Источник — https://ru.wikipedia.org/ruwiki/w/index.php?title=PyTorch&oldid=113404715