Zobrazeno 1 - 10
of 34
pro vyhledávání: '"Kayi, Abdullah"'
Autor:
Jamil, Hasibul, Alim, Abdul, Schares, Laurent, Maniotis, Pavlos, Schour, Liran, Sydney, Ali, Kayi, Abdullah, Kosar, Tevfik, Karacali, Bengi
The increasing complexity of AI workloads, especially distributed Large Language Model (LLM) training, places significant strain on the networking infrastructure of parallel data centers and supercomputing systems. While Equal-Cost Multi- Path (ECMP)
Externí odkaz:
http://arxiv.org/abs/2410.17078
Autor:
Cui, Xiaodong, Zhang, Wei, Kayi, Abdullah, Liu, Mingrui, Finkler, Ulrich, Kingsbury, Brian, Saon, George, Kung, David
Large-scale distributed training of deep acoustic models plays an important role in today's high-performance automatic speech recognition (ASR). In this paper we investigate a variety of asynchronous decentralized distributed training strategies base
Externí odkaz:
http://arxiv.org/abs/2110.11199
Autor:
Zhang, Wei, Cui, Xiaodong, Kayi, Abdullah, Liu, Mingrui, Finkler, Ulrich, Kingsbury, Brian, Saon, George, Mroueh, Youssef, Buyuktosunoglu, Alper, Das, Payel, Kung, David, Picheny, Michael
Publikováno v:
45th International Conference on Acoustics, Speech, and Signal Processing (ICASSP'2020) Oral
Decentralized Parallel SGD (D-PSGD) and its asynchronous variant Asynchronous Parallel SGD (AD-PSGD) is a family of distributed learning algorithms that have been demonstrated to perform well for large-scale deep learning tasks. One drawback of (A)D-
Externí odkaz:
http://arxiv.org/abs/2002.01119
Autor:
Zhang, Wei, Cui, Xiaodong, Finkler, Ulrich, Saon, George, Kayi, Abdullah, Buyuktosunoglu, Alper, Kingsbury, Brian, Kung, David, Picheny, Michael
Publikováno v:
INTERSPEECH 2019
Modern Automatic Speech Recognition (ASR) systems rely on distributed deep learning to for quick training completion. To enable efficient distributed training, it is imperative that the training algorithms can converge with a large mini-batch size. I
Externí odkaz:
http://arxiv.org/abs/1907.05701
The Partitioned Global Address Space (PGAS) programming model strikes a balance between the locality-aware, but explicit, message-passing model and the easy-to-use, but locality-agnostic, shared memory model. However, the PGAS rich memory model comes
Externí odkaz:
http://arxiv.org/abs/1309.2328
Akademický článek
Tento výsledek nelze pro nepřihlášené uživatele zobrazit.
K zobrazení výsledku je třeba se přihlásit.
K zobrazení výsledku je třeba se přihlásit.
Akademický článek
Tento výsledek nelze pro nepřihlášené uživatele zobrazit.
K zobrazení výsledku je třeba se přihlásit.
K zobrazení výsledku je třeba se přihlásit.
Publikováno v:
In Simulation Modelling Practice and Theory 2009 17(9):1485-1499
Akademický článek
Tento výsledek nelze pro nepřihlášené uživatele zobrazit.
K zobrazení výsledku je třeba se přihlásit.
K zobrazení výsledku je třeba se přihlásit.
Autor:
Kayi, Abdullah1 abdullah.kayi@intel.com, Serres, Olivier2 serres@gwu.edu, El-Ghazawi, Tarek2 tarek@gwu.edu
Publikováno v:
International Journal of Parallel Programming. Jun2014, Vol. 42 Issue 3, p435-455. 21p.