Tu as raison de te méfier des sites de téléchargement. Il faut systématiquement privilégier le site de l'éditeur (ou les magasins d'applications de certaines plateformes).
Ceci posé, je suis tombé sur cette page : http://script-art.blogspot.fr/2009/02/usbtex-portable-latex.html, qui présente la chose, et qui donne un lien vers ce qui semble être l'éditeur : http://www.exomatik.net/LaTeX/USBTeXEnglish. Mais le lien ne semble plus fonctionnel. En continuant les recherches, je tombe sur cet article : http://www.framasoft.net/article4641.html qui, après mise à jour, confirme le décès du site de l'éditeur (et scandaleusement renvoie de pauvres et innocents windowsiens vers download.cnet.com, c'est pas sympa de la part de Framasoft ).
À mon sens, le mieux est de suivre les recommendations du TeX User Group, qui héberge la célébrissime TeXLive (utilisée par tout le monde, sauf quelques windowsiens mal conseillés qui utilisent encore MikTeX) et qui détaille ici comme la mettre sur clé USB : https://www.tug.org/texlive/doc/texlive-fr/texlive-fr.html#x1-420005.
Je ne pourrais pas t'aider par contre, n'ayant jamais effectué l'opération. Mais si le but est d'avoir une installation complète sur ton ordinateur (selon ce que je comprends de ta première phrase), pourquoi ne pas simplement effacer MikTeX et installer directement TeXLive ?
Si par contre, ton but est d'avoir accès à LaTeX depuis plus ou moins n'importe quel ordinateur, même sur ceux où il n'est pas installé, pour peu qu'ils soient connectés à internet, tu peux utiliser des éditeurs en ligne : https://www.overleaf.com ou https://www.sharelatex.com (les versions gratuites de leurs formules devraient te suffire, les versions payantes sont plutôt pour du travail collaboratif).