Bonjour !
En premier lieu je pense qu'il est intéressant de lire ce lien-ci, où la personne semble avoir le même soucis que toi : http://forum.arduino.cc/index.php?topic=310600.0
Ainsi que d'avoir en tête les caractéristiques de ton moteur : http://www.ebay.com/itm/NEW-CNC-Nema17-Hybrid-Stepper-Motor-DC12V-2-Phase-4000g-cm-4-Lead-1-8-Degree-/321149965965
J'aurais personnellement tendance à aller dans le sens de ce qui se dit dans le premier lien, un l298 n'est pas fait pour faire fonctionner un moteur PàP, il est préférable d'avoir une carte avec des 'driver motor' qui sont prévus pour et qui vont pouvoir être réglés afin de débiter un certain courant lors du fonctionnement du moteur.
Je ne comprends pas trop comment il se fait que ton USB arrive à faire fonctionner tout ça, peut-être que ça le fait fonctionner mais qu'il n'a pas de torque/couple. Mais je ferais tout de même attention avec l'USB, je ne sais pas si ces ports ont des protections de sur-courant (over-current), si pas, ça pourrait être risqué pour ton pc.
Enfin, je pense plutôt que ton alimentation n'est pas assez forte, pour que ton moteur puisse fonctionner à pleine puissance il lui faudrait une alimentation capable de délivrer 1.3A à 12V, j'aurais tendance à dire qu'il te faut une alimentation plus forte (en courant) que ça, ça ne veut pas dire pour autant que ce courant sera débité à tout instant, juste que ton moteur en aura la possibilité. (je pense que les vibrations viennent de là, ton moteur n'arrive pas à tirer assez de courant, du coup il oscille entre "assez de courant" "pas assez de courant" et vibre)
Pour ce qui est de la chaleur dégagée par le L298 vu que ses caractéristiques maximales sont de 2A ou 4A il me semble, c'est un peu étrange qu'il chauffe à ce point, il faudrait voir s'il chauffe de trop. Est-ce que tes branchements sont corrects? (les 4 fils du stepper motor reliés au shield?)
Donc pour résumé, selon moi, il faudrait changer d'alim pour une plus grosse permettant d'aller au maximum du courant dont pourrait avoir besoin le moteur.
Et avoir une carte adaptée (à base de A4988 ou DRV8825), une carte prévue pour les stepper motors.
Bonne chance et bon amusement