A diferença são os níveis de compressão do MP3. Há diferentes bitrates para diferentes níveis de compressão do MP3. Por exemplo, 320kb/s significa que estão a ser processados 320 kb de informação por segundo e 128kb/s significa que estão a ser processados 128 kb de informação por segundo.
Diferentes níveis de compressão significa que algumas frequências são completamente apagadas, logo a informação é apagada. Por exemplo, o MP3 de 320 kb/s de qualidade guarda informação até 20.5 kHz e a partir daí tem um corte de frequências.
O maior bitrate dos MP3 é 320 kb/s logo significa que o MP3 é um tipo de áudio que tem sempre perdas de informação. Há tipos sem perdas de informação (FLAC, WAV) mas têm tamanhos maiores e as frequências vão até 192 kHz (e não sei se vai para além disso até).
A cena é que o ouvido humano só detecta frequências até os 20 kHz mais ou menos o que significa que a maior parte de nós não conseguimos ouvir para além dessas frequências.
Neste vídeo podem-se ouvir os diferentes níveis de compressão MP3:
https://www.youtube.com/watch?v=aTQS25w8kZo
(Atenção que a compressão de áudio do YouTube é horrível e não consegues ouvir verdadeiramente 320 kb/s, mas dá para ficar com uma ideia)
Em relação às conversões 128 kb/s para 320 kb/s, só são 320 kb/s no papel e nunca deixam de ser 128 kb/s na realidade porque nunca daria para acrescentar informação onde ela não existe e isto dá para detectar atráves de espectrogramas.
Há guias porreiros para detectar os espectrogramas maus e os bons como este:
https://www.whatinterviewprep.com/prepare-for-the-interview/spectral-analysis/