Ich habe das PL 100-400 auch ... und habe mich anfangs ebenfalls gewundert, warum einige Aufnahmen in der Ferne bei 400mm etwas "schwammig" aussahen, andere dagegen nicht.
Da aber Aufnahmen von näheren Objekten bei 400mm fast immer gestochen scharf waren, wurde mir beizeiten klar, dass auf längere Distanzen Luftbewegungen (auch wenn man sie selbst noch gar nicht als "Hitzeflimmern" wahrnimmt!) da schon einen recht großen Einfluss haben können - dieser Punkt wurde hier in den Antworten zwar auch mehrfach erwähnt, ging aber m.M.n. etwas unter...
Das habe ich dann auch bei den obligatorischen Mond-Fotos festgestellt (nachts hat man ja eher selten Hitzeflimmern): Um bei 400mm eine hohe Schärfe hinzubekommen, braucht's in der Tat "Labor-Bedingungen" - und diese sind eben nicht immer gegeben.
Vielleicht erklärt das auch einige der nicht ganz so scharfen Bilder...
In diesem Sinne: Weiterhin viel Spaß mit dem 100-400er PanaLeica!

Viele Grüße
Stefan