Cheval stressé dans des endroits inconnus en main

Alors voila j'ai un petit soucis avec mon cheval de 15 ans (que j'ai depuis un an).
A son arrivée, c'était un bourrin, irrespectueux comme pas possible, il n'hésitait pas à vous pousser, vous passer devant ou vous écraser les pieds.

Nous avons travailler la dessus en manège, il reste derrière tout sagement maintenant.

En manège, en carrière, dans les endroits qu'il connait, il est réceptif et est calme.

Dès qu'on commence à sortir en extérieur (en main pour l'instant), c'est la cata. Même à 200 mètres de l'écurie, dès qu'il arrive dans un endroit inconnu (je le sort pour qu'il broute et pour lui faire découvrir l'environnement), je n'existe plus. Les oreilles en avant, la tête en l'air au moindre bruit, il se met à avancer d'un coup en me passant devant. Si je le fais tourner, il s’énerve.

La voix et les caresses ne le rassurent pas, il n'a pas l'air d'en tenir compte. Je le laisse prendre une poignée d'herbe, puis je fais demi tour, sur le chemin du retour, dès qu'il reconnait un passage habituel, il se calme et retourne derrière tranquillement.

Je n'ose pas le sortir souvent car c'est limite niveau sécurité, et pour lui, et pour moi.

(Une petite histoire pour comprendre)
Il était dans une pâture à 15 minutes de l'écurie à pied, je devais donc faire les allées retour à chaque fois. Sur la route, quand il ne vois pas d'autres chevaux au pré, tout se passe bien.
Sur un petit chemin avec des vastes champs à coté, tanto ca se passais super bien, tanto c'étais la cata. Il montait sur le bord du champs (car au milieu c'était des cailloux), et une fois monté sur le talus, il s'arrêtait et commençait a tirer. J'ai fais l'erreur de tenter de le faire descendre du talus en tirant un peu sur la longe, et la il a commencé à tirer au renard avec mes mains en faite ! J'ai tout relâché, j'ai réussi à le faire descendre avec un peu de mal.

Une autre fois, je l'ai emmené faire le tour de la piste de galop pour le faire découvrir, il y allait tranquille au départ. Puis arrivé à un moment, il commençait à regardé derrière lui, a regarder les chevaux qui se trouvait dans le pré, certains hénissait. Il s'est retourné, m'a embarqué en main, et s'est littéralement barré dans la nature !
Il faisais le foufou avec les chevaux de la pature, est repartie par la, revenait au galop, puis a décidé de repartir vers les écuries. (Qu'est ce que j'avais honte...)

J'ai vraiment peur qu'il me re fasse ça. Ce serais beaucoup trop dangereux pour lui sachant que dans cette nouvelle écurie, il y a le centre ville pas loin ...

Je ne sais pas tellement comment réagir face à ces réactions.

C'est ce que je vais faire. Faire passer un cheval calme devant.
En manège et carrière, il me suit pas mal, j'ai l'impression qu'il me fait confiance pourtant. Il me laisse vraiment tout faire.

Je vais faire petit à petit comme tu me dit, l'emmener un peu plus loin chaque jour.

Il a tout a fait compris le déplacement des hanches, dans un endroit isolé. Mais une fois dehors il zappe tout ce que je lui ai appris à l'écurie.

Je vois une éthologue samedi, je lui demanderais conseil également.

C'est difficile de ne pas stresser quand il stress, vu sa masse musculaire et le fait qu'il soit très fort et impressionnant de par la taille de ses os.

Merci pour ta réponse