Hola Carles, tal como propones si se puede hacer como dices pero te aconsejo que tan pronto llegues vayas a la entrada de la fortaleza para poder aparcar bien cerca.
La fortaleza la puedes visitar muy bien en unas dos o tres horas y después de comer al mediodía te pedes acercar a Carcassonne ciudad. Aparte de algún muro medieval no tiene gran cosa.
Buen viaje.