Ubicata nella parte più alta dell’abitato, a nord della cinta muraria di Piancastagnaio e già esistente in qualità di porta principale nel nucleo più antico delle mura (1200), la porta di Castello è insieme alla porta Montanina la più antica, imponente e importante porta di accesso al paese.
Ai piedi della maestosa Rocca Aldobrandesca dalla quale veniva sorvegliata e protetta, affiancata da una porta minore “pedonale”, insieme a questa si presenta arcuata e sormontata da merloni.
Osservando il Castello dal basso, ci si rende subito conto quanto curiosa sia la sua struttura: la pianta consiste in un rettangolo quasi regolare con i lati maggiori paralleli a quello delle porte sulle quali si allinea la fronte esterna del paese. Su questo lato esterno è collocato anche l’ingresso, che non è con molta probabilità l’originale. Questa particolarità, apparentemente incongrua, può essere stata suggerita da una misura prudenziale: in caso di necessità di fuga, come ad esempio durante una sommossa, non era necessario che il paese se ne accorgesse.
Dall’altra parte l’indebolimento che questo comportava nei riguardi dei nemici esterni era di gran lunga assorbito dal fatto che l’entrata in questione si trova ad un’altezza tale che la rende difficilissima a scalarsi; mentre lungo il lato corto settentrionale alle spalle delle porte cittadine, si trova un ingresso secondario, adesso principale, nel quale la salita è resa più agevole grazie ad una scala fissa in pietra.
Quest’ultimo, divenuto ingresso principale per le visite al Castello e caratterizzato da un maestoso portone sormontato dallo stemma in pietra dei Medici (6 palle di cannone), conduce alla prima torre, più piccola chiamata localmente Rocchetta, che in origine doveva svolgere il duplice compito di sorvegliare sia le porte del paese che l’antica porta di accesso al castello, che si trovava sotto di essa, con il conseguente vantaggioso risparmio di personale nei turni di guardia.