Allen à vécu sa jeunesse dans le ghetto d'Hampton, c'est là qu'il a appris à ne pas se laisser marcher sur les pieds, aussi bien sur un terrain que dans la vie. Dans ce quartier il a subit la violence des autres jeunes et quand il rentrait chez lui après que des gamins lui soit tombés dessus il n'avait qu'une idée en tête, retourner les combattre à l'aide d'une canne à pêche où autre chose. Sa mère n'était pas contre le fait qu'il se défende, elle lui disait plutôt d'aller les combattre un à un mais uniquement à l'aide de ses poings.
A l'age de 7 ans Allen Iverson faisait du football américain, sport qu'il poursuivi au lycée, dans son jardin avec des jeunes du quartier,ou on voit ici son ancienne maison. Comme il était le plus petit ses adversaires ne lui faisaient pas de cadeaux et l'envoyaient dans les murs le plus souvent possible, ils le faisaient rentrer chez lui en pleures et Ann le renvoyait dehors.
Sa mère qui avait fait du basket voulait que lui aussi en fasse mais il considérait le basket-ball comme un sport de mauviettes. Il changea vite d'avis, son beau père, Michael Freeman l'emmena sur un terrain où il se fit botter le cul. A 10ans Iverson a donc le découvert le basket est tout de suite tombé accro.
C'est sûrement sa jeunesse qui est à l'origine de son jeu agressif. "The Answer"(la réponse), ne reste pas en retrait après un coups, chaque fois qu'il tombe il se relève pour repartir de plus belle, et cela aussi bien sur un terrain que dans la vie. Son éducation, sa vie dans le ghetto et aussi responsable de ses écarts de conduite et son manque de discipline dont il faisait preuve il y a encore peu de temps.