Pour la psychanalyse, le fétiche choisi par le sujet est le substitut du pénis manquant de la femme :

"Ainsi, si le pied ou la chaussure ou une partie de ceux-ci sont les fétiches préférés, ils le doivent au fait que dans sa curiosité le garçon a épié l'organe génital de la femme d'en-bas, à partir des jambes ; la fourrure et le satin fixent -comme on le suppose depuis longtemps- le spectacle des poils génitaux qui auraient dû être suivis du membre féminin ardemment désiré ; l'élection si fréquente de pièces de lingerie comme fétiche est due à ce qu'est retenu ce dernier moment du déshabillage, pendant lequel on a pu encore penser que la femme est phallique."
(S. Freud, le Fétichisme, in La vie Sexuelle, éd. PUF)

Pour Freud, le fétichisme est indissolublement lié au complexe de castration, au "manque" de la femme. Dans la théorie psychanalytique le fétichiste se défend de ce manque de pénis chez la femme par un "déni", processus différent du "refoulement". Ce déni apporte un "clivage du moi".
Alors que le refoulement consiste à refuser pour le sujet quelque chose venant de l'intérieur, un désir qui n'atteint pas la conscience ; c'est sur le refus de quelque chose d'extérieur que porte le déni. Le fétichiste se défend donc de la castration de la femme en se constituant un fétiche qui remplace l'organe absent. La diversité des formes de fétichismes existantes met à mal l'hypothèse freudienne.
On peut être d'accord avec Freud tant que le fétiche choisi est constitué par une pièce de lingerie féminine et que le fétichiste est de sexe masculin. Mais il devient difficile de suivre cette théorie quand on aborde non plus le fétiche en tant qu'objet, mais en tant que matière. Certes, la soie ou le nylon peuvent renvoyer à la douceur de la pilosité féminine, le cuir, par sa texture et son odeur particulière peut renvoyer à une animalité, mais que penser quand le fétiche n'est pas une partie du corps ou un vêtement particulier ?
Car le fétiche ne se constitue pas uniquement de vêtements ou de parties du corps. Quelle explication apporter lorsque le fétiche est une matière artificielle issue de la production industrielle aussi diverses que l'acier, le latex, l'aluminium ou le caoutchouc ? Une explication est d'autant plus difficile que les fétiches constitués de ces matières peuvent prendre diverses formes d'objets de la vie quotidienne.