El IEM fue fundado en 1976 por iniciativa de un grupo de investigadores en Física de Partículas, Física Molecular, Química Cuántica y Polímeros Cristalinos, siendo entonces tan sólo cinco los científicos en plantilla. Hoy en día la misión básica del Instituto es contribuir al avance del conocimiento de la estructura de la materia en un amplio rango de escalas, desde los constituyentes de la materia y el espacio-tiempo, hasta los núcleos, átomos, moléculas y macromoléculas, incluyendo la materia condensada y los sistemas mesoscópicos.

Las actividades de investigación estan estructuradas alrededor de seis departamentos, con grupos experimentales y teóricos cuyos campos científicos abarcaban la Física Gravitacional, Nuclear, Estadística, Atómica, Molecular y Macromolecular y, en un contexto más restringido, la Biofísica. Parte de esta investigación se apoya en grandes instalaciones nacionales e internacionales, como es el caso de los grupos de investigación de Física Nuclear Experimental, Física Estadística y Física Macromolecular.

En la actualidad, el IEM está formado por más de 50 investigadores de plantilla, que se dedican a investigación básica, tanto teórica como experimental. Participa en más de 80 proyectos de investigación y sus investigaciones dan lugar a un promedio de 175 publicaciones anuales en las revistas científicas más prestigiosas. El Personal Investigador, junto con el Personal de Apoyo, Becarios y Contratados suma alrededor de 135 personas, repartidas en seis departamentos.

Desde 1994, el IEM pertenece al Centro de Física Miguel Antonio Catalán (CFMAC).

Sus instalaciones y laboratorios se sitúan en cuatro edificios del Campus central del CSIC de la calle Serrano, en Madrid, que también albergan las instalaciones del Instituto de Óptica y el Instituto de Física Fundamental.