Политикой Примаков начал заниматься в феврале 1988 года, когда был избран депутатом Верховного Совета СССР. В 1989–1991 годах был народным депутатом СССР, затем председателем Совета Союза Верховного Совета СССР, членом Президентского совета СССР, членом Совета безопасности СССР.
Примаков входил в ближайшее окружение Михаила Горбачева. Как член Совбеза СССР во время августовского путча 1991 года летал к Горбачеву в Форос. Но близость к Горбачёву не помешала Примакову занять высокую должность и при Ельцине: 26.12.1991 он был назначен директором Службы внешней разведки России, проработав на этом посту до 1996 года. Еще до летних выборов президента России, в январе 1996 года, Ельцин назначил его министром иностранных дел. С именем Примакова связывается переход России от "Прозападного курса" к курсу на многовекторную внешнюю политику. Примаков выступал за продолжение развития отношений России со странами Европы и Северной Америки, сохраняя за Россией право проводить независимую внешнюю политику в Китае, Южной Азии и на Ближнем Востоке. Примаков первым предложил укрепить взаимное сотрудничество между Россией, Индией и Китаем, что стало основой для создания союза БРИКС. Примаков смог остановить отток молодых дипломатических кадров из внешнеполитического ведомства, он добился освобождения дипломатов от прохождения срочной военной службы и выплаты надбавок за сохранение государственной тайны. При Примакове здание на Смоленской площади было передано в полное распоряжение Министерства иностранных дел, до этого в здании всегда располагались и другие ведомства. Дипломат Алексей Федотов отмечал, что будучи на этом посту Примаков "вернул внешней политике России и её дипслужбе достоинство".