У мальчика рано обнаружились способности к рисованию, и в 12 лет он начинает брать уроки рисования у вольнослушателя Академии художеств В. Я. Афанасьева. А затем, в 1854 году, сам поступает в Императорскую Академию художеств, где становится одним из лучших студентов.

В 1869 году Харламов в числе лучших выпускников Академии получает право на пенсионную поездку за границу. В 1872 году Харламов вступает в Товарищество передвижных художественных выставок. Поэтому художник будет регулярно посылать свои картины на ежегодные выставки передвижников в Санкт-Петербург.

В 1874 году Харламов отправил на академическую выставку в Санкт-Петербург три свои работы, которые были высоко оценены. За них художник получил звание академика. Одной из этих работ был портрет мордовской девушки.

Но сам Алексей Алексеевич в это время живет в Париже. Интересно, что именно там он знакомится с великим русским писателем Иваном Тургеневым, который сказал: "Здесь появились два замечательных художника — Репин и Харламов. Второй особенно далеко пойдет"

Во многом благодаря знакомству с Тургеневым и супругами Виардо, их протекции и заказам Харламов за один год сделал в Париже стремительную карьеру.

Особенным успехом у парижан пользовались детские портреты Харламова, нежные и трогательные.

Однако, поставленные Харламовым на поток портреты с изображением женских головок и детей в конце концов наскучили даже нетребовательной части французской публики. Это постоянство стиля художника обернулось для него трагедией в начале двадцатого столетия, когда художественные вкусы общества значительно изменились.

Последние годы жизни Алексей Харламов провел в бедности и одиночестве. Единственной, кто скрашивал его старость, была французская оперная певица Фелия Литвин.

Умер Алексей Алексеевич Харламов в 1925 году в Париже, похоронен на кладбище Пер-Лашез.