W 1593 r. wybudowano tutaj początkowo drewnianą kaplicę, gdzie cześć odbierała figura Matki Bożej z Dzieciątkiem, którą znalazły bawiące się dzieci na brzegu rzeki Drwęcy. Znalezioną figurkę zaniesiono do jednego z domów, ale dziwnym trafem, kilkakrotnie przynoszona za każdym razem wracała na to samo miejsce w rzece. Poinformowany o tym ks. Dziekan z Ornety zarządził uroczyste przeniesienie figurki do kościoła parafialnego i umieszczenie jej w głównym ołtarzu. Także i stąd dziwnym trafem powróciła do rzeki. Wobec tego, podjęto decyzję o wybudowaniu kaplicy ku czci NMP. Zmieniono koryto rzeki, by wybudować kaplicę a z czasem kościół. W 1715 r. położono kamień węgielny pod budowę świątyni pod wezwaniem Nawiedzenia NMP i św. Józefa. Projekt budowy nowego kościoła wykonano w Warszawie, wzorując się na Świętej Lipce. Konsekracji kościoła dokonał w 1720 r. biskup warmiński Teodor Potocki, fundator sanktuarium. W 1726 r. biskup warmiński Krzysztof Szembek powołał wspólnotę kapłanów diecezjalnych do służby w sanktuarium na zasadach stowarzyszenia.
Do Krosna przybywali pielgrzymi głównie z Braniewa, Ornety, Dobrego Miasta, Pieniężna regularnie w określone dni tygodnia. Najstarsze informacje o pątnikach z Dobrego Miasta datuje się na rok 1644, kiedy to dotarła pielgrzymka dziękczynna za uchronienie od pożaru świątyni kolegiackiej, w którą uderzył piorun. Do Krosna przybywali także pątnicy z parafii wiejskich niosąc ze sobą, zwyczajem warmińskim „Ofiary- tzw łosiery”.
Wystrój kościoła pochodzi z lat późniejszych. Ołtarz główny wykonał Preike - mistrz z Braniewa, a ołtarze boczne jego wnuk – Biereichel. Organy zbudował około 1730 r. Jan Wolf z Ornety. Jak cała świątynia, tak i organy zbudowano w stylu barokowym. Po zniszczeniach wojennych dzięki wielkiemu wysiłkowi proboszcza Andrzeja Krużyckiego organy powróciły do dawnego stanu i swej pierwotnej świetności – mają obecnie 1308 piszczałek, 23 głosy i są wyposażone w dzwonki oraz obracające się słońce.
Czczona figurka Matki Bożej z Dzieciątkiem znajdowała się w ołtarzu głównym, w ostatnich dniach działań wojennych w 1945 r. – zaginęła. Ta, która znajduje się obecnie w ołtarzu głównym, jest repliką oryginalnej. W 1960 r. zarządca diecezji warmińskiej, biskup T. Wilczyński, dokonał poświęcenia kopii zaginionej figurki Matki Boskiej.
Po II wojnie światowej, mimo zaginięcia figurki i poważnych zmian demograficznych na Warmii (wyjazdy autochtonów, akcja osiedleńcza), tradycyjne pielgrzymki i odpusty w krośnieńskim sanktuarium nadal przyciągały rzesze pielgrzymów, gromadząc wiernych zwłaszcza w najważniejsze maryjne święta roku liturgicznego. Uroczystości odpustowe przypadają 31 maja w święto Nawiedzenia NMP, 15 sierpnia w uroczystość Wniebowzięcia NMP, 8 września w święto Narodzenia NMP i w II niedzielę października – odpust Różańcowy.