Les juristes de la Couronne fédérale étaient historiquement exclus de la négociation collective en vertu de la Loi. Tout au long des années 1990, les juristes de la Couronne fédérale, comme les autres fonctionnaires, ont été soumis à une série de gels des salaires, de réduction d’opportunités promotionnelles et de départs de personnel croissants. Dans ce contexte, le soutien a grandi en faveur de la création d’un organisme indépendant qui défendrait les intérêts des juristes de la Couronne fédérale qui ne font pas partie du groupe de gestion. L'AJJ a été formée en juillet 2001, suite à un référendum national des juristes, où près de 90 % des votes exprimés étaient en faveur de sa création.
La Loi sur les relations de travail dans la fonction publique est entrée en vigueur le 1er avril 2005. Pour la première fois, la loi permettait aux juristes de la Couronne fédérale de se syndiquer. Le jour même de l'entrée en vigueur de la nouvelle loi, l'AJJ a fait application pour devenir l'agent négociateur accrédité de tous les juristes de la Couronne fédérale admissibles.
L'AJJ a été certifiée le 28 avril 2006, comme agent négociateur d'environ 3 000 avocats, notaires et procureurs qui travaillent pour le gouvernement fédéral. À l’exception d’un petit nombre de juristes qui avaient auparavant été représentés par un autre syndicat, c'était la première fois que les juristes la Couronne fédérale ont pu négocier collectivement.