根据题意,可以画出以下图形:
设双曲线的左、右焦点分别为$F_1(-c,0), F_2(c,0)$,则有$a^2+b^2=c^2$。设直线$AF_2$的方程为$y=k(x+c)$,则过点$F_1(-c,0)$的直线方程为$y=\frac{b}{a}x+\frac{bc}{a}$,将两个方程联立得到交点$A(-\frac{ac}{\sqrt{a^2-b^2}}, \frac{bc}{\sqrt{a^2-b^2}})$,同理可得交点$B(\frac{ac}{\sqrt{a^2-b^2}}, -\frac{bc}{\sqrt{a^2-b^2}})$。
由于$\angle BAF_2=120^\circ$,因此$\triangle ABF_2$为等腰三角形,即$|AF_2|=|BF_2|$。代入$|AF_2|:|BF_2|=3:7$,解得$|AF_2|=\frac{3c}{5}, |BF_2|=\frac{7c}{5}$。
又因为$F_1A+F_1B=2a$,代入$F_1(-c,0), A(-\frac{ac}{\sqrt{a^2-b^2}}, \frac{bc}{\sqrt{a^2-b^2}}), B(\frac{ac}{\sqrt{a^2-b^2}}, -\frac{bc}{\sqrt{a^2-b^2}})$,解得$2a=2\sqrt{a^2-b^2}+2\sqrt{a^2-\frac{9}{25}c^2}+2\sqrt{a^2-\frac{49}{25}c^2}$。
化简得到$\frac{c^2}{a^2}=\frac{64}{169}$,即双曲线的离心率为$e=\sqrt{1+\frac{b^2}{a^2}}=\sqrt{1-\frac{c^2}{a^2}}=\sqrt{1-\frac{64}{169}}=\frac{5\sqrt{105}}{169}$。