我们考虑将双曲线的方程写成标准形式: $$\frac{x^2}{a^2}-\frac{y^2}{b^2}=1$$ 由于左右焦点分别为$(\pm c,0)$,其中$c=\sqrt{a^2+b^2}$是双曲线的半焦距,根据定义可以得到: $$c^2=a^2+b^2$$ 因为$\angle BAF_2=120^\circ$,所以我们可以将$\triangle ABF_2$按照边长比例$3:7$分割成两个三角形$\triangle ACF_2$和$\triangle BCF_2$,其中$C$是$\overline{AB}$的中点。又因为$F_1$是双曲线的左焦点,所以$\overline{F_1C}$是$\triangle ACF_2$的内角平分线。设$\angle ACF_2=\theta$,则有$\angle F_2CB=120^\circ-\theta$。 由余弦定理可得: $$\begin{aligned} AC^2&=AF_2^2+CF_2^2-2\cdot AF_2\cdot CF_2\cdot\cos\theta\ BC^2&=BF_2^2+CF_2^2-2\cdot BF_2\cdot CF_2\cdot\cos(120^\circ-\theta) \end{aligned}$$ 代入$|AF_2|:|BF_2|=3:7$,得到: $$\begin{aligned} AC^2&=\frac{9}{100}(a^2+b^2)+\frac{1}{4}AB^2\ BC^2&=\frac{49}{100}(a^2+b^2)+\frac{1}{4}AB^2 \end{aligned}$$ 又因为$A,B$在双曲线上,所以有: $$\begin{aligned} \frac{AC^2}{a^2}-\frac{BC^2}{a^2}&=\frac{AB^2}{b^2}-\frac{AB^2}{a^2}\ &=\frac{a^2-b^2}{a^2}\cdot AB^2 \end{aligned}$$ 将上面的结果代入,整理可得: $$\frac{a^2-b^2}{a^2}\cdot AB^2=\frac{40}{49}(a^2+b^2)$$ 因为$a>b>0$,所以$a^2-b^2<a^2$,所以我们可以将上面的等式两边同时除以$a^2$: $$\frac{1-(b/a)^2}{1}\cdot AB^2=\frac{40}{49}\cdot\left(1+\frac{b^2}{a^2}\right)$$ 又因为$c^2=a^2+b^2$,所以$b^2/c^2=1-a^2/c^2$,带入上面的等式得到: $$(1-a^2/c^2)\cdot AB^2=\frac{40}{49}\cdot\left(2-\frac{a^2}{c^2}\right)$$ 将$c^2=a^2+b^2$代入,整理可得: $$\frac{a^2}{b^2}=\frac{289}{100}-\frac{160}{49}\cdot e^2$$ 其中$e$是双曲线的离心率,即$e=c/a$。解上面的方程可得: $$e^2=\frac{1}{16}\cdot\left(17+\frac{3}{2}\cdot\sqrt{191}\right)$$ 因为$a,b>0$,所以$e>0$。因此,双曲线的离心率为: $$e=\frac{1}{4}\cdot\sqrt{17+3\sqrt{191}}$$