为了实现对自然环境下树上柑橘的识别和检测,解决柑橘图像数据采集不便、图像质量差、数量少的问题,为柑橘的机械采摘工作提供一种视觉方案,本文提出了一种联合SAM(Segment Any-thing Model)与VGG16 模型的检测方法。SAM具有良好的泛化能力,在图像分割效果上也达到了柑橘任务的应用要求。图像经过SAM分割后输入到VGG16 网络模型中进行分类,而后将分类结果连同位置信息返回到原图上显示出来,实现柑橘目标检测。本文方法旨在进一步解决自然环境下树上柑橘任务需要大量数据集、模型训练时间长、目标分割困难、目标错检等问题。实验结果表明,该方法在模型不经大量训练的情况下能够准确识别在自然环境下的树上柑橘及柑橘小目标,有效节省了数据集制作和模型训练的时间。