按年被提到
20232023 · 3 次2026
视觉、语音与图像生成›视觉语言与自监督表征·arXiv:2307.05845 · cs.CV

PIGEON: Predicting Image Geolocations

PIGEON:预测图像地理位置
Lukas Haas, Michal Skreta, Silas Alberti, Chelsea Finn · 2023

结合语义地理单元与对比预训练的全球图像地理定位系统

开始阅读 ↗PDFalphaXiv 讨论
被提及 · 4 人首次 2023-07-16 · 最近 2025-04-26
4不同的人
3活跃月份
4讨论串
34被引(OpenAlex)

论文提出一个全球尺度的图像地理定位系统,结合语义地理单元(geocell)构建、多任务对比预训练和一个新的损失函数,并首次在位置簇上做检索来细化猜测。作者训练了两个模型:基于 Geoguessr 游戏数据的 PIGEON,全球范围内超过 40% 的猜测落在目标 25 公里内,在盲测中位列前 0.01% 玩家,并以 6 比 0 击败一位顶尖职业玩家;基于 Flickr 和维基百科图像的 PIGEOTTO 在多个基准上达到最优,城市级最多领先先前最优 7.7 个百分点,国家级最多领先 38.8 个百分点。

HN 为什么提它

评论者把它当作能预测照片位置的方向,可用于自动定位老照片,也是想要极强 GeoGuessr 机器人时的首选。

方法难度 3 / 5约 45 分钟经得起时间
读之前最好知道
1Vision Transformer 与 CLIP
2对比学习(contrastive learning)
3图像检索与分类(geocell 分类)
4地理坐标与球面距离

学习路径

读这篇之前,按顺序读书架上的 4 篇 · 参考文献来自 OpenAlex,顺序和要点由 Claude Code 排出

沿着 Transformer、ViT、CLIP 的视觉表示线,加上 PlaNet 的地理格子思想,建立 PIGEON 所需的前置知识。

  1. 1
    Attention Is All You Need注意力就是你所需要的一切 · 2017

    PIGEON 的视觉骨干基于 Transformer,需要理解自注意力的基本机制。

    读多头自注意力与位置编码的概念;不必关心翻译实验。

  2. 2
    An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale一张图胜过 16x16 个词:大规模图像识别中的 Transformer · 2020

    把图像切成图块交给 Transformer,是 CLIP 视觉编码器和 PIGEON 的图像骨干来源。

    读图像切块与线性嵌入、分类 token 的做法。

  3. 3
    Learning Transferable Visual Models From Natural Language Supervision从自然语言监督中学习可迁移的视觉模型 · 2021

    PIGEON 的多任务对比预训练是在 CLIP 基础上展开的。

    读图文对比损失与零样本迁移的方式。

  4. 4
    PlaNet - Photo Geolocation with Convolutional Neural NetworksPlaNet:用卷积神经网络做照片地理定位 · 2016

    最早把全球切成地理格子做分类定位,PIGEON 的语义地理单元是它的改进。

    读地理格子划分与把定位当成分类的做法,及其局限。

  5. 5
    PIGEON: Predicting Image GeolocationsPIGEON:预测图像地理位置 · 2023 · 就是这篇

    结合语义地理单元、对比预训练和新损失函数的全球图像地理定位系统。

    读语义地理单元的构造、损失函数设计与检索式精调。

HN 书评

推荐在前,同类按时间 · 每篇最多保留 20 条,统计用全部提及
引用qalter · 2023-07

“PIGEON is going that way I guess: PIGEON”

认为 PIGEON 正朝着自动定位老照片的方向发展
How to find a street in 2 minutes [video]原评论 ↗
引用GaggiX · 2025-04

“If you want a bot that is extremely strong at geoguessr there is this: PIGEON”

推荐它作为极擅长 GeoGuessr 的模型,一次前向传播即可
Watching o3 guess a photo's location is surreal, dystopian and entertaining原评论 ↗
被提交为 story · 2 次