01
语义分割
Generate a semantic segmentation visualization with class colors for dessert, menu and background.
把逐像素类别标签转写成可视 RGB 图，强调统一输出接口而不是专用张量头。
返回 CV 前沿探索
Vision Banana：Image Generators are Generalist Vision Learners
把视觉理解任务转化为图像生成
输入图像与指令共同定义任务，模型生成 RGB 结果，再解码为分割、深度、法线或编辑结果。
统一 RGB 视觉接口
Vision Banana
共享图像生成器接口
输入原图
任务指令
Render semantic regions as an RGB task image.
Vision Banana
共享图像生成器接口
RGB 任务图像
解码并输出结果
分割 · 深度 · 法线 · 编辑图像
能力展示
从输入图到 RGB 任务输出
桌面端悬停查看输出，移动端点击切换。每张卡展示同一个接口思路：Input Image + Instruction Prompt → RGB Output → Decoded Vision Result。
02
实例分割
Segment all price tags and color each instance differently.
实例 ID 通过不同 RGB 颜色表达，后续可按颜色连通区域解码为 mask。
03
指代性语言分割
Render the game control device as a solid yellow mask on a black background.
自然语言决定分割对象，输出仍是一张 RGB mask，而不是换一个专用模型。
04
深度估计
Generate a metric depth map of the provided image.
深度先变成彩色可视图，再通过标尺或解码规则转回稠密深度结构。
05
表面法线估计
Generate a surface normal map of the input image.
RGB 三通道表示三维方向分量，让几何估计也进入同一种输出形式。
06
图像编辑
Edit the road into a clean blue lane while preserving scene geometry.
理解任务和生成任务共享 RGB 输出形式，体现生成式视觉接口的延展性。
07
背景抠图
Remove the background and keep foreground objects with checkerboard transparency.
前景保留、背景透明可以继续被解码成 alpha mask 或合成素材。
08
边缘与结构线提取
Draw crisp structure lines and object contours on a dark background.
边缘、轮廓和结构线也可以看作生成一张可解码的视觉结果图。
多任务视觉结果展廊
按任务分组展示输入图、指令与 RGB 输出结果，让同一生成式接口在分割、深度和几何估计中的表现连续呈现。桌面端悬停 reveal，移动端点击 reveal。
语义分割
同一种 RGB mask 输出，可以由不同类别集合和 prompt 约束生成。
per-pixel class labeling for dessert, menu, plates and background.
Generate semantic colors for cat ears, exit sign and background.
Conduct per-class segmentation for people, ocean, sky and street lights.
实例分割
颜色不再代表类别，而是代表不同实例，展示 RGB 输出如何承载实例 ID。
Color each garlic instance differently.
Segment all price tags with distinct instance colors.
Each price tag is represented by a unique solid color.
Render each basketball as an individual circular mask.
指代性语言分割
语言指代决定被分割对象，展示模型对自然语言 prompt 的绑定能力。
Highlight the chef names in Chinese and English.
Separate the stretching cat from another cat by color.
The game control device is represented by a solid yellow mask.
Render the man in a pink t shirt as the referred mask.
深度估计
从室内、建筑、自然场景到物体近景，深度都先以 RGB 色带输出。
Predict metric depth with a rainbow colormap.
Outdoor scene depth encoded as warm-to-cool RGB.
Close-range object depth from a single RGB image.
Dense indoor geometry represented as decodable color.
表面法线估计
RGB 三通道可以承载几何方向场，把法线估计也纳入图像生成接口。
Predict surface normal of a complex indoor scene.
Indoor object surfaces mapped to RGB normal channels.
Room layout recovered as a direction field.
Object shape encoded through surface orientation.
基于标定深度的三维点云重建
Vision Banana 的 metric depth 预测可以结合相机内参反投影为 3D 点云，用来观察完整场景几何。这里复用官方点云数据，在本页中做轻量 WebGL 可视化。
正在加载点云数据...
鼠标拖拽旋转 · 滚轮缩放 · 数据来自官方 Vision Banana pointcloud 资源
2D 视觉理解指标评估
基于通用生成式 RGB 接口，Vision Banana 在各类经典 2D 视觉任务中取得了与专用模型相当、甚至超越专用模型的多任务性能。
Cityscapes 语义分割
mIoU ↑ 越大越好SA-Co/Gold 实例分割
cgF1 ↑ 越大越好RefCOCOg val (UMD)
cIoU ↑ 越大越好ReasonSeg val
gIoU ↑ 越大越好从专用任务头到统一 RGB 接口
传统系统为每类任务维护独立任务头；Vision Banana 的思想是把任务定义交给指令，把结果表达收束为可解码的 RGB 图像。
Segmentation headmask logits / class map
Depth headmetric depth / scale
Normal headsurface orientation
Editing branchimage-to-image output
shared generator weights
Vision Banana
Image + Instruction -> RGB task image
decoded outputs
mask / depth / normal / edit
关键技术与结果
保留官方主页和论文资源中的关键图，使用 research gallery 形式聚焦核心机制、语言条件分割、深度重建与图像编辑。
官方结果样例 · 来源 Vision Banana 官方主页资源
多任务 RGB 输出矩阵
用官方样例输出拼成能力矩阵，展示分割、深度与法线等任务如何统一成 RGB 结果图。
Figure 01 · 来源 arXiv:2604.20329v1
统一 RGB 任务接口
输入图像和 prompt 共同定义任务，输出被统一为可解码 RGB 结果。
Figure 04 · 来源 arXiv:2604.20329v1
语言条件分割能力
自然语言描述决定要分割的对象，输出仍是一张 RGB mask 图。
Figure 06 · 来源 arXiv:2604.20329v1
可解码深度与三维重建
深度图先以颜色可视化，再被解码并用于重建三维场景。
Figure 10 · 来源 arXiv:2604.20329v1
生成能力保留与图像编辑
模型在保留生成能力的同时，也能根据视觉指令改变图像内容。
Vision Banana 与本系统关系
把基础模块中的表示、卷积、边缘、特征和深度学习任务整合到统一视觉模型接口中。
文献引用与学术调研
本案例与实验平台在“前沿探索”中引用、参考并对比了以下计算机视觉领域的代表性研究成果，向原作者致敬：
能力评测