WORK 04 · VIBE CODING
蝴蝶花园
Butterfly Garden · 摄像头、手势与真实蝴蝶的实时互动花园
MediaPipe手势识别照片级蝴蝶Canvas 2DReact + TypeScript

这是一件什么作品
摄像头画面成为整页背景,八只真实标本级蝴蝶在画面上飞:伸出一根手指,离指尖最近的一只会加速落到指尖;两根手指,两只蝴蝶各落一处;张开手掌,所有蝴蝶绕着掌心盘旋;双手各伸一根食指,每只手停一只。手离开画面,它们先轻轻抬起,再振翅飞走。
蝴蝶不是贴图平移:每一只都有自己的巡航、冲刺、停留与起飞状态,翅膀持续扇动;停在指尖上时是一只“松软栖枝”——手指移动,蝴蝶会落后半拍,再振翅慢慢追过去,而不是粘在手上。
实现亮点
- MediaPipe Tasks Vision HandLandmarker 在浏览器本地实时识别双手 21 个关键点(24fps 节流,GPU 失败自动回退 CPU);摄像头以 object-fit: cover 铺满全屏,识别坐标按镜像与裁切映射回屏幕,指尖位置和画面里看到的手完全一致。
- 八种蝴蝶(蓝闪蝶、帝王蝶、凤蝶、粉蝶、紫闪蝶、小红蛱蝶、玻璃翼蝶、虎纹长翅蝶)使用从参考图提取、去背、镜像并锐化的照片级半翅贴图,保留真实翅脉、鳞粉与眼斑;贴图加载失败时自动回退到程序化纹理。
- 交互导演层把手势翻译成飞行意图:单指选最近一只、双指两只且永不互换、张掌绕掌心、双手各一只;落点按“手 id + 手指”粘性分配,松手后有短暂宽限期再恢复自由飞行。
- 停留不是强弹簧吸附:蝴蝶以限速 160px/s 的“松软栖枝”模型跟随,指尖移动时先落后 20–45px,再振翅追过去;扇翅频率随追赶速度提高,追上后恢复缓慢扇动。
- React + TypeScript + Vite 实现,渲染与手势识别解耦:单个 requestAnimationFrame 主循环、React 零逐帧刷新、DPR 上限 2、页面失焦暂停;MediaPipe 的 wasm 与模型随站点本地部署,摄像头画面只在本地处理、不上传。
小提示:第一次进入点「Start Experience」并允许摄像头;手放在镜头前 40–80cm,伸出一根食指等蝴蝶落下。没有摄像头也能点「Continue without camera」看花园;按 D 打开性能 HUD,H 看手部骨架,空格暂停。右上角设置可切换前后摄像头、声音与减少动效。