畅所欲言:使用 OffiDocs 在 Chrome 中提示任何细分模型
畅所欲言:提示任何细分模型 Chrome 网上应用店扩展程序
描述:
使用 OffiDocs Chromium 在线运行 Chrome 在线网上应用店扩展程序 Say Anything:Prompt Segment Anything Model。
使用 CLIP 嵌入为 Segment Anything 模型 (SAM) 启用自然语言提示。
使用自然语言提示与 Meta 的 Segment Anything 模型进行交互!尽管他们训练并研究了文本提示,但他们选择不将其作为演示的一部分发布,因此 Brilliantly 的我们决定尝试一下。此扩展与他们使用的编码不同,而是在其之上构建了一个层,使用 OpenAI 的 CLIP 和 kevinzakka 的梯度加权类激活映射实现构建。这只是为了好玩,结果的质量参差不齐。有些失败模式是可以解释的(梯度映射不够精确,因此屏幕截图中的帽子是差点失败的),而其他一些则完全错误。
访问 https://github.com/suvansh/say-anything-backend 了解如何在 2 分钟内本地设置后端服务器以使用此扩展。
畅所欲言:提示任何片段模型 Web 扩展与 OffiDocs Chromium 在线集成