Transformers.js v2.11 发布8 个令人兴奋的新模型！

鲁虺

廣告

[color=var(--juejin-font-1)][size=2.667]Transformers.js v2.11 发布，迄今为止最大版本之一，包含 8 个令人兴奋的新模型！

[color=var(--juejin-font-2)]裕波
[color=var(--juejin-font-3)]2023-12-14[color=var(--juejin-font-3)]2,271[color=var(--juejin-font-3)]阅读2分钟

12 月 13 日，Transformers.js 作者 Joshua Lochner 在 GitHub 宣传 Transformers.js v2.11 发布。

他称：Transformers.js v2.11 是我们迄今为止推出的最大版本之一，包含了8个令人兴奋的新模型！

现在支持 73 种不同的模型架构！

1、 ViTMatte 用于图像抠图： 直接在你的浏览器中将图像分离成前景和背景！这将为一些酷炫的图像编辑网页应用带来新风貌！

2、Chinese-CLIP 用于中文的零样本图像分类：根据训练过程中未曾见过的标签来分类图像。

如果你是一位对在网页应用中加入 AI 感兴趣的中国前端开发者，请告诉我们接下来应该添加哪些模型！

3、 ESM 用于蛋白质序列的特征提取、分类、掩码语言建模和零样本分类。****

由于 Transformers.js 在你的浏览器本地运行 AI 模型（即，无需服务器），这对隐私保护有巨大好处：特别是在医疗应用上！

4、Hubert 用于音频分类和自动语音识别。

5、DINOv2 用于图像分类。

6、ConvBERT 用于掩码语言建模、文本/符号分类和问题回答。

7、ELECTRA 用于特征提取。

**8、最后，Phi 用于文本生成！
**注意：这仅添加了对架构的支持。当外部数据格式在 ONNX Runtime 中得到支持时，我们将发布一个更新，其中包括可用的 Phi 模型的转换版本。

你能相信这些模型全部都能在你的浏览器本地完全运行吗？无需安装！PS：如果你对了解更多感兴趣，请查看Transformers.js文档！

新示例：语义音乐搜索应用程序

在上次发布中，我们添加了对 CLAP 模型（音频版的 CLIP）的支持，因此在这一次，我们推出了一个简单的演示应用程序，展示了如何使用 CLAP 模型来执行实时语义音乐搜索！为了简化，我们使用纯 JavaScript 实现了所有功能，但您可以随意将其适配到您选择的框架中！一如既往，源代码是开源的！