RWKV

新一代大模型架构，超越Transformer。RWKV 是一种革新的深度学习架构，结合了 RNN 和 Transformer 的最佳特性出色的性能、快速的推理、快速的训练、节省 VRAM、"无限" 的 ctxlen 和免费的句嵌入，而且 100% 不含自注意力机制。