大模型创业前必须想清楚的问题
coriva 在开始大模型创业之前，首先应该想清楚下面五个问题，否则人无远虑，必有近忧。
Phi-2: 小型语言模型的惊人威力
微软发布了Phi-2，这是一个拥有27亿参数的语言模型，展示了出色的推理和语言理解能力，在小于130亿参数的基础语言模型中表现出最先进的性能。在复杂的基准测试中，由于模型扩展和训练数据精选方面的创新，Phi-2能够匹敌或超越大约25倍更大的模型。
Textbooks Are All You Need 精要
微软最近提出了一个有趣的方法，即使用合成教科书来教授模型，而不是通常使用的大规模数据集。对于某些任务，这种方法和使用大量数据进行训练的规模更大的模型一样有效。
检索增强生成（RAG）简介
检索增强生成（Retrieval-Augmented Generation，简称RAG）是一种新的自然语言处理（NLP）方法，它将预训练的参数化和非参数化记忆相结合，旨在提高知识密集型NLP任务的性能。本文将探讨RAG框架及其在NLP领域的潜在应用。