LLM-Client一個(gè)輕量級的LLM集成工具

大型語(yǔ)言模型(llm)已經(jīng)徹底改變了我們與文本交互的方式，OpenAI、Google、AI21、HuggingfaceHub、Anthropic和眾多開(kāi)源模型提供了不同的功能和優(yōu)勢。但是每個(gè)模型都有其獨特的體系結構、api和兼容性需求，集成這些模型是一項耗時(shí)且具有挑戰性的任務(wù)。

所以這時(shí)候LangChain就解決了這個(gè)問(wèn)題，LLM集成工具為將不同的語(yǔ)言模型集成到您的項目中提供了一種簡(jiǎn)化的方法。抽象了與每個(gè)LLM相關(guān)的復雜性和細微差別。使用LangChain，可以節省寶貴的時(shí)間和精力。

我這里又發(fā)現了一個(gè)剛剛發(fā)布不久的集成工具LLM-Client就出現了，本文將深入研究LLM -client和LangChain的特性、優(yōu)勢和注意事項。

llm-client和LangChain作為在不同的llm和項目需求之間架起橋梁，提供一致的API，無(wú)需大量的代碼修改就可以在llm之間切換。這種靈活性和兼容性使得實(shí)驗不同的模型、比較它們的性能并為您的項目選擇最合適的模型變得更加容易。

LangChain以其廣泛的功能而聞名，可以幫我們作為L(cháng)LM的通用接口，管理提示的框架，提供長(cháng)期記憶的中心接口，索引，LLM鏈以及LLM無(wú)法處理的任務(wù)(例如，計算或搜索)的其他代理。它有一個(gè)龐大的社區支持系統(目前GitHub上有超過(guò)45K star)。

而LLM-Client是專(zhuān)門(mén)為大型語(yǔ)言模型(llm)集成而設計的。它用戶(hù)友好的界面，專(zhuān)注于消除集成復雜性為開(kāi)發(fā)人員提供了無(wú)縫的體驗。

LangChain龐大的社區是一個(gè)顯著(zhù)的優(yōu)勢。LangChain還擅長(cháng)于對非異步使用的直接支持。

要使用LangChain生成文本，可以使用以下代碼:

安裝:

 pip install langchain[llms]

最簡(jiǎn)單的調用：

 import os from langchain.llms import OpenAI # Or any other model avilable on LangChain
 os.environ["OPENAI_API_KEY"] = ... # insert your API_TOKEN here
 llm = OpenAI(model_name="text-ada-001", n=2, best_of=2) # Here you can pass addtinal params e.g temperature, max_tokens etc.
 llm("Tell me a joke")

對于異步文本生成(僅對某些模型可用)，可以使用以下代碼:

 await llm.agenerate(["Hello, how are you?"])

LLM-Client

llm-client提供了一個(gè)帶有標準化參數的包裝器，使開(kāi)發(fā)人員能夠繞過(guò)復雜的設置或不一致的配置。該工具專(zhuān)為與llm無(wú)縫集成而設計，調用起來(lái)更簡(jiǎn)單。

llm-client為開(kāi)發(fā)人員提供了對ClientSession的更大控制，主要是為異步操作提供了便利。下面是如何與llm-client異步執行文本補全:

安裝：

 pip install llm-client[api]

代碼示例：

 import os from aiohttp import ClientSession from llm_client import OpenAIClient, LLMAPIClientConfig # Or any other model avilable on llm-client
 async with ClientSession() as session:  llm_client = OpenAIClient(LLMAPIClientConfig(os.environ["API_KEY"], session, default_model="text-ada-001")  text = "This is indeed a test"  print("generated text:", await llm_client.text_completion(text, n=2, best_of=2)) # Here you can pass addtinal params e.g temperature, max_tokens etc.

在不使用async的情況下完成上述操作:

 from llm_client import init_sync_llm_api_client
 llm_client = init_sync_llm_api_client(LLMAPIClientType.OPEN_AI, api_key=os.environ["API_KEY"],                                      default_model="text-ada-001")
 text = "This is indeed a test" llm_client.text_completion(text, n=2, best_of=2) llm_client.embedding(text)

這里有一個(gè)簡(jiǎn)單的列表，這個(gè)列表是LLM-Client的開(kāi)發(fā)人員提供的所以?xún)H供參考：

LangChain豐富的社區和直接的非異步使用可能適合尋找協(xié)作環(huán)境和更簡(jiǎn)單的同步操作的開(kāi)發(fā)人員。

LLM-Client客戶(hù)端的性能、靈活性和LLM集成的針對性設計使其成為那些尋求最大控制、高效和精簡(jiǎn)工作流程的人的是一個(gè)很好的工具，尤其是有異步的調用可以提高響應性能。