API

是一系列基础人工智能模型可用于各种应用。

对于开发人员和企业来说您可以利用

API

SPRING_AI_ANTHROPIC_API_KEYINSERT

KEY

dependencygroupIdorg.springframework.ai/groupIdartifactIdspring-ai-anthropic-spring-boot-starter/artifactId

/dependency

org.springframework.ai:spring-ai-anthropic-spring-boot-starter

请参阅

spring.ai.retry.backoff.initial-interval

sec.

spring.ai.retry.backoff.multiplier

spring.ai.retry.backoff.max-interval

min.

spring.ai.retry.on-client-errors

如果为假则抛出

spring.ai.retry.exclude-on-http-codes

不应触发重试例如抛出

spring.ai.anthropic.chat.enabled

true

spring.ai.anthropic.chat.options.model

claude-3-opus-20240229、claude-3-sonnet-20240229、claude-3-haiku-20240307

claude-instant-1.2

spring.ai.anthropic.chat.options.temperature

采样温度用于控制生成的补间明显的创造性。

取值越高输出结果越随机取值越低结果越集中和确定。

不建议针对同一个补全请求修改温度和

0.8

spring.ai.anthropic.chat.options.max-tokens

聊天完成时要生成的最大标记数。

输入词组和生成词组的总长度受模型上下文长度的限制。

500

spring.ai.anthropic.chat.options.stop-sequence

将导致模型停止生成的自定义文本序列。

我们的模型通常会在自然完成其回合后停止这将导致响应

stop_reason

end_turn。

如果您希望模型在遇到自定义文本字符串时停止生成可以使用

stop_sequences

spring.ai.anthropic.chat.options.top-p

使用核抽样在核采样中我们会按概率递减的顺序计算每个后续标记的所有选项的累积分布并在达到

top_p

top_p但不能同时改变这两个参数。

建议仅用于高级用例。

通常只需要使用

spring.ai.anthropic.chat.options.top-k

低概率回复。

点击此处了解更多技术细节。

建议仅用于高级用例。

通常只需要使用温度。

spring.ai.mistralai.chat.options.functions

由函数名称标识的函数列表用于在单个提示请求中启用函数调用。

具有这些名称的函数必须存在于

functionCallbacks

spring.ai.mistralai.chat.options.functionCallbacks

MistralAI

spring.ai.anthropic.chat.options

为前缀的属性都可以通过在提示调用中添加特定于请求的运行时选项在运行时重写。

运行时选项

spring.ai.anthropic.chat.options.*

运行时您可以通过在提示调用中添加新的、针对特定请求的选项来覆盖默认选项。

例如覆盖特定请求的默认模型和温度

ChatResponse

pirates.,AnthropicChatOptions.builder().withModel(claude-2.1).withTemperature(0.4).build()));

AnthropicChatOptions外您还可以使用通过ChatOptionsBuilder#builder()

函数调用

多模态是指模型能够同时理解和处理各种来源的信息包括文本、图像、音频和其他数据格式。

这种模式代表了人工智能模型的一大进步。

目前Anthropic

org.springframework.util.MimeType

java.lang.Object

ClassPathResource(/multimodal.test.png).getContentAsByteArray();var

userMessage

Prompt(List.of(userMessage)));logger.info(response.getResult().getOutput().getContent());

multimodal.test.png

照片的景深较浅焦点集中在前景的水果上而向上延伸的篮子手柄则略显模糊在背景中营造出悦目的虚化效果。

构图和光线使画面呈现出一种简洁、极简的美感突出了这个优雅的铁丝篮中水果的自然美和新鲜感。

示例Controller

spring-ai-anthropic-spring-boot-starter

pom或

spring.ai.anthropic.api-keyYOUR_API_KEY

spring.ai.anthropic.chat.options.modelclaude-3-opus-20240229

spring.ai.anthropic.chat.options.temperature0.7

spring.ai.anthropic.chat.options.max-tokens450

api-key

实现您可以将其注入到您的类中。

下面是一个使用聊天模型生成文本的简单

Controller

ChatController(AnthropicChatModel

chatModel)

chatModel;}GetMapping(/ai/generate)public

Map

chatModel.call(message));}GetMapping(/ai/generateStream)public

FluxChatResponse

generateStream(RequestParam(value

message,

dependencygroupIdorg.springframework.ai/groupIdartifactIdspring-ai-anthropic/artifactId

/dependency

org.springframework.ai:spring-ai-anthropic

请参阅

AnthropicApi(System.getenv(ANTHROPIC_API_KEY));var

chatModel

AnthropicChatModel(anthropicApi,AnthropicChatOptions.builder().withModel(claude-3-opus-20240229).withTemperature(0.4).withMaxTokens(200).build());ChatResponse

response

为聊天请求提供配置信息。

AnthropicChatOptions.Builder

AnthropicApi

AnthropicApi(System.getenv(ANTHROPIC_API_KEY));RequestMessage

new

anthropicApi.chatCompletionEntity(new

ChatCompletionRequest(AnthropicApi.ChatModel.CLAUDE_3_OPUS.getValue(),List.of(chatCompletionMessage),

null,

anthropicApi.chatCompletionStream(new

ChatCompletionRequest(AnthropicApi.ChatModel.CLAUDE_3_OPUS.getValue(),List.of(chatCompletionMessage),

null,

相连接。

claude-3-opus、claude-3-sonnet

claude-3-haiku

JSON您可以用它在代码中调用函数并将结果返回给模型以完成对话。

2024

提供了灵活且用户友好的注册和调用自定义函数的方法。

一般来说自定义函数需要提供函数名称、描述和函数调用签名作为

JSON

模式以便让模型知道函数期望使用哪些参数。

描述有助于模型了解何时调用该函数。

作为开发人员您需要实现一个函数接收人工智能模型发送的函数调用参数并将结果反馈给模型。

您的函数可以反过来调用其他第三方服务来提供结果。

Spring

假设我们想让人工智能模型响应它所不具备的信息例如某个地点的当前温度。

我们可以为人工智能模型提供有关我们自身功能的元数据让它在处理您的提示时可以用来检索这些信息。

例如如果在处理提示时人工智能模型确定它需要有关给定地点温度的额外信息它就会启动服务器端生成的请求/响应交互。

人工智能模型会调用客户端函数。

人工智能模型以

JSON

大大简化了为支持函数调用而编写的代码。

它为您提供函数调用对话的中介。

您只需以

Bean

让我们创建一个聊天机器人通过调用自己的函数来回答问题。

为了支持聊天机器人的回答我们将注册自己的函数该函数接收一个地点并返回该地点的当前天气。

当需要回答诸如

波士顿的天气如何这样的问题时人工智能模型将调用客户端提供位置值作为参数传递给函数。

这种类似

RPC

API并将天气响应返回给模型以完成对话。

在本示例中我们将使用一个名为

MockWea***rService

FunctionMockWea***rService.Request,

wea***rFunction1()

(2)帮助模型理解何时调用函数。

这是一个重要的属性可以帮助人工智能模型确定要调用的客户端函数。

上使用

FunctionCallWithFunctionBeanIT.java

函数回调封装器

FunctionCallbackWrapper(CurrentWea***r,

(1)

Prompt(List.of(userMessage),AnthropicChatOptions.builder().withFunction(CurrentWea***r).build()));

(1)

AnthropicChatOptions.builder().withFunctionCallbacks(List.of(new

FunctionCallbackWrapper(CurrentWea***r,

nameGet

FunctionCallWithPromptFunctionIT.java

AnthropicChatModel