Discussão sobre Linux e IA | Comunidade FriendZone

Resumo

FriendZone | Faça amigos e converse ⋅ Social e divertido ⋅ Chill ⋅ VC é o lugar perfeito para membros tech. Esta discussão destaca a paixão compartilhada por distros Linux como EndeavourOS e as nuances técnicas de rodar modelos de IA open-source localmente. Seja sobre programação, hardware ou avanços em IA, este tópico mostra a cultura vibrante do nosso servidor.

@daringmartin-48 Quais são suas specs
snowyotter-47 OP

amd ryzen 7, rtx 4060, 16 gb ram

daringmartin-48

Nice

daringmartin-48

Você pode usar o 3.8 max online de graça

daringmartin-48

Você faz algo com isso?

snowyotter-47 OP

Mas não dá para usar localmente, né?

daringmartin-48

Sim

daringmartin-48

Mas você pode usar um modelo poderoso online

daringmartin-48

Modelo de 2,5 trilhões de parâmetros com 1M de contexto

snowyotter-47 OP

Eu quero rodar localmente, então escolhi o qwen2.5

daringmartin-48

Por que você usa localmente para construir algo

@daringmartin-48 Por que você usa localmente para construir algo
snowyotter-47 OP

Para que eu possa treinar a IA para as minhas necessidades

daringmartin-48

Quais são suas necessidades

As últimas novidades de FriendZone | Make Friends & Chat ⋅ Active Social Fun ⋅ Chill ⋅ VC