Debate sobre Linux y IA | Comunidad FriendZone

Resumen

FriendZone | Haz amigos y chatea ⋅ Social y divertido ⋅ Chill ⋅ VC es el lugar ideal para que los entusiastas de la tecnología conecten. Esta discusión destaca la pasión compartida por distros Linux como EndeavourOS y los matices técnicos de ejecutar modelos de IA de código abierto localmente. Ya sea que te interese la programación, el hardware o los avances en IA, este hilo muestra la cultura vibrante de nuestro servidor.

@daringmartin-48 ¿Cuáles son tus specs?
snowyotter-47 OP

amd ryzen 7, rtx 4060, 16 gb ram

daringmartin-48

Bien

daringmartin-48

Puedes usar 3.8 max online gratis

daringmartin-48

¿Haces algo con eso?

snowyotter-47 OP

Pero no se puede usar localmente, ¿verdad?

daringmartin-48

Sí

daringmartin-48

Pero puedes usar un modelo potente online

daringmartin-48

Modelo de 2.5 billones de parámetros con 1M de contexto

snowyotter-47 OP

Quiero ejecutarlo localmente, por eso elegí qwen2.5

daringmartin-48

¿Por qué lo usas localmente para construir algo?

@daringmartin-48 ¿Por qué lo usas localmente para construir algo?
snowyotter-47 OP

Para poder entrenar la IA según mis necesidades

daringmartin-48

¿Cuáles son tus necesidades?

Lo último de FriendZone | Make Friends & Chat ⋅ Active Social Fun ⋅ Chill ⋅ VC