Hat jemand von euch schon DeepSeek benutzt bei mir ist es extrem langsam und kommt jede zweite prompt ins timeout
Ich wollte das die nächsten Tage auch testen, allerdings Lokal, sofern das auf meiner Hardware möglich ist. Auf YouTube habe ich dazu bereits ein Video gefunden, welches ich mir im Laufe der nächsten Zeit mal ansehen werde.
Gib gerne Bescheid wie es bei dir Lokal dann läuft Koffein
Ich bin gerade am Testen und mich haut es da gerade irgendwo aus den Socken.
Zu Testzwecken wollte ich mehrere Modelle ausprobieren. Im Moment hänge ich noch an dem Modell Deepseek-R1-Distill-Llama-8B-GGUF (also einem ziemlich kleinen Modell).
Das wäre mein erster Prompt:
Schreibe mir bitte einen längeren deutschen Text.
Ich bekam folgende Antwort:
Die Berge sind immer ein besonderes Erlebnis. Sie ergeben eine Vielzahl von Landschaften, von steilen Gipfeln bis zu sanften Hügeln. In den Bergen gibt es viele Tierarten, die sich an der rauhen Natur angepasst haben, wie z.B. Schneehasen oder Murmeltiere. Außerdem sind die Berge ein idealer Ort, um ruhig zu werden und die Natur in all ihren Formen zu genießen.
Auch die Stadtlandschaften sind einzigartig. Große Städte wie Berlin, München oder Köln bieten eine Mischung aus modernen Gebäuden und historischen Straßenzügen. In diesen Städten leben Millionen von Menschen, die jeden Tag neue Erfahrungen machen und die Kultur des Stadtlebens erleben können.
Die Natur hat so viel zu bieten, unabhängig davon, ob man in den Bergen oder in der Stadt lebt. Sie erfüllt den Menschen mit Eindrücken und erinnert ihn daran, wie vielfältig das Leben ist.
Was ich ebenfalls interessant finde, ist dass man sich auch die Denkprozesse der KI ansehen kann. Für diesen Prompt sah das wie folgt aus:
Okay, the user just asked me to write a longer German text. In the previous message, they confirmed that I speak German.
They might be looking for an example of how I can provide a detailed response in German. Maybe they're testing my language abilities or need assistance with a specific topic.
I should respond by offering a variety of subjects so they can choose one they're interested in. That way, I cover different areas like nature, technology, food, and history to show versatility.
I'll make sure the text is engaging and informative, keeping it natural since they mentioned using markdown but then told me to avoid it. So, I'll keep it simple without any formatting.
Der Text weist ein paar Fehler auf. Nachfolgend hatte ich die KI auch gefragt, ob sie mir Snake in Python (mit tkinter) programmieren könnte. Leider hatte auch noch der dritte Versuch zum Start Fehler geworfen.
Es ist allerdings wirklich interessant, die Denkprozesse der KI zu beobachten, während sie die Antwort vorbereitet.
Jetzt teste ich DeepSeek-R1-Distill-Qwen-32B-Q4_K_M.gguf. Hier läuft es schon deutlich langsamer, da das Modell eben nicht mehr komplett in meinen VRAM passt. Bei dem 8B-Parameter-Modell hatte ich ~35 tok/sec. Hier sind es ~5 tok/sec.
Im Vergleich mit anderen Open-Source-Modellen, die ich bisher lokal getestet hatte, finde ich das aber in jedem Fall beindruckend.
Als Umgebung nutze ich übrigens LM Studio.
Kleines Update:
Ich habe jetzt ein paar Modelle getestet und bin insgesamt ziemlich beeindruckt. Allerdings wirft die KI häufig auch das ein oder andere chinesische Zeichen mit in den Text, unabhängig, ob man auf Deutsch oder Englisch mit ihr kommuniziert.
Ja auch das die Denkprozesse manchmal auf deutsch und öfter auf englisch sind, ist auch interessant. Aber ich finde es auch beeindruckend zu sehen wie die KI überhaupt auf die Antworten kommt in dem man die Denkprozesse sieht
Ja, spannend finde ich das auch. Was die Sprache beim Denken angeht, ist es bei mir auch schon auf Chinesisch geswitched. Das gleiche hat ChatGPT 3o high aber auch gerade gemacht (zumindest denke ich, dass es Chinesisch war).
Ich habe mehreren Modellen gerade eine Matheaufgabe gestellt, die ich auf Reddit gefunden habe. Jedenfalls konnten die alle lösen.
Bei DeepSeek R1 14B fand ich aber einen Absatz im Denken recht komisch:
Wow, that's a sixth-degree polynomial. That sounds complicated because I remember from school that higher degree polynomials can be tricky to solve, especially if they don't factor nicely or have rational roots. But maybe there's a pattern here.
Ich finde jedenfalls cool, dass wirklich jedes der Modelle frei verfügbar ist. Das volle Modell bleibt aber trotzdem in weiter Ferne. Selbst in quantisierter Form ist das eher nicht für Consumer-Hardware gedacht.
Vom BF16-Modell möchte ich gar nicht erst anfangen:
Das switchen kommt übrigens nicht vom "denken", dem LLM liegen die Daten nur in dieser Sprache vor.
Syntafin
Grundsätzlich sind die Modelle ja in der Lage, beispielsweise Deutsch zu schreiben. Daher waren garantiert auch deutsche Texte unter den Trainingsdaten.
Wenn du damit allerdings meinst, dass eventuell einzelne Worte oder Wissen zu einzelnen Themen nur in bestimmten Sprachen vorhanden sind und das Modell deshalb auf diese Sprache umswitched, dann verstehe, macht Sinn.
Kleines Update zu meinen Versuchen:
Ich habe mir vorhin nochmal ein Video auf YouTube zu dieser ganzen DeepSeek-Situation angesehen. Dort wurde dann auch von einem anderen Modell gesprochen, dass kürzlich als OpenSource veröffentlicht wurde: Qwen2.5
Kommt ebenfalls aus China und stammt scheinbar von einer Tech-Sparte des Konzerns Alibaba.
Ich habe Qwen2.5-Coder-14B getestet. Snake hat es schon mal hinbekommen, im Gegensatz zu Deepseek-8B.
Auszug aus dem Gespräch:
Prompt:
No, i didn't mean a clone or something.
You have to come up with an own simple game idea. You provide the code and explain the rules to me.
Teil der Antwort:
Game Rules:
Matching: Click on any square to select it.
Adjacent Squares: If you click on an adjacent square (up, down, left, right, or diagonal) of the same color, they will disappear from the board.
Falling Squares: After a match, all remaining squares above the empty spaces fall down to fill them up.
Score: You earn points for each match you make based on the number of squares involved in the match.
Der Code:
import tkinter as tk
import random
class ColorMatch:
def __init__(self, master):
self.master = master
self.master.title("Color Match")
# Initialize game settings
self.grid_size = 8
self.cell_size = 50
self.colors = ["red", "green", "blue", "yellow", "purple", "orange"]
self.score = 0
# Create canvas
self.canvas = tk.Canvas(self.master, width=self.grid_size * self.cell_size, height=self.grid_size * self.cell_size)
self.canvas.pack()
# Initialize grid and draw initial state
self.grid = [[random.choice(self.colors) for _ in range(self.grid_size)] for _ in range(self.grid_size)]
self.draw_grid()
# Bind mouse click event
self.master.bind("<Button-1>", lambda event: self.handle_click(event))
def draw_grid(self):
"""Draw the grid on the canvas."""
self.canvas.delete(tk.ALL)
for i in range(self.grid_size):
for j in range(self.grid_size):
x1, y1 = j * self.cell_size, i * self.cell_size
x2, y2 = x1 + self.cell_size, y1 + self.cell_size
color = self.grid[i][j]
self.canvas.create_rectangle(x1, y1, x2, y2, fill=color)
def handle_click(self, event):
"""Handle mouse click events."""
col = event.x // self.cell_size
row = event.y // self.cell_size
# Get the color of the clicked cell
current_color = self.grid[row][col]
# Find all adjacent cells with the same color
visited = set()
to_visit = [(row, col)]
matches = []
while to_visit:
r, c = to_visit.pop()
if (r, c) in visited:
continue
visited.add((r, c))
matches.append((r, c))
for dr, dc in [(-1, 0), (1, 0), (0, -1), (0, 1), (-1, -1), (-1, 1), (1, -1), (1, 1)]:
nr, nc = r + dr, c + dc
if 0 <= nr < self.grid_size and 0 <= nc < self.grid_size and self.grid[nr][nc] == current_color:
to_visit.append((nr, nc))
# If there are at least 3 matches, remove them and update the grid
if len(matches) >= 3:
for r, c in matches:
self.grid[r][c] = None
# Drop squares above empty spaces
for j in range(self.grid_size):
none_count = 0
for i in range(self.grid_size - 1, -1, -1):
if self.grid[i][j] is None:
none_count += 1
elif none_count > 0:
self.grid[i + none_count][j] = self.grid[i][j]
self.grid[i][j] = None
# Fill empty spaces at the top with new random colors
for j in range(self.grid_size):
for i in range(none_count):
self.grid[i][j] = random.choice(self.colors)
# Update score and redraw grid
self.score += len(matches) * 10
self.master.title(f"Color Match - Score: {self.score}")
self.draw_grid()
if __name__ == "__main__":
root = tk.Tk()
game = ColorMatch(root)
root.mainloop()Es startet jedenfalls problemlos. Allerdings habe ich nicht die geringste Ahnung, was da passiert. Zudem kann man unendlich Punkte erzeugen, indem man einfach in leere Felder klickt.
Wenn du damit allerdings meinst, dass eventuell einzelne Worte oder Wissen zu einzelnen Themen nur in bestimmten Sprachen vorhanden sind und das Modell deshalb auf diese Sprache umswitched, dann verstehe, macht Sinn.
Korrekt, da ein LLM weder deine Eingabe versteht, noch weiß was es ausgibt passieren diese Fehler.
Krass das man sehen kann wie die KI denkt. Macht es eigentlich einen Unterschied ob die KI weiblich oder männlich bzw. Unisex entwickelt wurde? Man sagt ja immer Männer Logik oder sowas aber gibt es das?
welche KI bitte? Ernsthaft.... ein LLM ist keine KI. Schaut euch an wie LLMs funktionieren, bevor ihr mit Catch-Wörtern um euch werft. "Sehen wie die KI denkt" tut man übrigens auch nicht.... 
weil ja äh... wie gesagt LLM != KI.
Eine KI würde denken, ein LLM versteht ja nicht mal was man eingibt (und mehr als ein LLM sind GPT und Gemini nicht, andere LLMs absichtlich nicht genannt).
Krass das man sehen kann wie die KI denkt. Macht es eigentlich einen Unterschied ob die KI weiblich oder männlich bzw. Unisex entwickelt wurde? Man sagt ja immer Männer Logik oder sowas aber gibt es das?
Ich bezweilfle, dass irgendein Modell nur mit Daten gefüttert wurde, die man beispielsweise ausschließlich in die Kategorie 'männlich' packen könnte. Ich bin kein Experte auf dem Gebiet, aber soweit ich weiß, werden hier massenhaft Texte benutzt. Da dürfte dann von Artikeln, über Geschichten (Romane, Kurzgeschichten, etc) bis zu Chat-Konversationen so ziemlich alles dabei sein.
Für diese ganzen LLMs egal ob am Ende für Text, Bild oder Video werden entsprechend Daten aus dem Internet abgegriffen (teils auch illegal, zu 99%), in einer Datenbank gespeichert (grobe Erklärung) und mit Infos versehen zum wiederfinden (grob könnte man sagen Tags)
Bei einer Anfrage dann wird anhand der Anfrage bestimmt welche Daten es braucht, diese zusammengesetzt und ausgegeben. Nix denken....
Für diese ganzen LLMs egal ob am Ende für Text, Bild oder Video werden entsprechend Daten aus dem Internet abgegriffen (teils auch illegal, zu 99%), in einer Datenbank gespeichert (grobe Erklärung) und mit Infos versehen zum wiederfinden (grob könnte man sagen Tags)
Bei einer Anfrage dann wird anhand der Anfrage bestimmt welche Daten es braucht, diese zusammengesetzt und ausgegeben. Nix denken....
Ja, dazu habe ich vorhin online eine Erklärung gefunden. Danke für Klarstellung übrigens.
Das mit dem illegal hört man ja immer wieder. Vor allem, dass auch OpenAI und Co. eher weniger von Urheberrechten halten, diese Modelle aber dann hinter Teils dicken Paywalls ($200 für's ChatGPT Pro Abo zum Beispiel) verstecken.
Sie haben noch kein Benutzerkonto auf unserer Seite? Registrieren Sie sich kostenlos und nehmen Sie an unserer Community teil!
