← Zurück zu den eigenen Projekten

Öffentlich verfügbar Lokale KI · Open Source

[ancilo]

Projekt öffnen
Ancilo im Chatmodus mit optionaler Websuche und Quellenangaben

Mit Ancilo wollte ich zwei Dinge ausprobieren: lokale KI für Menschen ohne technischen Hintergrund zugänglich machen und eine App in Rust entwickeln, obwohl ich diese Programmiersprache selbst nicht beherrsche. Daraus ist eine Anwendung für Chat, Dokumente, Aufgaben und Coding geworden, die KI-Modelle auf dem eigenen Computer ausführt.

Lokale KI ohne aufwendige Einrichtung

Die Anwendungen, die ich zuvor ausprobiert hatte, fühlten sich für mich mehr oder weniger umständlich an. Wer sich mit Computern und Programmierung auskennt, kann sich durch eine solche Einrichtung arbeiten. Ich wollte aber eine App für Menschen bauen, die lokale KI einfach ausprobieren möchten, ohne sich zunächst mit ihrer technischen Umgebung beschäftigen zu müssen.

Ancilo führt deshalb durch die Modellauswahl und den Download. Die Einrichtung berücksichtigt den Computer und bietet Einstellungen dafür, wie viel seiner Ressourcen die KI beanspruchen darf. Ein gemeinsamer Zugang zu Gesprächen, Dokumenten und Aufgaben soll die laufende Nutzung ebenso erleichtern wie den Einstieg.

Die Hardware bleibt dabei eine Grenze: Verfügbarer Arbeitsspeicher und Rechenleistung bestimmen mit, welche Modelle brauchbar laufen. Lokale Verarbeitung hält die betreffenden Inhalte auf dem eigenen Rechner; optionale Websuche und Cloud-Modelle bringen dagegen Verbindungen zu externen Diensten mit sich. Die Produktseite erläutert diese Unterschiede und die Voraussetzungen genauer.

Rust mit zwei Coding-Agenten

Die zweite Frage betraf meine eigene Arbeitsweise. Ich wollte erproben, ob ich mit Coding-Agenten eine App in einer Sprache entwickeln kann, die ich nicht beherrsche. Die Grundlagen habe ich mit Claude Code entwickelt. Schon während der Umsetzung zog Claude Code wiederholt Codex hinzu, um Entscheidungen zu prüfen, Reviews einzuholen und Änderungsvorschläge durchzuarbeiten.

Dieses Pingpong gehörte von Anfang an zur Entwicklung. Nach meiner Einschätzung hat es die Qualität früh auf ein hohes Niveau gebracht. Die App funktioniert für mich, und ich bin von den bisherigen Ergebnissen begeistert. Das ist meine Erfahrung mit diesem Projekt; eine allgemeine Aussage über die Zuverlässigkeit KI-generierten Codes lässt sich daraus nicht ableiten.

Bestehende Implementierungen als Referenz

Neben dem Ancilo-Projekt habe ich die Quellcodes von OpenCode und Codex in parallelen Verzeichnissen ausgecheckt. Die Agenten konnten dort Lösungsansätze bestehender Coding- und Chat-Agenten studieren und sie als Orientierung für die eigene Implementierung nutzen. Damit mussten sie grundlegende Mechanismen nicht jedes Mal neu entwerfen.

Ancilo kann inzwischen auch selbst abgegrenzte Aufgaben von Claude Code oder Codex übernehmen und mit einem lokalen Modell bearbeiten. Der aufrufende Agent erhält das Ergebnis zur weiteren Verarbeitung. Diese lokale Ausführung macht allerdings nicht den gesamten Arbeitsablauf des externen Agenten lokal.

Die Ancilo-Website beschreibt Funktionen, Voraussetzungen und erste Schritte. Der Quellcode auf GitHub steht unter Apache 2.0; Beiträge, Fehlermeldungen und konkrete Funktionswünsche sind willkommen.