Title: P0: Offtopic: Input to output, function, transformation [2025-03-17 Mon]
Processing of Input to output have two main states:
blocking and allowing.
Blocking require some will-force, because allowing is
most natural.
Maybe word “No” is what really makes us human.
蠡 #thoughts #systems #system #inputoutput #encoder #transformation
Title: P2: Choosing vector database [2024-07-29 Mon]
vectors
- Parallelization and Distributed Processing
Mantra for: My body wants joy to be fried. My mind wants
to succeed. My soul don't need anything.
😶 #dailyreport #rag #embeddings #encoder #vectordatabase
Title: P0: Choosing vector database [2024-07-29 Mon]
Today I have been choosing vector database for my little
project of RAG for cheepest PC.
The best open-source solutions that I consider:
SQLite-VEC, Redis, Clickhouse, ElasticSearch. (•́ᴗ•̀✿)
I am thinking now how to organize wide and massive amount
of information about PC configuration and files.
¯_(ツ)_/¯
Main approaches to implement vector database: #dailyreport #rag #embeddings #encoder #vectordatabase
Omar Sanseviero (@osanseviero)
TIPS v2가 공개되었습니다. 텍스트-이미지 인코더 기반의 파운데이션 모델로, 다양한 멀티모달 애플리케이션의 기반으로 활용할 수 있으며 Apache 2.0 라이선스로 제공됩니다. 새로운 사전학습 레시피도 함께 제시되어 오픈소스 멀티모달 개발에 의미가 큽니다.
Тихая эволюция zero-shot энкодеров. От UniNER до GLiNER 2
Пока все говорят про LLM агентов, есть целый класс задач где 205M энкодер делает ту же работу что ChatGPT - быстрее, дешевле, без vendor lock-in. Я хочу рассказать про эволюцию энкодеров, которую вы возможно пропустили: начиная от UniNER, заканчивая GLiNER 2, с ключевыми инсайтами на каждом шаге.
Современные LLM – это больше, чем просто предсказание слов
« Эта модель лучше шутит, а та лучше пишет код » — отличный критерий выбора, если вы просто переписываетесь с чатиком. Но как только LLM оказывается внутри продукта, нас перестаёт интересовать юмор и начинает волновать архитектура: encoder‑decoder против decoder‑only, мультимодальные энкодеры, test‑time reasoning, скрытые цепочки рассуждений. В этом посте попробуем перестать выбирать между логотипами и посмотреть на языковые модели как на инженерные конструкции с понятными trade‑off’ами.
Трансформер своими руками: с нуля до Numpy реализации и обучения
В этой статье пойдет речь об одной из самых сложных и интересных архитектур — трансформере, лежащей в основе современных моделей от OpenAI и Google DeepMind. И это не научпоп для обывателя с наивным уровнем объяснения, а полноценный учебный материал, который поможет вам понять работу трансформера на фундаментальном уровне без черных ящиков типа TensorFlow и Pytorch. А для того чтобы лучше вникнуть, давайте напишем настоящий мини-трансформер на процедурном Python и обучим его! Данный материал можно изучать в разных режимах: * Как объяснение архитектуры для общего представления; * Как полноценный гайд с чтением кода и самостоятельной практикой; * Как основу для собственных экспериментов. Вы сами можете выбрать тот режим, который нужен для ваших целей на данный момент. Наш трансформер будет довольно простым: со статическим графом и одноблочными энкодером и декодером. Сам код написан в парадигме процедурного программирования (за исключением некоторых модулей) и может быть прочитан на любом уровне и без знания ООП. И все же это будет полноценный обучаемый трансформер с мультиголовым вниманием, батчами данных, параллельным вычислением и множеством параметров. Для закрепления материала, выполните Домашнее задание, которое ждет вас в конце статьи. Напишем трансформер!
https://habr.com/ru/articles/982268/
#transformer #encoder #decoder #numpy #с_нуля #deeplearning #attention #backpropagation #нейросети #pytorch
anoncheg
sayzard
Habr
13