1. Полная безответственность программистов. Это в кино программисты через одного Нео и Тринити, в реальности же это чуваки со специфическими знаниями, которых мало кто может проверить, и которые не несут никакой ответственности за продукт.

Вдумайтесь: они за многие миллиарды! уже 33 года! пишут ОС Windows, и она до сих пор невероятно, непредсказуемо глючит. Да, глючит меньше, чем в 1995 (всего за то 10 лет делали с 1985), но всё равно глючит.

При этом:

А. Основной способ исправления ошибок — это «перегрузите», «переустановите». Они даже не могут понять, что там у них поломалось, для них самих Windows — чёрный ящик, каждый раз выкидывающий что-то новое. Вы серьёзно хотите им доверить свою жизнь? Представьте, вы приходите к механику и говорите: «моя машина выехала на встречную на скорости 120, мы чуть-чуть не остались инвалидами». А вам в ответ: «Перезагрузите».

Б. Связка программы и реального разнообразного железа как была дико нестабильна, так и осталась. Я молчу про новые видеокарты, дорогой и глючный Gsync и т. д. Принтеры, принтеры, Карл, для которых эта винда и создавались! Они как не работали в 1985 без плясок с бубном, так и не работают. Представьте теперь принтер на скорости 200 км в час! Помните бородатый анекдот: если бы программисты делали автомобили, автомобили разваливались бы без причин каждые 4 часа. Ничего не изменилось.

В. Программисты в связке с юристами обложились лицензионными соглашениями, которые всячески ограничивают их ответственность. Есть пример, когда Volkswagen нахимичила что-то в машине и попала на миллиардные штрафы. За винду денег берут очень и очень прилично, это за продукт, которому уже 33 года, и он всё ещё в бета тесте. Но где же штрафы за её ошибки? Их нет и не предвидится. А если автопилот опрокинул фуру в овраг? Сначала докажи, что виновата программа, потом посмотри в п. 122 пп. 345 и узнай, что за твои миллионы ты сам виноват?

Всё это значит, что в ближайшие десятилетия человек всегда будет контролировать машину. И никуда из фуры не денется, потому что он, в отличии от программистов, отвечает за свой результат.

2. Ну вот представим, что миллионы людей остались без работы и решили пойти не в программисты, а хакеры. Поломать те самые автопилотные фуры и отмстить за всё. Получится ли у них?

Несомненно. Ни один расчудесный программист и даже армия программистов не справится с миллионами идейно заряженных хакеров, пытающихся их взломать. Да что там миллионы автопилотфур в поле, в стерильных условиях винда-игрушка-денуво, это самое антихакерское денуво под дружное улюлюканье разлетается за считанные недели, а то и дни. За годы (а фуры ездят десятилетия) умудряются сделать реверс-инжениринг игровых приставок не только взламывают их, но и делают эмуляторы. А теперь представьте, что это не игрушка за 50 баксов и не приставка за 400 баксов, а фура за миллион. Автопилот сам привезёт злоумышленникам всё, что они попросят.

3. Дальше, пример из жизни. Хакеры увели с карточки зарплату. Гражданин с широко открытыми глазами приходит в Сбербанк, а там ему говорят: да, это наши тупоголовики написали программку, которую школьники вскрыли на коленке, вот ваши деньги.

Ха-ха, в параллельной вселенной. Герман Оскарович со всеми своими ИИ показывает, как оно будет, когда что-то пойдёт не так: виноватым будете вы и только вы.

Это значит, что с любой машиной всегда будет человек. Дешёвая посылка дроном? Ок, если и уведут, не жалко. Но фура с икрой и фуагра? Пусть лучше будет человек.

4. Статистика безаварийности, проехали столько-то километров без аварий и т. д. Я же правильно понимаю, что сравнивается статистика обычного движения с поездками автопилотов по спецтрассам? Либо с автомобилем «Тесла», где одна стоимость отсекает всех обычных маргиналов за рулём? Тогда мы сравниваем бурный океан с водой в хрустальном стакане. Какая будет статистика при массовом использовании?

5. Ещё проблема: время, необходимое «на обкатку технологии». Космические корабли делает элита человечества. Программы пишутся в НИИ максимально простыми. Итог? Ракеты до сих пор регулярно падают, и до сих пор в том числе по программным недочётам. Космических туристов пока массово не пускают к полётам на автомате, тела их слишком дороги, чтобы доверить их ассемблеру. Точно автопилот будет работать нормально? Но ведь космос почти пустой, траектории прямые, а даже там глючит. А вы видели интерфейс автопилота и как он «видит» реальность? Эти десятки тысяч полигонов в секунду, и он в реалтайме по ним едет. Какова вероятность ошибки?

6. Система самообучения и нейросети. Это пугает. И не потому что я ретроград, апотому что в пресс-релизах через один написано, «мы сами не можем понять, как это работает, но результат примерно похож на то, что мы ожидаем». Что ж, с таким подходом хочется предложить им создать нейросеть «русская рулетка» и реальным пистолетом. С результатом 1 к 6 каждый шестой будет заявлять, что он сделал нейросеть и она работает как надо! Выбор программой того или иного сценария поведения, который никто, даже создатели, понять не может, но результат «похож на ожидаемый», это системная и непреодолимая ошибка, которая никогда не позволит доверять автопилоту.

Итак, сейчас автопилот — это дорогая игрушка, ошибка которой будет стоить вам жизни. И указанные выше проблемы, — безответственность, сложность кода, допускающая массовые и непредсказуемые ошибки, хакеры, — являются системными и не делается никаких попыток их решить. Современное ПО — это свалка, сделанная разными программистами, ни один из которых не может ни понять, что же именно происходит, ни сделать это безопасным для пользователя.

Поэтому рядом с автопилотом всегда будет сидеть, чинить, заправлять, контролировать, отвечать, жать «ресет», всё тот же водила. А дурачки, вставляющие апельсин в руль и доверяющие жизнь автопилоту, просто давно не видели синий экран, либо любят играть в русскую рулетку.